管理列存储表

16.1 什么是列存储

达梦数据库中，表的数据存储方式分为行存储和列存储。行存储是以记录为单位进行存储的，数据页面中存储的是完整的若干条记录；列存储是以列为单位进行存储的，每一个列的所有行数据都存储在一起，而且一个指定的页面中存储的都是某一个列的连续数据。

下面以基表（表 16.1）为例，对行、列存储进行对比。

表16.1 基表
NAME 列 ID 列
SYSCLASSES 268435457
SYSCOLUMNS 268435458
SYSCONS 268435459
SYSDUAL 268435460
SYSGRANTS 268435461

下图展示了相同的表数据在行存储表与列存储表中的不同存储方式。

图 16.1 行存储（左）和列存储对比图

图16.1 行存储（左）和列存储对比图

Huge File System（检查 HFS）是达梦数据库实现的，针对海量数据进行分析的一种高效、简单的列存储机制。列存储表（也称为 HUGE 表）就是建立在 HFS 存储机制上的一种表。

16.2 什么是 HUGE 表

HUGE 表是建立在混合表空间上的。HUGE 数据文件存储在混合表空间定义中指定的 HUGE 数据文件路径下，一个混合表空间最多可以添加 255 个 HUGE 数据文件路径，混合表空间的 HUGE 数据文件路径相关信息存储在动态视图 V$HUGE_TABLESPACE 中。

普通的表空间，数据是通过段、簇、页来管理的，并且以固定大小（4K、8K、16K、32K）的页面为管理单位；而混合表空间存储 HUGE 表是通过 HFS 存储机制来管理的，它相当于一个文件系统。为混合表空间指定一个 HUGE 数据文件路径，其实就是创建一个空的 HUGE 数据文件目录（系统中有一个默认的混合表空间 MAIN，其 HUGE 数据文件目录名为 HMAIN）。在创建一个 HUGE 表并插入数据时，数据库会在指定的混合表空间的 HUGE 数据文件目录下创建一系列的目录及文件。HFS 文件系统结构如下图所示：

HFS 结构示意图

图16.2 HFS结构示意图

从上图可以看出，在 HUGE 数据文件目录下成功创建 HUGE 表，系统内部需要经过以下步骤：

首先，在 HUGE 数据文件目录下创建这个表对应的模式目录。目录名为“SCH+ 长度为 9 的 ID 号”组成的字符串，比如：SCH150995944。创建时如果这个目录已经存在，则无需重新创建。

其次，在模式目录下创建对应的表目录。表目录也是同样的道理，表目录名为“TAB+ 长度为 4 的 ID 号”组成的字符串，比如：TAB1112。表目录中存放的是这个表中所有的文件。

再次，在新创建表后插入数据时，每一个列对应一个以 dta 为后缀的文件，文件大小可以在建表时指定，默认为 64M，文件名为“COL+ 长度为 4 的列号 +_+ 长度为 10 的文件号”。例如，在图 16.2 中，0000 表示第 1 列，0001 表示第 2 列……；0000000000 表示第 1 个文件，0000000001 表示第 2 个文件……。最初一个列只有一个文件即可，当随着数据量不断增长，一个文件已放不下之后，系统会自动创建新的文件来存储不断增长的数据。

对于一个文件，其内部存储是按照区来管理的，区是文件内部数据管理的最小单位，也是唯一的单位。一个区中，可以存储单列数据的行数是在创建表时指定的，一经指定，在这个表的生命过程就不能再修改。所以，对于定长数据，一个区的大小是固定的；而对于变长数据，一般情况下区大小都是不相同的。每一个区的开始位置及长度在文件内都是 4K 对齐的。

HUGE 表的存储方式有以下几个优点：

  1. 同一个列的数据都是连续存储的，可以加快某一个列的数据查询速度；
  2. 连续存储的列数据，具有更大的压缩单元和数据相似性，可以获得远优于行存储的压缩效率，压缩的单位是区；
  3. 条件扫描借助数据区的统计信息进行精确过滤，可以进一步减少 IO，提高扫描效率；
  4. 允许建立二级索引；
  5. 支持以 ALTER TABLE 的方式添加或者删除 PK 和 UNIQUE 约束。

DM 支持两种类型的 HUGE 表：非事务型 HUGE 表和事务型 HUGE 表，下面分别进行介绍。

16.3 非事务型 HUGE 表

对非事务型 HUGE 表的增、删、改是直接对 HUGE 表进行写操作的，不写 UNDO 日志，不通过 BUFFER 缓存，直接操纵文件，速度快，但也因此导致不支持事务。另外，非事务型 HUGE 表中的 ROWID 是不固定的。

当非事务型 HUGE 表在操作过程中出现系统崩溃或者断电等问题时，因为修改时采取的是直接写的策略，所以有可能会出现数据不一致的问题。为了保证数据的一致性，在操作时可以适当地做一些日志来保证数据的完整性，完整性保证策略主要是通过数据的镜像来实现的，镜像的不同程度可以实现不同程度的完整性恢复。镜像文件是放在表目录中的以.mir 为扩展名的文件。DM 提供三种方案：

  1. LOG NONE：不做镜像。相当于不做数据一致性的保证，如果出错只能手动通过系统函数来修复表数据，当然速度是最快的，不需要额外的 IO，这种选项如果用户明确知道自己的环境不会出现问题可以采用，效率最高。
  2. LOG LAST：做部分镜像。但是在任何时候都只对当前操作的区做镜像，如果当前区的操作完成了，那么这个镜像也就失效了，可能会被下一个被操作区覆盖，这样做的好处是镜像文件不会太大，同时也可以保证数据是完整的。但有可能遇到的问题是：一次操作很多的情况下，有可能一部分数据已经完成，另一部分数据还没有来得及做的问题。如果用户能接受这个问题的话这个选择不失为最佳选择，这也是系统默认的选择。
  3. LOG ALL：全部做镜像。在操作过程中，所有被修改的区都会被记录下来，当一次操作修改的数据过多时，镜像文件有可能会很大，但好处是，能够保证操作完整性。比如，在操作过程中失败了，那么这个操作会完整的撤消，不存在上面一部分修改部分还没修改的问题。

需要注意的是，若创建数据库时使用参数 HUGE_WITH_DELTA 的缺省值 1 ，则不支持创建非事务型 HUGE 表。

16.3.1 AUX 辅助表

对于每个 HUGE 表，相应地配备一个 AUX 辅助表来管理其数据。因为在 HUGE 数据文件（.dta 文件）中只存储了数据，辅助表用来管理以及辅助系统用户操作这些数据，AUX 辅助表是在创建 HUGE 表时系统自动创建的，表名为“表名$AUX”，如果该 HUGE 表为分区表，则辅助表名为“子表名$AUX”。辅助表的表名长度不能大于 128 个字节。AUX 辅助表中每一条记录对应文件中的一个数据区，包括下面 15 列：

  1. COLID：表示当前这条记录对应的区所在的列的列 ID 号；
  2. SEC_ID：表示当前这个记录对应的区的区 ID 号，每一个区都有一个 ID 号，并且唯一；
  3. FILE_ID：表示这个区的数据所在的文件号；
  4. OFFSET：表示这个区的数据在文件中的偏移位置，4K 对齐；
  5. COUNT：表示这个区中存储的数据总数（有可能包括被删除的数据）；
  6. ACOUNT：表示这个区中存储的实际数据行数；
  7. N_LEN：表示这个区中存储的数据在文件中的长度，4K 对齐的；
  8. N_NULL：表示这个区中的数据中包括的 NULL 值的行数；
  9. N_DIST：表示这个区中所有数据互不相同的行数；
  10. CPR_FLAG：表示这个区是否压缩；
  11. ENC_FLAG：表示这个区是否加密；
  12. CHKSUM：用来存储标记位；
  13. MAX_VAL：表示这个区中的最大值，精确值；
  14. MIN_VAL：表示这个区中的最小值，精确值；
  15. SUM_VAL：表示这个区中所有值的和，精确值。

前面 7 列是用来控制数据存取的，根据这些信息就可以知道这个区的具体存储位置、长度及基本信息。后面 8 列都是用来对这个区进行统计分析的。其中，COLID 和 SEC_ID 的组合键为辅助表的聚集关键字。

16.4 事务型 HUGE 表

非事务型 HUGE 表在进行增、删、改时直接对 HUGE 表进行写操作，每次写操作需要至少对一个区进行 IO，导致 IO 量较大，且并发性能不高。

为此，DM 推出了事务型 HUGE 表，通过增加 RAUX、DAUX 和 UAUX 行辅助表，减少了事务型 HUGE 表增、删、改操作的 IO，提高效率，同时提高并行性能。事务型 HUGE 表支持 UNDO 日志，实现了事务特性。

16.4.1 RAUX 行辅助表

RAUX 行辅助表存放最后一个数据区（不够存满一个数据区）的数据，表名为“HUGE 表名$RAUX”。如果该 HUGE 表为分区表，则辅助表名为“子表名$RAUX”。辅助表的表名长度不能大于 128 个字节。

RAUX 行辅助表中内容对应于 HUGE 表中的最后一部分记录（不够存满一个数据区的）。RAUX 表与 HUGE 表结构相同，不论数据在那个表中，每一行数据的 ROWID 固定不变。

16.4.2 DAUX 行辅助表

DAUX 行辅助表记录 HUGE 数据文件中被删除的数据，表名为“HUGE 表名$DAUX”。如果该 HUGE 表为分区表，则辅助表名为“子表名$DAUX”。辅助表的表名长度不能大于 128 个字节。

16.4.3 UAUX 行辅助表

UAUX 行辅助表记录 HUGE 表被更新的数据的新值，表名为“HUGE 表名$UAUX”。如果该 HUGE 表为分区表，则辅助表名为“子表名$UAUX”。辅助表的表名长度不能大于 128 个字节。

16.5 创建 HUGE 表

当用户确定自己要使用 HUGE 表的时候，首先需要在模式中创建新表，创建一个 HUGE 表需要有 CREATE TABLE 数据库权限，要想在其他用户的模式中创建新表需要有 CREATE ANY TABLE 数据库权限。

但是创建一个 HUGE 表时，如果不使用默认的表空间，则必须要先创建一个混合表空间，创建混合表空间以及 HUGE 表的语法请参考《DM8_SQL 语言使用手册》。

在创建 HUGE 表时，根据 WITH|WITHOUT DELTA 区分创建非事务型 HUGE 表还是事务型 HUGE 表。指定 WITH DELTA，创建事务型 HUGE 表；指定 WITHOUT DELTA，则创建非事务型 HUGE 表，缺省为 WITH DELTA。若需要创建非事务型 HUGE 表，在创建数据库时需要将参数 HUGE_WITH_DELTA 和 RLOG_GEN_FOR_HUGE 置为 0。

例如，创建非事务型 HUGE 表 T1。

  CREATE HUGE TABLE T1 (A INT, B INT) STORAGE(WITHOUT DELTA);

创建事务型 HUGE 表 T2。

  CREATE HUGE TABLE T2 (A INT, B INT) STORAGE(WITH DELTA);

需要注意的是，当指定创建事务型 HUGE 表时，指定 HUGE 表镜像文件方案的选项 LOG NONE|LOG LAST|LOG ALL 失效。

另外，在创建表 HUGE 表时，可以指定表的存储属性，存储属性包括如下几个方面：

  1. 区大小（一个区的数据行数）

区大小可以通过设置表的存储属性来指定，区的大小必须是 2 的多少次方，如果不是则向上对齐。取值范围：1024 行~1024*1024 行。默认值为 65536 行。

例如，创建 HUGE 表 test，指定区的大小为 2048，其它默认。

  CREATE HUGE TABLE test(name VARCHAR, sno INT) STORAGE(SECTION (2048));

例如，创建 HUGE 表 test，所有列都采用默认值。

  CREATE HUGE TABLE test(name VARCHAR, sno INT);
  1. 是否记录区统计信息，即在插入时是否记下其最大值最小值

关于这一点有一个原则，如果这个列经常用作查询条件，并且数据不是很均匀，或者基本是有序的，那么做统计信息是非常有用的，反之则可以不做统计。缺省情况下，为记录区统计信息。如果想不记录，可通过设置 STAT NONE 实现。

例如，创建 HUGE 表 test，通过列存储属性指定统计信息属性（不记录区统计信息）。

  CREATE HUGE TABLE test(name VARCHAR STORAGE (STAT NONE), sno INT);

又如，创建 HUGE 表 test，通过表存储属性指定统计信息属性（不记录区统计信息）。

  CREATE HUGE TABLE test(name VARCHAR, sno INT) STORAGE (STAT NONE);
  1. 所属的表空间

创建 HUGE 表，需要通过存储属性指定其所在的表空间，不指定则存储于默认表空间 MAIN 中。HUGE 表指定的表空间只能是混合表空间，例如 TS1 为指定的混合表空间。

CREATE HUGE TABLE test(name VARCHAR, sno INT) STORAGE (ON TS1);
  1. 文件大小

创建 HUGE 表时还可以指定单个文件的大小，通过表的存储属性来指定，取值范围为 16M~1024*1024M。不指定则默认为 64M。文件大小必须是 2 的多少次方，如果不是则向上对齐。

  CREATE HUGE TABLE test(name VARCHAR, sno INT) STORAGE (filesize(64));
  1. 指定压缩级别

为特定列指定压缩级别，取值范围 0~10，分别代表不同的算法和级别。有两种压缩算法：SNAPPY 和 ZIP。10 采用 SNAPPY 算法轻量级方式压缩。2~9 采用 ZIP 算法压缩，2~9 代表压缩级别，值越小表示压缩比越低、压缩速率越快；值越大表示压缩比越高、压缩速度越慢。0 和 1 为快捷使用，默认值为 0。0 等价于 LEVEL 2；1 等价于 LEVEL 9。

例如，创建 HUGE 表 test，指定 sno 列按照最大压缩比压缩。

  CREATE HUGE TABLE test(name VARCHAR, sno INT) COMPRESS LEVEL 1 (sno);

下面是一个综合的创建 HUGE 表的例子：

    CREATE HUGE TABLE orders
    (
        o_orderkey           	INT, 
        o_custkey            	INT,
        o_orderstatus	        	CHAR(1), 
        o_totalprice	        	FLOAT,
        o_orderdate          	DATE,
        o_orderpriority	    		CHAR(15),
        o_clerk	            	CHAR(15),
        o_shippriority		    	INT,
        o_comment           	VARCHAR(79) STORAGE(stat none)
     )STORAGE(section(65536) , filesize(64), with delta on TS1) COMPRESS LEVEL 9 FOR 'QUERY HIGH'  (o_comment);

这个例子创建了一个名为 ORDERS 的事务型 HUGE 表，ORDERS 表的区大小为 65536 行，文件大小为 64M，指定所在的混合表空间为 TS1，o_comment 列指定的区大小为不做统计信息，其它列（默认）都做统计信息，指定列 o_comment 列压缩类型为查询高压缩率，压缩级别为 9。

16.6 HUGE 表使用说明

HUGE 表与普通行表一样，可以进行增、删、改操作，操作方式也是一样的。但 HUGE 表的删除与更新操作的效率会比行表低一些，并发操作性能也会比行表差一些，因此在 HUGE 中不宜做频繁的删除及更新操作。总之，HUGE 表比较适合做分析型表的存储。

另外，使用 HUGE 表时应注意存在以下一些限制：

  1. 建 HUGE 表时仅支持定义 NULL、NOT NULL、UNIQUE 约束以及 PRIMARY KEY，后两种约束也可以通过 ALTER TABLE 的方式添加，但这两种约束不检查唯一性；
  2. HUGE 不允许建立聚集索引，允许建立二级索引，不支持建位图索引，其中 UNIQUE 索引不检查唯一性；
  3. 不支持 SPACE LIMIT（空间限制）；
  4. 不支持建立全文索引；
  5. 不支持使用自定义类型；
  6. 不支持引用约束；
  7. 不支持 IDENTITY 自增列；
  8. 不支持大字段列；
  9. 不支持建触发器；
  10. 不支持游标的修改操作；
  11. PK 和 UNIQUE 约束不检查唯一性，对应的索引都为虚索引；UNIQUE 索引也不检查唯一性，为实索引，索引标记中不包含唯一性标记，即和普通二级索引相同；
  12. 不允许对分区子表设置 SECTION 和 WITH/WITHOUT DELTA；
  13. 当事务型 HUGE 表进行了较多增删改操作时，应对其进行数据重整操作，以提高性能。

16.7 查看有关 HUGE 表的信息

  1. 表定义

对一个 HUGE 表，用户可以通过 CALL SP_TABLEDEF('SYSDBA', 'ORDERS');得到这个表的定义语句，可以具体了解表的各个列的数据类型信息、存储属性等，还可以查看在这个表上是否有压缩等等。

  1. 数据存储情况

HUGE 表有一个很好的特点就是有 AUX 辅助表，其中用户可以利用的信息很多，因为每一条记录对应一个区，所以可以查看每一个区的存储情况，每一个列的存储情况及每一个列中具有相同区 ID 的所有数据的情况等，还包括了很精确的统计信息，用户可以通过观察 AUX 辅助表中的信息对表进行一些相应的操作。

微信扫码
分享文档
扫一扫
联系客服