行业混存

行列混存介绍

PALO 默认采用列式存储，每个列连续存储，在分析场景（如聚合，过滤，排序等）有很好的性能，因为只需要读取所需要的列减少不必要的 IO。但是在点查场景（比如 SELECT *），需要读取所有列，每个列都需要一次 IO 导致 IOPS 成为瓶颈，特别对列多的宽表（比如上百列）尤为明显。

为了解决点查场景 IOPS 的瓶颈问题，PALO 2.0.0 版本开始支持行列混存，用户建表时指定开启行存后，点查（比如 SELECT *）每一行只需要一次 IO，在宽表列很多的情况下性能有数量级提升。

行存的原理是在存储时增加了一个额外的列，这个列将对应行的所有列拼接起来采用特殊的二进制格式存储。

使用语法

建表时在表的 PROPERTIES 中指定是否开启行存，哪些列开启行存，行存的存储压缩单元大小 page_size。

1. 是否开启行存：默认为 false 不开启

1"store_row_column" = "true"

2. 哪些列开启行存：如果 "store_row_column" = "true"，默认所有列开启行存，若需要指定部分列开启行存，设置 row_store_columns 参数（3.0 之后的版本），格式为逗号分割的列名

1"row_store_columns" = "column1,column2,column3"

3. 行存 page_size：默认为 16KB。

1"row_store_page_size" = "16384"

page 是存储读写的最小单元，page_size 是行存 page 的大小，也就是说读一行也需要产生一个 page 的 IO。这个值越大压缩效果越好存储空间占用越低，但是点查时 IO 开销越大性能越低（因为一次 IO 至少读一个 page），反过来值越小存储空间极高，点查性能越好。默认值 16KB 是大多数情况下比较均衡的选择，如果更偏向查询性能可以配置较小的值比如 4KB 甚至更低，如果更偏向存储空间可以配置较大的值比如 64KB 甚至更高。

使用示例

下面的例子创建一个 8 列的表，其中 "key,v1,v3,v5,v7" 这 5 列开启行存，为了高并发点查性能配置 page_size 为 4KB。

1CREATE TABLE `tbl_point_query` (
2    `key` int(11) NULL,
3    `v1` decimal(27, 9) NULL,
4    `v2` varchar(30) NULL,
5    `v3` varchar(30) NULL,
6    `v4` date NULL,
7    `v5` datetime NULL,
8    `v6` float NULL,
9    `v7` datev2 NULL
10) ENGINE=OLAP
11UNIQUE KEY(`key`)
12COMMENT 'OLAP'
13DISTRIBUTED BY HASH(`key`) BUCKETS 1
14PROPERTIES (
15    "enable_unique_key_merge_on_write" = "true",
16    "light_schema_change" = "true",
17    "row_store_columns" = "key,v1,v3,v5,v7",
18    "row_store_page_size" = "4096"
19);

查询

1SELECT key, v1, v3, v5, v7 FROM tbl_point_query WHERE key = 100；

注意事项

1. 开启行存后占用的存储空间会增加，存储空间的增加和数据特点有关，一般是原来表的 2 到 10 倍，具体空间占用需要使用实际数据测试。
2. 行存的 page_size 对存储空间的也有影响，可以根据前面的表属性参数 row_store_page_size 说明进行调整。