为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。 【DM版本】: 【操作系统】: 【CPU】: 【问题描述】*:单机怎么迁移到MPP集群 有什么注意项嘛?
主要注意表分布方式和分布列的选择,建议是提前确定建表,后迁移数据。 1、数据分布的类型 DM MPP支持表数据的哈希分布、随机分布、复制分布、范围分布、LIST 分布类型,具体使用场景可以参考《DM8大规模并行处理MPP》手册介绍
2、分布列的选择原则 第一原则:列值离散度高,即值分布均匀,如“用户ID”列,而不是“性别”列; 第二原则:业务关键意义,即表中具有很重要业务意义的列、业务访问最频繁的列,如“用户ID”、“文档唯一标识”列,而不一定是表中无实际业务意义的“ID”(主键)列; 第三原则:关联协同分布,即经常做关联的2个或者多个表按照关联键统一设计关联列,避免数据传输,例如,“订单表”的分布键是“订单ID”列,那么需要经常同“订单表”JOIN的“订单明细表”也选择“订单ID”列作为分布键;
主要注意表分布方式和分布列的选择,建议是提前确定建表,后迁移数据。
1、数据分布的类型
DM MPP支持表数据的哈希分布、随机分布、复制分布、范围分布、LIST 分布类型,具体使用场景可以参考《DM8大规模并行处理MPP》手册介绍
2、分布列的选择原则
第一原则:列值离散度高,即值分布均匀,如“用户ID”列,而不是“性别”列;
第二原则:业务关键意义,即表中具有很重要业务意义的列、业务访问最频繁的列,如“用户ID”、“文档唯一标识”列,而不一定是表中无实际业务意义的“ID”(主键)列;
第三原则:关联协同分布,即经常做关联的2个或者多个表按照关联键统一设计关联列,避免数据传输,例如,“订单表”的分布键是“订单ID”列,那么需要经常同“订单表”JOIN的“订单明细表”也选择“订单ID”列作为分布键;