starrocks问题小结

转载已于 2022-03-15 16:03:55 修改 · 674 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://mp.weixin.qq.com/s/C7UzjdAQL9PTNXeSsVRjQA

文章标签：

#其他

于 2022-01-27 16:43:24 首次发布

20220315

在这里插入图片描述
starrocks连接hadoop源数据位置

在这里插入图片描述
colocate join 执行成功

20220314

在这里插入图片描述
集群是HA的情况下需要填

ui监控：域名：8030

在这里插入图片描述聚合模型
rollup表索引，稀疏索引

在这里插入图片描述数据模型
明细模型相当于数据的ods，dwd

在这里插入图片描述
冷热数据
冷数据不会再被更改，不会被加载进内存

宽表都是些聚合指标不是明细数据，列可能很多，但是行很少

主键模型费内存，全部加载到内存

CREATE TABLE `tb_onekey_goods_info_manual_match_test` (
  `id` bigint(20) NOT NULL COMMENT "业务主键 自增id",
  `goods_id` varchar(200) NULL COMMENT "商品id",
  `hz_goods_id` varchar(200) NULL COMMENT "合纵商品id",
  `remarks_status` int(11) NULL COMMENT "对码方法,0:算法规则"
) ENGINE=OLAP 
PRIMARY KEY(`id`)
COMMENT "手动对码结果-商品信息表(商品粒度)"
DISTRIBUTED BY HASH(`id`) BUCKETS 4 
PROPERTIES (
"replication_num" = "1",
"in_memory" = "false",
"storage_format" = "DEFAULT"
);

创建非外部表

import pymysql
   self.config_starrocks_onekey = {
            "host": "192.168.1.112",
            "port": 9030,
            "user": "doris",
            "password": "hezong2022",
            "database": "onekey_bi",
            "charset": "utf8",
        }
self.conn = pymysql.connect(**self.config_starrocks_onekey)