StarRocks使用过程中遇到的一些问题记录

原创 已于 2022-05-31 18:04:02 修改 · 5.3k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#starRocks #数据库

于 2022-05-20 11:11:54 首次发布
本文介绍了数据上传遇到的问题及解决方法，包括curl命令添加100-continue参数解决上传失败问题，处理Hive分区表的动态分区配置，以及解决StarRocks查询视图时的错误。同时，讨论了StarRocks查询日志显示问题，如何通过设置全局变量is_report_success以显示查询语句。

1，{"status":"FAILED","msg":"There is no 100-continue header"}

增加 Expect:100-continue 参数

curl --location-trusted -u dxt:'******'  -T /app/bigdata_app/data/20220517.txt   -H "column_separator:^" -H "Expect:100-continue" http://127.0.0.1:8030/api/ods/ods_xxx/_stream_load

2,Error: The row is out of partition ranges. Please add a new partition.

分区表缺少对应的分区，需要手动添加分区

ALTER TABLE ods_xxx  SET("dynamic_partition.enable"="false");

先设置动态分区为false 再手动添加分区,start 包含日期 end 不包含

ALTER TABLE ods_xxx    ADD
PARTITIONS START ("2022-05-17") END ("2022-05-18") EVERY (interval 1 day);

配置后打开动态分区配置

ALTER TABLE ods_xxx SET("dynamic_partition.enable"="true");

 查看分区信息

show partitions from ods_xxx

3，Impli

最低0.47元/天 解锁文章
SQL语句整理五-StarRocks
小强签名设计 的博客
12-20 1397
【代码】SQL语句整理五-
StarRocks数据同步常见问题记录
zhouhzou的博客
05-29 1349
工作上常常用到hive表数据同步到starrocks，避免不了踩坑。记录一下常见问题和解决办法。有写错的地方还请指正。
Flink 写入 Doris 2.1.5 异常问题There is no 100-continue header
最新发布
seashine720的博客
11-18 277
Flink 通过 flink-doris-connector-1.18-24.0.0.jar 写入 Doris 2.1.5 版本时失败，错误日志核心信息为：load Result {“status”:“FAILED”,“msg”:“There is no 100-continue header”}Flink 写入 Doris 2.1.5 异常问题测试及解决方案说明。二、问题定位测试过程。
第2.4章：StarRocks表设计--分区分桶与副本数
wr_java的博客
03-31 3929
StarRocks采用Range-Hash的组合数据分布方式，也就是我们一直在提的分区分桶方式。
starrocks报错及解决方案
python程序员
03-16 4424
问题： {"status":"FAILED","msg":"There is no 100-continue header"} 原因： 因为csv文件为空，导致出现此提示，其实不管也不影响。但是强迫症患者实在看不下去。 解决： 再命令中添加请求头header即可 -H "expect:100-continue" curl --location-trusted -u root: -H “column_separator:|” -H “columns:__op=‘upsert’” -H “expect:10
starrocks启动和停止和重启脚本
qq_32486597的博客
10-05 1947
StarrRocks启动、停止和重启
doris _stream_load There is no 100-continue header 报错解决
weixin_43103956的博客
03-31 653
request headers增加参数即可：“expect”: “100-continue”
java连接fe导入数据报错：there is no 100-continue leader
u011250186的博客
03-11 676
java连接fe导入数据报错：there is no 100-continue leader
理解MySQL——并行数据库与分区(Partition)
weixin_33727510的博客
12-24 345
1、并行数据库 1.1、并行数据库的体系结构并行机的出现，催生了并行数据库的出现，不对，应该是关系运算本来就是高度可并行的。对数据库系统性能的度量主要有两种方式：(1)吞吐量(Throughput)，在给定的时间段里所能完成的任务数量；(2)响应时间(Response time)，单个任务从提交到完成所需要的时间。对于处理大量小事务的系统，通过并行地处理许多事务可以提高它的吞吐量。对于处理大事务的...
使用StarRocks遇到的问题汇总 FAQ
Yuchen914的博客
12-01 9394
日常记录 不断更新 导入 insert into 问题: insert的时候报这个错，是什么情况？ sql:ssb-flat_insert.flat insert error. Msg: （1064, ‘index channel has intoleralbe failure’） 问题截图: 解决方式: streaming_load_rpc_max_alive_time_sec=2400 tablet_writer_open_rpc_timeout_sec=120 be/conf/be.conf 配置中
Tomcat-7 Tomcat Default Connector
Dominic's Blog
12-12 1792
A Tomcat connector is an independent module that can be plugged into a servlet container. There are already many connectors in existence. Examples include Coyote, mod_jk, mod_jk2, and mod_webapp, A Tomcat connector must meet the following requirements:
HTTP/1.1 协议 Expect: 100 -continue 分析与禁用
weixin_44798320的博客
03-17 5674
1、基础知识背景 1.1 “Expect: 100-continue”的是什么：   HTTP/1.1 协议里，设计 100 - continue HTTP 状态码的，目的是为了在 client 发送 Request Message 之前， HTTP/1.1 协议允许 client 判定服务器是否愿意 接受 client 的消息主体(基于 Request Message )。   如果 client 预期等待 100-continue 应答，那么它发送的请求必须包含一个 Expect: 100 -conti
k8s部署starrocks进行stream load导入问题整理
weixin_43686615的博客
09-12 894
k8s部署starrocks服务后，进行stream load时报错 curl:(6)Could not resolve host: starrockscluster-sample-be-0.starrockscluster-sample-be-search.starrocks.svc.cluster.local;
使用StreamLold写入 Starrocks报错：Caused by org
qq_32486597的博客
08-24 1634
StreamLoad写入Starrocks报Content-Length header already present错误
【mysql表分区系】记一次错误的在原分区表追加表分区
run_boy_2022的博客
07-15 621
首先声明下我这边使用的mysql版本是5.7.29版本，当然下面的问题我这边也是基于这个版本。这里因为没有考证其他版本是否也会有这些问题，可自行来查阅资料。
【nginx】starrocks通过nginx实现负载均衡、故障转移与flink运行SR实战
hiliang521的博客
02-05 3556
【nginx】starrocks通过nginx实现负载均衡、故障转移与flink运行SR实战
深入解析partition-range分区
crbzijz188696507的博客
03-11 1638
先借用官网对range分区的用法说明 Range partitioning maps data to partitions based on ranges of partition key values tha...
starrocks的备份和恢复，遇到硬链接问题
06-21
### StarRocks备份与恢复过程中硬链接问题的解决方案 在使用StarRocks进行数据备份和恢复时，硬链接问题可能源于文件系统操作或元数据管理中的不一致。以下是针对这一问题的详细解决方案： #### 1. 硬链接问题的背景 硬链接是文件系统中的一种机制，它允许多个目录项指向同一个文件的 inode。在备份和恢复过程中，如果涉及硬链接的文件处理不当，可能会导致数据不一致或丢失。例如，在分布式存储环境中，某些节点上的文件可能被错误地覆盖或删除[^3]。 #### 2. 备份过程中的硬链接处理 在备份过程中，可以通过以下方法避免硬链接引发的问题： - **使用快照备份**：StarRocks支持通过 FE（Frontend）创建表或分区的快照。快照备份不会直接复制文件，而是记录元数据信息，从而避免了硬链接带来的复杂性[^1]。 - **指定备份路径**：确保备份路径位于支持硬链接的文件系统（如 ext4）上，并且在备份前清理目标路径以防止冲突。 ```bash # 创建表的快照 CREATE SNAPSHOT db_name.tbl_name TO 'hdfs://namenode:8020/user/starrocks/snapshots'; ``` #### 3. 恢复过程中的硬链接处理 在恢复过程中，需要特别注意硬链接的正确解析： - **验证元数据一致性**：在恢复之前，检查备份文件的元数据是否完整。可以通过 `ls -i` 命令查看文件的 inode 编号，确保硬链接关系正确。 - **使用官方工具**：StarRocks 提供了专门的恢复工具，能够自动解析硬链接并确保数据一致性。建议使用这些工具而非手动操作文件系统[^1]。 ```bash # 恢复表的快照 RESTORE TABLE db_name.tbl_name FROM 'hdfs://namenode:8020/user/starrocks/snapshots' PROPERTIES ("restore_job_expire_time"="3600"); ``` #### 4. 日志分析与问题排查 如果在备份或恢复过程中遇到硬链接相关的问题，可以通过以下方式排查： - **FE 日志分析**：搜索日志中的关键词（如 `timeout` 或 `hardlink`），定位具体错误原因[^3]。 - **BE 日志分析**：检查 BE（Backend）日志中的 `load job` 记录，确认是否存在文件格式或路径问题。 ```bash # 查看 FE 日志 grep "hardlink" /path/to/fe/log/fe.log # 查看 BE 日志 grep "load job" /path/to/be/log/be.log ``` #### 5. 核心优化建议 为避免硬链接问题的发生，可以从以下几个方面进行优化： - **合理分区分桶**：通过分区分桶减少单个文件的大小，降低硬链接管理的复杂度。 - **资源隔离**：确保不同任务之间的资源独立，避免因并发操作导致的文件冲突[^3]。 - **定期监控**：使用 StarRocks 的监控功能，定期检查节点状态和磁盘使用情况。 --- ###
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值