操作Doris数据库错误记录——insert has filtered data in strict mode

已于 2023-06-12 17:53:51 修改
阅读量1.2w 收藏 5
点赞数 3
文章标签： 数据库 sql mysql
于 2023-05-23 17:50:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_54243306/article/details/130832241
版权
文章描述了在尝试向Doris数据库写入数据时遇到的问题，错误提示为inserthasfiltereddatainstrictmode。问题的根本原因在于列的长度不足（最初为VARCHAR(10)，后改为VARCHAR(64)）以及在时间分区表中插入不符合分区规则的数据。解决方案包括调整列长度和手动添加或使用动态分区来避免此类错误。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

错误

在写入Doris数据库时，一直写入不进去，报错： insert has filtered data in strict mode，翻译：插入在严格模式下过滤了数据

问题所在

在创建表的时候有一列的长度过短

之前用的是VARCHAR(10)类型的数据，现在改为 VARCHAR(64)

修改之后就可以插入

问题扩展

同样的报错，不同的原因，这一次还是发生在插入数据的时候

原因

我在创建表是对数据进行了分区，以时间进行分区，没有做动态分区，所以我在插入不在分区规定的时间时就会报错。

解决方法

手动给表继续添加分区，不想麻烦的话就去研究怎么搞动态分区吧

府鲜生
关注
【大数据】Doris 数据库与表操作语法实战详解
congge_study的博客
10-03 2万+
Doris 数据库与表操作语法实战详解
【云原生】docker 部署 Doris 数据库使用详解
热门推荐
congge
09-08 1万+
docker 部署 Doris 数据库使用详解
解决Doris报错：insert has filtered data in strict mode
学亮编程手记
09-27 2248
报错： insert has filtered data in strict mode，翻译：插入在严格模式下过滤了数据。的连接地址，可以查看报错具体详情。
ERROR 5025 (HY000): Insert has filtered data in strict mode, tracking_url=http://IP
eagle89的专栏
01-08 2081
ERROR 5025 (HY000): Insert has filtered data in strict mode, tracking_url=http://IP
mysql insert锁机制(insert死锁)
qq_35232663的博客
04-16 2461
一、前言 上周遇到一个因insert而引发的死锁问题，其成因比较令人费解。 于是想要了解一下insert加锁机制，但是发现网上介绍的文章比较少且零散，挖掘过程比较忙乱。 本以为只需要系统学习一个较完全的逻辑，但是实际牵扯很多innodb锁相关知识及加锁方式。我好像并没有那么大的能耐，把各种场景的加锁过程一一列举并加之分析；亦没有太多的精力验证网上的言论的准确性。 只好根据现在了解的内容，参考...
doris导入报错问题集合
炼数成器
07-07 5076
解决：只能在doris里设置全局或会话，目前无法支持在jdbc上设置，官方明确表示在1.2.5版本中将会支持connection timeout。2.0版本或许会支持query设置。由于enable_insert_strict的默认值是false，当前执行 INSERT 语句时，有不符合目标表格式的数据，比如字符串超过字段类型等等，导入任务会直接报错。只要有一条数据被正确导入，则返回成功。数据默认是单条写入，需要改成批量。
Doris修改已有表格字段类型
qq_43751211的博客
04-22 7484
Doris修改字段类型
DORIS数据格式
09-04
描述DORIS数据格式https://passport.youkuaiyun.com/account/login?username=stonespark&activeCode=a4f6c6944b0703709050f5823a827923&service=http%3A%2F%2Fdownload.youkuaiyun.com%2Fdownload%2Fgaopu126%2F1494862
doris-0.15(已编译)
01-08
Doris，全称为Apache Doris，是一款基于MPP架构的高性能、实时分析型数据库。它以极致的查询速度、出色的数据加载性能以及广泛的数据源支持，赢得了广大数据分析师和工程师的青睐。本文将深入探讨“Doris 0.15”这一...
大数据系列之：Doris Kafka Connector，实时消费Kafka Topic中的数据同步到Doris数据库
zhengzaifeidelushang的博客
08-13 1373
大数据系列之：Doris Kafka Connector，实时消费Kafka Topic中的数据同步到Doris数据库
第3.1章：StarRocks数据导入--Insert into
流木的博客
02-08 1万+
Insert Into是我们在MySQL中常用的导入方式，StarRocks同样也支持使用Insert into的方式进行数据导入，并且每次insert into操作都是一次完整的导入事务。 在StarRocks中，Insert的语法和MySQL等数据库的语法类似，具体可以参考官网文档： Insert Into 导入 @ InsertInto @ StarRocks Docshttps://docs.starrocks.com/zh-cn/main/loading/InsertInto INSERT
Doris异常
wangqiaowq的博客
08-17 1321
execute sql error: Insert has filtered data in strict mode, 检查trackurl中的内容 发现报：Reason: no partition for this tuple数据进来了，但是动态分区表没有创建这条数据的时间分区在insert前加了句 ##查看是否创建成功 show partitions from ods_log_outlog_course_ydyjs_app;
sparkstreaming2.1-kafka-zk的scala程序pom.xm文件
窗外的屋檐
11-06 569
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://
Doris数据导入和导出
sijiwang95的博客
04-14 1505
Broker 导入，主要用于从HDFS上把文件导入到Doris中。这是一个异步导入的方式。（任务执行成功并不代表数据全部都导入成功）前提：启动HDFS。
第3.0章：StarRocks SSB性能测试（拓展篇）
流木的博客
01-07 4904
SSB（Star Schema Benchmark）是麻省州立大学波士顿校区的研究人员定义的基于现实商业应用的数据模型，是业界公认的可用来模拟决策支持类应用的测试集合，其测试结果比较公正和中立。学术界和工业界普遍采用它来评价决策支持技术类应用的性能，以此全方位评测系统的整体商业计算综合能力。 通过SSB测试集合，我们可以方便的对比各种OLAP产品的基础性能指标，StarRocks的SSB测试报告可以在官网获取，地址为： StarRocks - 新一代极速全场景MPP数据库https://www.star
hy000 mysql_一个mysql的SQLSTATE[HY000]的错误
weixin_31459297的博客
02-23 1万+
先看一个mysql错误，SQLSTATE[HY000]: General error: 1366 Incorrect integer value: '' for column 'id' at row 1。这是添加数据的接口丢出了这样的一个mysql错误。对于这样的错误首先先看一下字面上的以上，英语不行的可以用翻译软件看一下，这句话是什么意思：“id字段为‘’值是一个错误的int类型值”。问题找到了...
Doris insert会丢数？
gaofeng的博客
05-26 2194
对表insert DUPLICATE模型的表，我insert into select …的方式为什么会丢数据呢 select结果集2万4条数据，但是insert后，表里只剩1万6条数据了 设置临时变量 set enable_insert_strict=true 再执行insert into select就会发现会有报错日志，日志显示select结果集中的有些数据不符合表的字段长度 如果没有开启严格模式，则会被过滤掉，造成丢数的现象，开启这个参数，就会显示出错误信息 ...
如何在brainstorm中对meg数据进行拓扑时频分析
最新发布
03-31
### 如何在Brainstorm工具中对MEG数据执行拓扑时频分析 #### 工具概述 Brainstorm 是一款由多个研究机构联合开发的开源工具包，主要用于 EEG 和 MEG 数据的处理与分析[^1]。它不仅提供了丰富的功能模块来支持常见的信号预处理、统计分析以及可视化操作，还特别强调了源定位分析的能力。对于没有深厚编程背景的研究人员来说，其图形化用户界面（GUI）极大地简化了复杂数据分析流程。 #### 拓扑时频分析简介 拓扑时频分析是一种结合时间-频率分解和空间分布特征的技术，能够揭示脑电信号在不同时间段内的频率成分变化及其对应的头皮投影模式。这种分析方法通常用于探索大脑活动的时间动态特性及区域特异性响应。 #### 在 Brainstorm 中实现的具体步骤说明 为了完成 MEG 数据的拓扑时频分析，在 Brainstorm 的框架下可以遵循如下逻辑结构： 1. **加载原始数据** 首先通过 GUI 或脚本方式导入已采集好的 MEG 文件到软件环境中。确保所选文件格式被支持并经过必要的质量控制检查。 2. **设定实验条件标签** 定义好各个刺激事件或者行为状态对应的时间戳标记，以便后续分段提取感兴趣区间的数据片段。 3. **应用滤波器预处理** 对于噪声干扰较大的情况，可考虑采用带通滤波或其他降噪手段优化信噪比表现。 4. **计算时频表示矩阵** 利用短时傅里叶变换 (STFT)，连续小波变换(CWT)或者其他适用算法生成每通道随时间和频率演变的能量谱密度图。 ```matlab % 示例代码展示如何调用内置函数进行 STFT 计算 params.time_window = [0, 1]; % 设置窗口范围 params.frequency_range = [1, 50]; % 设定目标频段界限 results = bst_process('CallProcess', 'process_spectrogram_stft', data_file, [], params); ``` 5. **绘制平均效应映射** 将同一条件下多次重复测量得到的结果汇总起来求取均值作为最终代表图像，并叠加标准差阴影区显示变异性程度。 6. **构建交互式三维视图** 借助 Brainstorm 提供的强大渲染引擎把上述二维平面信息扩展至整个头部几何模型上呈现出来，从而更直观地理解局部激活位置关系。 以上便是利用 Brainstorm 平台针对 MEG 资料开展拓扑时频解析的一般思路总结。 ```python import numpy as np from scipy.signal import spectrogram # Python 版本模拟演示部分核心运算过程 fs = 1e3 # Sampling rate t = np.linspace(0, 1, fs) # Time vector frequencies = [50, 150] # Frequency components to simulate amplitudes = [1, .5] signal = sum([a * np.sin(2*np.pi*f*t) for a,f in zip(amplitudes, frequencies)]) freqs, times, Sxx = spectrogram(signal, fs) print(f"Frequencies detected: {list(freqs)} Hz") ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值