spark写入tidb的坑

最新推荐文章于 2025-06-19 14:29:27 发布
最新推荐文章于 2025-06-19 14:29:27 发布
阅读量1.8k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Spark 文章标签： spark tidb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lvtula/article/details/96315467
本文探讨了TiDB中JSON字段的定义与实际计算结果的差异，以及Spark解析JSON字段时可能出现的问题与解决办法。重点介绍了如何避免空指针异常，并解释了TiDB中JSON字段的特殊存储形式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、tidb中定义的字段是json，但计算完的数据不是json

2、spark解析json的字段不一致，需加入判断json.contains(key)再去getString,否则可能空指针异常

3、tidb定义的是json,但计算完的数据可能为\N(空值在hdfs的底层默认存储方式)

使用Flink将数据写入TiDB
HackMasterX的博客
09-13 314
在上面的代码中，我们使用JdbcSink.sink方法创建一个JDBC连接器，指定了插入数据的SQL语句和记录到参数的映射函数。本文将介绍如何使用Flink将数据写入TiDB，并提供相应的源代码示例。现在，我们可以将流数据写入TiDB。在上面的代码中，我们使用socketTextStream方法创建了一个流，它从本地主机的9999端口接收文本数据。接下来，我们将创建一个Flink作业，将数据从流式源写入TiDB。最后，我们使用env.execute方法启动Flink作业并将数据写入TiDB。
spark-sql 写入paimon主键表报错 Cannot write nullable values to non-null column
yy的博客
08-27 417
写入paimon 会从语法上检测主键字段是否非空,如果函数或者字段可能为空,则报错如上。借助nvl 返回值非空的逻辑规避。
Spark和TiDB (Spark on TiDB)
04-30
SparkTI (Spark on TiDB)是TiDB基于Apache Spark的独立于原生系统的计算引擎。它将Spark和TiDB深度集成，在原有MySQL Workload之外借助Spark支持了更多样的用户场景和API。这个项目在SparkSQL和Catalyst引擎之外实现了一套扩展的，为TiDB定制的SQL前端（Parser，Planner和优化器）：它了解TiDB如何组织数据，并知晓如何借助TiDB本身的计算能力加速查询，而不仅仅是一个Connector。凭借SparkTI，TiDB将成为Hadoop生态的一部分，铺平了OLTP系统和离线分析集群之间的鸿沟。
spark 写tidb_优秀的数据工程师，怎么用 Spark 在 TiDB 上做 OLAP 分析
weixin_39597987的博客
12-20 286
作者：RickyHuo本文转载自公众号「大道至简bigdata」。TiDB 是一款定位于在线事务处理/在线分析处理的融合型数据库产品，实现了一键水平伸缩，强一致性的多副本数据安全，分布式事务，实时 OLAP 等重要特性。TiSpark 是 PingCAP 为解决用户复杂 OLAP 需求而推出的产品。它借助 Spark 平台，同时融合 TiKV 分布式集群的优势。直接使用 TiSpark 完成 OL...
TiDB 字符串行转列与 JSON 数据查询优化知识笔记
最新发布
奔跑的蜗牛AZ的博客
06-19 654
总结：TiDB 中处理字符串行转列与 JSON 数据时，优先选择 JSON_TABLE + JSON 索引 方案，结合虚拟列和合适的索引类型可显著提升性能。核心原理：利用 JSON_TABLE 将数组元素映射为行，支持位置信息提取，性能接近 O (log n)。JSON_SEARCH 搜索值并返回路径 不支持索引 O (n)（全表扫描）时间复杂度从全表扫描的 O (n) 降至索引扫描的 O (log n)。性能对比：虚拟列 + 索引查询耗时较无索引方案提升 100+ 倍。方法 匹配逻辑 索引支持 性能。
spark 写tidb_当Apache Spark遇见TIDB
weixin_39640262的博客
12-20 319
展开查看详情1.When Apache Spark meets TiDB=> TiSparkmaxiaoyu@pingcap.com2.Who am I● Shawn Ma@PingCAP● Tech Lead of OLAP Team● Working on OLAP related products and features● Previously tech lead of Big Da...
spark程序将hive表亿条数据写入tidb
weixin_47699191的博客
03-10 2872
import java.sql.{Connection, DriverManager, PreparedStatement, SQLException} import com.alibaba.fastjson.JSON import org.apache.spark.rdd.RDD import org.apache.spark.sql.types.{IntegerType, LongType, StringType, StructField, StructType} import org.apache.s
TiDB 在 OPPO 准实时数据仓库中的实践
TiDB_PingCAP 的博客
01-06 1819
本文转载自微信公众号“OPPO大数据”。 作者介绍：OPPO 数据分析与解决方案团队主要负责 OPPO 全集团的大数据分析和解决方案提供，团队成员多来自一线互联网公司及著名高校，在 OPPO 众多场景的大数据应用方面有很深经验，极大的支撑了业务迅速发展。 文章具体作者：羊欢，代凯，柳青，陈英乐。 OPPO 大数据中心在 2019 年初承接了接入某业务线核心数据的重要任务：一期目标是建立一个能提...
spark 读取tidb
09-28
Spark可以通过SparkSQL集成TiDB来支持读取和写入TiDB。这个集成项目被称为SparkTI（Spark on TiDB），它是TiDB基于Apache Spark的计算引擎。通过使用SparkTI，你可以借助Spark支持更多样的用户场景和API。你可以使用...
tispark：TiSpark是为在TiDBTiKV之上运行Apache Spark而构建的
02-25
TiSpark是为在TiDB / TiKV之上运行Apache Spark来回答复杂的OLAP查询而构建的薄层。 它既具有Spark平台和TiKV分布式集群的优点，又可以无缝集成到分布式OLTP数据库TiDB中，从而为在线交易和分析提供一站式混合事务/...
spark 写入tidb 报错read-uncommitted is not supported
qq_43670527的博客
06-28 1642
报错日志： Caused by: java.sql.SQLException: The isolation level ‘READ-UNCOMMITTED’ is not supported. Set tidb_skip_isolation_level_check=1 to skip this error 解决方式： val tidb_url = ""//填写自己的tidburl val table_name = "aa"//要插入的tidb表 val properties = new Properties
当 TiDB 与 Flink 相结合：高效、易用的实时数仓
01-26
随着互联网飞速发展，企业业务种类会越来越多，业务数据量会越来越大，当发展到一定规模时，传统的数据存储结构逐渐无法满足企业需求，实时数据仓库就变成了一个必要的基础服务。以维表 Join 为例，数据在业务数据源中以范式表的形式存储，在分析时需要做大量的 Join 操作，降低性能。如果在数据清洗导入过程中就能流式的完成 Join，那么分析时就无需再次 Join，从而提升查询性能。
spark 写tidb_tidb使用坑记录
weixin_39626162的博客
12-20 754
1、对硬盘要求很高，没上SSD硬盘的不建议使用2、不支持分区，删除数据是个大坑。解决方案：set @@session.tidb_batch_delete=1;3、插入数据太大也会报错解决方案：set @@session.tidb_batch_insert=1;4、删除表数据时不支持别名delete from 表名 表别名where表别名.col = '1' 会报错5、内存使用有问题，GO语言...
TiDB的存储层（TiKV）做为spark分布式数据源事例
BASEDEDATO的博客
11-14 818
                TiSpark深度整合了Spark Catalyst引擎，可以对计算提供精确的控制，使Spark能够高效的读取TiKV中的数据，提供索引支持以实现高速的点查; 通过多种计算下推减少Spark SQL需要处理的数据大小，以加速查询;利用TiDB的内建的统计信息选择更优的查询计划。 从数据集群的角度看，TiSpark + TiDB可以让用户无需进行脆弱和难以...
TiDB用什么保证备份的一致性？
老叶茶馆
04-01 1614
背景作为一名MySQL DBA，就应该了解MySQL备份无论是逻辑备份还是物理备份，都会使用FLUSH TABLES WITH READ LOCK（下面简称FTWRL）锁来保证数据库备...
spark 写tidb_tidb 系列三：有了sparkjdbc为什么还要tispark
weixin_39614874的博客
12-20 645
概述因为有spark的基础，所以接手了tispark，刚好有同事问我，tispark执行方式是sql，而tidb又是兼容mysql协议，为什么不直接使用spark on jdbc，而要另外创建tispark？“tispark做了额外的优化”，这是官方的回答。但我自己都不知道做了哪些优化，怀着极大的兴趣，花费几天的时间通读了tispark的源码，受益匪浅，于此分享解惑。理解本文需要有分布式计算和sq...
spark写入hive出现数据不一致
Mophistoliu的博客
11-30 2727
记录一下这次遇到的诡异的坑，就是spark写入hive出现数据不一致的问题。 问题描述如下： 使用spark创建dataframe，通过createOrReplaceTempView创建临时表 检查创建的临时表，与DataFrame的数据保持一致 执行插入hive分区的sql命令 insert overwrite table xxx.xxx partition (pt) s...
记Spark JDBC写Tidb报错
X_King_Y的博客
03-16 907
由于分布式事务要做两阶段提交，并且底层还需要做Raft复制，如果一个事务非常大，会使得提交过程非常慢，并且会卡住下面的Raft复制流程。注意:无论是大小限制还是行数限制，还要考虑TiDBit做编码以及事务额外Key的开销，建议每个事务的行数不超过200行，且单行数据小于100k，否则可能性能不佳。KV entry的总大小不超过100MB(SQL层面：一次提交的全部数据小于100MB)KV entry的总条数不超过30w(SQL层面：总的行数*(1+索引个数)
大数据开发之Flink + TiDB
m0_58371965的博客
01-21 561
一、实时数仓经典架构 实时数仓有三个著名的分水岭： 第一个分水岭是从无到有，Storm 的出现打破了 MapReduce 的单一计算方式，让业务能够处理 T+0 的数据。 第二个分水岭是从有到全，Lambda 与 Kappa 架构的出现，使离线数仓向实时数仓迈进了一步，而 Lambda 架构到 Kappa 架构的演进，实现了离线数仓模型和实时数仓模型的紧密结合。 第三个分水岭是从繁到简，Flink 技术栈的落地大数据培训使实时数仓架构变得精简，并且是现在公认的流批一体最佳解决方案。 .
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值