sparkStreaming往数据库写数据时候字段注释消失

本文探讨了使用Spark Streaming向数据库写入数据时遇到的问题,即字段注释消失及数据类型变化。分析了问题产生的原因是由于使用了overwrite模式,介绍了如何通过设置truncate属性为true来解决此问题。

问题描述:sparkStreaming往数据库中写入数据,我手动给字段加上注释,但是等下个批次数据来临时候,字段注释就消失了,字段的数据类型也改变了。试了好几次都是这样。

原因:写数据库时候我用的是overwrite方式写入,overwrite是把数据删除,把表删除,然后重新建表,重新写入数据。所以注释会消失的,数据类型也会改变。append不会出现这个问题。

解决方法:很简单,设置个属性就行了。


writeNowDF.write.format("jdbc").option("url",url).option("driver",driver).option("dbtable",nowTable).option("user",user).option("password",password).option("truncate",true).mode("overwrite").save()

重点在于truncate这个属性设置为true就可以了。他只会删除表数据,不会删除表,这样注释就不会消失了。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值