
mysql
lalaguozhe
陈昱康,对分布式计算和存储、调度、查询引擎、在线离线混部、数据安全,工具平台,高并发等方面有丰富研发和实践经验
展开
-
Hive Web查询语句插入mysql数据库报错
最近用户一直抱怨Hive Web Client在提交某些查询后,不会返回结果到前端,比如join五张表的语句就不行,只有去掉一个join先查询写入一张临时表,再和最后一张表join才行。我后来debug了下,发现语句确实是成功执行了的,而且结果文件已经dump到hive web的本地系统文件中,这就有点奇怪了,难道是输出格式不对或者结果中有脏字符,在逐一排除掉其他可能的问题原创 2013-06-12 11:37:08 · 1627 阅读 · 0 评论 -
“INSERT ON DUPLICATE KEY UPDATE”更新部分字段
之前的wormhole(我们开发的大规模批量数据传导工具,类似apache的sqoop,淘宝的datax)的mysql writer支持insert into 和 replace into两种方式入mysql表。现在有需求要支持update部分字段操作,比如计算完的一堆商户ID(ShopID)和对应PageView总数(ViewTotal),需要更新到一张多字段的Shop表对应字段中(Shop原创 2013-06-22 12:20:04 · 11162 阅读 · 0 评论