katyusha1的博客

前言 今天用spark把一个csv文件导到hive后，使用select * from test.tablett limit 10 的时候，直接给我报错了cannot find field flow from [org.apache.hadoop.hive.serde2.objectinspector.UnionStructObjectInspector$MyField@6cfac647, org.apache.hadoop.hive.serde2.objectinspector.UnionStruct

前言 由于平时有许多自动处理数据的脚本需要执行，再加上这些脚本之间存在一定的依赖性，为了完美的解决脚本之间的执行，azkaban便登上了历史的舞台。 azkaban的优点、简介我就不多说了，各位老铁们可以搜索一下，由于azkaban依赖于MySQL，我这里想要说一下，在安装mysql之后，使用root密码登录mysql所报的错：Access denied for user’root’@'localhost’的解决方法。（mysql以前我也安装过很多次了，但是报这个错，然我着实有点吃惊。）1、参考网上

问题最近给公司的一个线上销售产品弄一个数据大屏，采用的tornado+echarts的技术方案，前端图表模板写好后，后端只需要吧相关数据灌到前端模板上就ok了，但是当在下从后端传输一些比较复杂的数据给前端后，前端突然报了这么一个错Uncaught SyntaxError: Unexpected token '&'跳转到具体页面，发现后端传到前端的数据全部变样了[{"item_name": "\u989d\u5916\u5237\u65b

 我是公司的一块砖，哪里需要往哪搬。如果研发人不足，数据也可做后端。 数据组老大离职，一堆数据接口代码等待人来接管，我天天祈求这些代码不要出问题，然后美梦就成真了，今天，其中一个提供关键词的接口慢的一批. 恰逢此时，领导在我背后拍了拍我的肩膀，有为啊，这个问题就交给你来处理了吧，你可从来没让我失望过啊！ 当时，在下的心情比吃了七斤二两新鲜的热翔还要难受，鼓励我做事（晒甩事情）的话你都说，鼓励我做事（加薪）的事你不做，我给你说个锤子。 狠话虽然这样说，但是还是要恰饭的，为了这口饭，在下只好忍气吞声，卧

问题 今天一大早给运营小妹用sparksql跑埋点数据，但是sparksql却给我抛了这么一个东西。select source, version, count(1) as numfrom app.app_recordgroup by source, version **java.sql.SQLException: java.lang.RuntimeException: serious problemat org.apache.hive.jdbc.HiveStatement.exe

 门外柳花飞，女神犹未归。 今年五二零，依旧空落泪。 2020年5月20日下午两点，上午请假的女生重新回到了公司。今天，女神穿了一件波西米亚长裙，“足下蹑丝履，头上玳瑁光。腰若流纨素，耳著明月珰。指如削葱根，口如含朱丹。纤纤作细步，精妙世无双。” "微风冲动她的发梢，就像风的线条。"今天的女神格外的美丽，尽管如此李有为还是时时刻刻提醒自己，一定要懂得拒绝，不管女神今天使出什么甜言蜜语、糖衣炮弹，都不能答应她的请求。 **温柔乡，屌丝冢！**认真，你就玩了！ 然而，当女生走到他身边，闻到她身上那若有

前言前几天运维的哥们悄悄的吧es升级到7之后，哥们儿我发现我的es洗数脚本在任务管理界面几乎是清一色的满江红，在程序界牵一发而动全身的情况并不少见，这下也好哥们儿我的工作量一下就来了，（免得老板看在眼里以为我是个闲人，在年底把我开了！）进入正题公司有个业务场景需要对不同的用户进行划分，划分的基础是根据行为，所以我只能从es日志中找到产生过相关行为数据的用户让后将这部分用户全部提取一出来，每个...

前言公司为了在某些运营活动上能够取得更有力的数据支持，决定公司沿用growingIO的同时，内部自己写一套埋点系统，其中，在记录用户唯一性方面采用了fingerprint2（ 一款开源设备指纹采集器），然后坑出现了坑，巨坑，神坑埋点时间上线一个月之后，数据采集、处理、分析没有出现什么问题，直到在app端上线了一个活动。突然之间，炸了。在下统计数据的时候，突然发现浏览过该活动页面的登录用户居然...