- 博客(15)
- 收藏
- 关注
RSS订阅
1原创 DATAX类型转换错误, 无法将[\\N] 转换为[LONG]
如上，数据同步时发现脏数据，报类型转换错误，无法将[\\N] 转换为[LONG]，原因是hive中的null值datax无法转为LONG，只需一步，指定空值格式即可。
2023-11-27 20:00:35
1034
原创 datax空文件报文件类型错误
part-000**文件，job在做partiton时由于分桶函数不够完善，或者数据倾斜较严重，而开发没有足够的经验对其做出处理，导致某些reduce没有分到任何数据成为空桶，最终生成一个part-000**的空文件。方案1、在HDFS路径后加/*，会自动扫描所有文件，并跳过空文件，"path":"/user/hive/warehouse/dv_report.db/table/dt=${yyyymmdd}/*"检查hdfs文件，发现存在大小为0的文件，如下。空文件一般为第一个文件，如。
2023-11-27 15:51:29
713
原创 HIVE建表
HIVE建表语句：CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment]...
2017-07-10 14:05:28
896
原创 CPU-bound(计算密集型) 和I/O-bound(I/O密集型)
I/O密集型(I/O-bound) 大部分时间花在读/写 I/O (硬盘/内存)上的进程，我们称之为读/写 I/O (硬盘/内存)。 例如对静态网页的访问，简单的表查询。计算密集型 (CPU-bound) 在多重程序系统中，大部份时间用来做计算、逻辑判断等CPU动作的程序称之CPU bound。 例如一个计算圆周率至小数点一千位以
2017-06-22 11:00:25
848
原创 git 出现.swp不可见文件
.swp文件是如何生成的？正常情况：当你打开一个文件时，vi会自动生成一个.swp文件，文件名为[filename.**].swp，如果你正常退出，.swp文件会自动删除。非正常情况：1、当用多个程序编辑同一个文件 2、非常规退出(如：当你强行关闭vi时，比如电源突然断掉或者使用了Ctrl+Z，vi便会自动生成一个.swp文件，当你下次编辑
2017-05-05 12:09:13
3131
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人