wuzhilon88的专栏

spark 解决单job 问题，对于初学者来说经常遇到的问题。

公司大数据平台ETL操作中，在使用sqoop将mysql中的数据抽取到hive中时，由于mysql库中默写字段中会有换行符，导致数据存入hive后，条数增多（每个换行符会多出带有null值得一条数据），导致统计数据不准确。因为sqoop 导出文件不能是ORC这种列式存储，所以只能替换。导出后对替换的字符在进行替换，将数据表存储orc解决办法：利用一下两个参数可以实现对换行等特殊字...

spark thriftServer要设置开放端口，在hive-site.xml中设置没有用时：可以设置：export HIVE_SERVER2_THRIFT_PORT=10013脚本如下：act=$1export HIVE_SERVER2_THRIFT_PORT=10013function start_Thrift(){ ./sbin/sta...

altertabletmp_etltest.xxx SETFILEFORMATINPUTFORMAT'org.apache.hadoop.mapred.TextInputFormat'OUTPUTFORMAT'org.apache.hadoop.mapred.TextOutputFormat'SERDE'org.apache.hadoop.hive.serde2.lazy.Laz...

以前写过一篇spark1.6.x编写永久的自定义函数，今天补上写spark2.x永久自定义函数的步骤：1、使用scala语言编写自定义函数，spark2.x已经不在支持使用hive的方式加载函数    Scala类参数不同继承不同scala类（UnaryExpression、BinaryExpression、TernaryExpression、Expression）    重写nullSafeEv...

在大规模数据处理中，这是个比较常见的错误。报错提示报错1：  FetchFailed(BlockManagerId(846, xxx.hadoop.com, 7337, None), shuffleId=262, mapId=96, reduceId=122, message=org.apache.spark.shuffle.FetchFailedException: Failed to conn...

第一步拼接 all#字段 select to_utc_timestamp(exec_time, 'PDT') as ftime, substr(exec_time, 0, 10) as Fexec_date, substr(exec_time, 12, 5) as Fexec_hhmm, concat('ALL', '#', headers_host) as Fs...

1、改动的地方2、增加的数据表hiveMetastore.METASTORE_REFRESH 数据表1、增加了各个hivemeta 服务进行定时检测功能，检测其他hivemta 是否有alter 操作设计思想图：修改的主要代码：org.apache.hadoop.hive.metastore.ObjectStore的initialize...

1、详细的日志异常信息java.lang.RuntimeException: serious problematorg.apache.hadoop.hive.ql.io.orc.OrcInputFormat.generateSplitsInfo(OrcInputFormat.java:1021)atorg.apache.hadoop.hive.ql.io.orc.OrcInputFor...