lzo
关注
分享
扫一扫
哈哈-bazinga
蓦然回首，那人竟在灯火阑珊处！
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
lzo-lzop
编译环境生成 linux机器上执行yum -y install lzo-devel zlib-devel gcc autoconf automake libtool下载lzohttp://www.oberhumer.com/opensource/lzo/download/lzo安装tar -zxvf lzo-2.10.tar.gz -C /opt/cd /opt/lzo-2.10export CF...原创 2018-04-16 14:58:12 · 1341 阅读 · 0 评论 -
spark读取lzo文件并指定日志记录起始标识符
1、读取文件是LzoTextInputFormat.class2、设置JavaSparkContext jsc = new JavaSparkContext(conf);Configuration hconf = jsc.hadoopConfiguration();hconf.set("textinputformat.record.delimiter", "[*&^%]"); hc...原创 2018-04-16 16:29:06 · 1183 阅读 · 0 评论