
大数据
文章平均质量分 81
qql2011
这个作者很懒,什么都没留下…
展开
-
Spark SQL解析复杂、嵌套、加密json大文件数据思路(java)
文件gz压缩格式20G,解压后200G左右,每行都是一个json字符串,大概500w行。每行json格式简化后如下:{ "tel": "15311111111111", "mac": "33:D3:B3:43:83:03", "name": "zhongxing", "type1": "140102", "timestamp": "1572735114", "event": {...原创 2019-12-04 18:04:40 · 1196 阅读 · 0 评论 -
Hive配置hive-site.xml后启动出错
错误信息:[hadoop@hadoop1 conf]$ hiveLogging initialized using configuration in jar:file:/home/hadoop/happ/apache-hive-0.14.0-bin/lib/hive-common-0.14.0.jar!/hive-log4j.propertiesSLF4J: Class path c原创 2016-11-16 16:21:35 · 6078 阅读 · 0 评论 -
4台虚拟机实现高可用Hadoop集群步骤
目录一、集群安装1、软件版本选择2、机器配置 1)4台机器分配 2)修改hosts 3)免密登录3、软件安装 1)安装jdk 2)安装zookeeper 3)安装hadoop 4)小结二、启动集群1、启动zookeeper2、启动hadoop1)启动journalnode进程初始...原创 2019-09-26 20:44:55 · 1694 阅读 · 12 评论