jet_xule的博客

1.Hdfs相关： hdfs dfs -put 文件名 hdfs路径 举例:hdfs dfs -put application.conf /opt/data/dspAnalysis/ hdfs dfs -mkdir +hdfs路径 举例:hdfs dfs -mkdir /opt/data/dspAnalysis Hdfs dfs -rm 文件名 hdfs dfs -rm -r 文件夹名 删除文件/...

执行程序时一直Kill状态，查询日志报权限不够的问题，去对应分发的节点查看，发现启动hive的时候也会报权限不足的问题 原因： 在hive的配置文件定义了/opt/local/hive/iotmp文件夹，使用root账号创建了该文件夹，运行hive时使用的是hadoop账号，所以导致该问题。 解决方法： 先查询对应hive目录下的iotmp文件的权限 更改权限chgrp -R hadoop io...

我日常工作中的大数据测试分为四个层级：1.数据采集 2.数据清洗 3.数据分析4.数据可视化 1.数据采集 首先说一下数据采集，目前我所接触的数据采集分两块，一部分是实时数据采集，一部分是触发式的数据采集。 实时数据采集主要通过像fulume,logstash这样的数据采集工具或者一些java程序，通过crontab或者后台运行脚本来实时去数据源抓取数据存入hdfs,hbase这些存储工具中。 像...