
大数据
灯下驼贼
眼神不对劲
展开
-
hadoop关闭不了namenode和datanode解决方法
开启:sudo sbin/hadoop-daemon.sh start namenodesudo sbin/hadoop-daemon.sh start datanode关闭:sudo sbin/hadoop-daemon.sh start namenodesudo sbin/hadoop-daemon.sh stop datanode或者:sbin/stop-all.sh...原创 2018-03-08 00:18:15 · 8205 阅读 · 0 评论 -
hadoop运行简单例子--单词统计
前提是已经搭建好了Hadoop平台:如下第一步:创建HDFS目录:文件输入目录: hadoop fs -mkdir -p /csz/wordcount/input第二步:新建数据文件:mywordI thought a thought. But the thought I thought wasn't the thought I thought I原创 2018-03-15 22:06:39 · 621 阅读 · 0 评论 -
hadoop之hive安装
第一步:mysql已经安装好了第二步下载hive包并tar开第三步:修改环境变量:第四步:修改Hive的配置文件 到hive 配置文件目录中cd /home/hadoop/hive-2.1.1/conf/把初始化的文件 复制一份出来 并且改名cp hive-env.sh.template hive-env.shcp hive-default.xml.template hive-site.xml...原创 2018-03-15 23:46:35 · 546 阅读 · 0 评论 -
sqoop导入hive表报错Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set co
Ubuntu环境:打开~/.bashrc,添加行:把那些/etc/profile中的环境变量全部加进入1使生效:source .bashrc原创 2018-03-16 16:08:04 · 870 阅读 · 0 评论 -
sqoop从MySQL中导入hive中
命令:bin>>导入hive: ./sqoop import --connect jdbc:mysql://127.0.0.1:3306/test --username root --password root --table info --delete-target-dir --num-mappers 1 --hive-import --hive-database test --h...原创 2018-03-16 16:10:03 · 291 阅读 · 0 评论 -
大数据之推荐系统
全局的配置/etc/profilesudo nano /etc/profile# /etc/profile: system-wide .profile file for the Bourne shell (sh(1))# and Bourne compatible shells (bash(1), ksh(1), ash(1), ...).if [ "${PS1-}" ]; th...原创 2018-03-18 00:37:37 · 1831 阅读 · 0 评论 -
datanode 启动不了
2018-03-21 12:07:07,545 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /workspace/hadoop/dfs/data/in_use.lock acquired by nodename 20317@cuishizhou012018-03-21 12:07:07,547 WARN org.apache原创 2018-03-21 12:14:55 · 640 阅读 · 0 评论 -
sqoop安装
sqoop安装: 下载: sqoop-1.4.6-cdh5.5.2.tar.gz 解压:sudo tar -zxvd sqoop-1.4.6-cdh5.5.2.tar.gz 配置:sudo nano /etc/profileexport SQOOP_HOME=/usr/sqoop/sqoop-1.4.6-cdh5.5.2export PATH=$PATH:$SQOOP_HOEM...原创 2018-03-22 11:25:17 · 290 阅读 · 0 评论