sun eclipse-优快云博客

原创 hive使用sqoop导入MySQL, mapreduce错误

hive使用sqoop导入MySQL,MySQL有自增字段id,会出现字段数目不匹配的错误原因是 MySQL插入数据时不使用id,则需要加上字段名insert into table(name) values (“sss”)sqoop导入类似INSERT INTO bigdata_work VALUES不加字段名则会出现上述错误1.插入数据时如：insert into biao1 values(’‘null",列值1，列值2)；经过测试之后你发现这种方法不行2.指定插入数据名如insert

2020-08-21 10:17:15 355

原创 nagios配置监控datanode的个数

shell监测datanode个数返回给nagios步骤一：新建check_datanodes.sh文件并修改权限 [root@master libexec]# vim check_datanodes.sh#!/bin/sh# set java environmentexport JAVA_HOME=/usr/local/src/javaexport JRE_HOME=/usr/local/src/java/jreexport CLASSPATH=.:$CLASSPATH:$JAVA_HOM

2020-07-10 10:40:14 481 1

原创 shell切换用户再执行命令

脚本如下#!/bin/shsu -s /bin/bash - hadoop -c 'hadoop dfsadmin -report'

2020-07-09 16:30:15 1554

原创 nagios配置监控HDFS的健康状态

步骤一：新建check_hdfs.sh文件并修改权限[root@master objects]# cd /usr/local/nagios/libexec/[root@master libexec]# vim check_hdfs.sh#!/bin/sh#set java environmentexport JAVA_HOME=/usr/local/src/javaexport JRE_HOME=/usr/local/src/java/jreexport CLASSPATH=.:CLASSPA

2020-07-09 13:51:50 508

原创使用hive+hbase做数据分析

数据来源：中国软件杯—基于互联网大数据的招聘数据智能分析平台使用工具：eclipse环境搭建：hadoop，hive，mysql，hbase，tomcat博客只做数据分析的流程与方法介绍，代码还在完善中，所以不做提供闲话不多说，直接展示效果图1.数据清洗拿到数据集后发现数据并不是很规整，需要做一些处理，比如说去除制表符，去空或者是换行符等等，这里的处理方法比较简单，可以使用pyth...

2019-06-18 16:19:27 5194 4

原创 hive安装步骤&踩过的坑,hive启动&HiveQL基本用法

1 启动hive出现ls: 无法访问’/usr/local/spark/lib/spark-assembly-.jar’: 没有那个文件或目录解决:修改//bin/hive文件，将加载原来的lib/spark-assembly-.jar替换成jars/*.jar，就不会出现这样的问题。hive使用MySQL作为元数据2 mysql安装的简单方法安装过程中直接设置用户和密码sudo...

2019-05-05 21:55:59 931

原创 Spark sbt打包出错

spark应用sbt打包时:运行/usr/local/sbt/sbt package出现error: error while loading package, Missing dependency 'object java.lang.Object in compiler mirror', required by /home/hadoop/.sbt/boot/scala-2.10.6/lib/s...

2019-04-08 20:49:49 3675

原创安装pip失败解决方法：

解决pip安装失败方法问题描述下列软件包有未满足的依赖关系：python-pip : 依赖: python-pip-whl (= 8.1.1-2) 但是 8.1.1-2ubuntu0.4 正要被安装依赖: python:any (< 2.8)依赖: python:any (>= 2.7.5-5~)推荐: python-all-dev (>= 2.6) 但是它将不会被安...

2019-03-01 15:14:56 8747 3

转载 YOLO：实时物体检测--人脸检测

项目：https://github.com/pjreddie/darknet教程：https://pjreddie.com/darknet/相关链接：https://blog.youkuaiyun.com/john_bh/article/details/80625220widerface数据集的训练方法：https://blog.youkuaiyun.com/ycdhqzhiai/article/details/8...

2019-02-27 11:07:52 2445

原创 Ubuntu16.04下安装Tensorflow-gpu

电脑配置及环境如下：Ubuntu的版本：cat /etc/issue，Ubuntu 16.04.5Ubuntu的系统位数：sodu uname –m，X86_64GPU：GeForce GTX 750 ti显卡驱动版本：NVIDIA-Linux-x86_64-390.87cuda版本：cuda_8.0.61_375.26_linuxcudnn版本：cudnn-8.0-linux-x64...

2019-01-10 19:02:41 1811

原创解决error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools"两个方法

简述:在Windows下的pycharm安装出现 Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools的解决方法方法一下载Microsoft Visual C++通过下载Microsoft Visual C++工具直接解决这个报错并且能安装成功不过后面安装其他模块有可能会出现...

2019-01-04 23:48:54 45107 1

原创 Ubuntu16.04安装ROS系统以及安装过程中遇到的错误总结

配置 Ubuntu 仓库在设置打开软件和更新,配置确保确保你的&amp;amp;quot;restricted&amp;amp;quot;， “universe，” 和 &amp;amp;quot;multiverse.&amp;amp;quot;前是打上勾的,如下图所示:设置 sources.listsudo sh -c 'echo &amp;amp;quot;deb http://packages.ros.o

2018-12-28 15:57:31 12492 6

boom的博客