aizhenshi的博客

CDH5.12.1搭建文档

需求公司以前的旧数据存放在服务器上面的MongoDB上,现在要使用这些数据进行大数据分析处理,那么就出现了MongoDB的数据导入到HDFS上的Hive数据表中的需求.现在写下该博客Mark一下!实现步骤1.下载jar文件:版本要求摘自https://github.com/mongodb/mongo-hadoop/wiki/Hive-Usage mongo-hadoop-core-2.0.2.ja

需求有一些特殊的场景,需要将Hive中的结构化数据表的数据导入到MySQL中.如果是使用HiveContext去导的话,需要编写代码,然后提交jar包,比较麻烦.可以直接使用Sqoop组件将Hive的数据导入到MySQL中.Sqoop的安装和使用在这里不再赘述了.1.Hive表创建的Hive表及其定义的字段如下:create external table behavior1(city string

检查程序运行错误日志并发送钉钉机器人播报

前提要做数据源的整理,需要将Mysql数据库表的结构导出到Excel表里面做文档记录;第一个Sheet是所有表格的列表,其他的Sheet是每一个表格的详细字段以及注释说明.打开PowerDesigner的数据库结构导出Excel脚本页面选择好连接的数据库以后,ctrl+shift+x 弹出执行脚本界面，输入如下代码就会生成 ExcelOption Explicit Dim rowsNu...

缘起    之前的任务一直使用的是crontab定时任务，要通过监听任务运行日志才可以知道任务执行失败，并且还要设置邮件发送比较麻烦。最重要的是crontab无法维护任务之间的依赖关系。而使用Azkaban可以很方便的管理任务之间的依赖关系，可以设置任务失败执行重试操作和邮件发送，NICE！安装    首先第一步肯定是要上官网瞄一下啦！https://azkaban.github.io/azkab...

    最近有同学问我CDH怎么安装Kafka服务，正好我之前也有安装过，在这里将安装过程记录一下，方便各位同学过坑！    既然已经安装了CDH,那么我们在安装kafka服务的时候,很自然的直接添加服务：        但是有提示:Before adding this service, ensure that either the Kafka parcel is activated or the...

mysql的数据导入到hive表中报错:Error: java.io.IOException: SQLException in nextKeyValue    at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.java:277)    at org.apache.hadoop.mapred...