- 博客(15)
- 收藏
- 关注
RSS订阅转载 idea+Windows+hadoop本地调试
1、下载hadoop-2.6.0.tar.gz包到本地我解压后放入D:\hadoop-2.6.0-cdh5.9.3\https://github.com/steveloughran/winutils.git选择相应的版本下载hadoop.dll、winutils.exe文件放入D:\hadoop-2.6.0-cdh5.9.3\hadoop-2.6.0\bin配置环境变...
2018-09-07 19:37:00
326
转载 Livy submit mr、spark job
1、下载livywget http://mirrors.hust.edu.cn/apache/incubator/livy/0.5.0-incubating/livy-0.5.0-incubating-bin.zip2、解压安装依赖环境变量export SPARK_HOME=/opt/apps/cloudera/parcels/SPARK2-2.2.0.cloudera...
2018-07-17 20:31:00
208
转载 CDH 查找hive执行过的sql语句
首先找到这个jobid 可以看到这个job的执行时间很长 是被人工kill掉的在cdh里面设置日志的筛选条件 根据关键字FDM.T03_OFF_LOAN_APP_MA筛选日志时间设置 开始时间 我们都知道hive语句是需要翻译成mr的，所以日志开始时间要早于 SubmitTime结束时间 设置为SubmitTime 即可转载于:h...
2018-06-12 09:41:00
934
转载 sqoop 常见错误以及处理方式
Oracle: Connection Reset Errors错误代码11/05/26 16:23:47 INFO mapred.JobClient: Task Id : attempt_201105261333_0002_m_000002_0, Status : FAILEDjava.lang.RuntimeException: java.lang.RuntimeExc...
2018-03-13 15:05:00
233
转载 hue厉害啊
可以看日志mr日志可以看执行计划 分析数据倾斜，性能瓶颈的利器啊可以看表结构转载于:https://www.cnblogs.com/gitgub/p/8514558.html
2018-03-06 15:25:00
136
转载 hive访问es的问题
问题 hive访问es一个普通的count(*)操作开启一个mr任务进度，总是停留在5%查看该job一共启动5个task选择一个进入发现把任务分发到不同的节点查看日志发现是三台es集群的9200端口没有对相应机器开放转载于:https://www.cnblogs.com/gitgub/p/8514460.html...
2018-03-06 15:12:00
238
转载 hive读取es里面的数据建表时，时间格式不能转换问题
用hive读取es里面的数据，建表。时间类型的数据不能接受的问题问题描述：spark读取指定索引/类型的数据，其中有自定义格式的日期数据，读取该日期时报异常，日期定义格式："estime" : {"type" : "date","format" : "yyyy-MM-dd HH:mm:ss"}, 1 CREATE EXTERNAL TABLE esjson.app_phone...
2018-02-27 11:04:00
457
转载 CDH中 hive整合es 添加自定义的jar
1 临时生效把elasticsearch-hadoop-2.4.1.jar 整合的jar上传到 hdfs的目录上这样hive就可以访问es的数据了2 永久生效直接把Jar放到{HIVE_HOME}/lib/ 目录下 重启生效我用的CDH我放到/opt/apps/cloudera/parcel-repo/CDH-5.9.0-1.cdh5.9.0.p0.2...
2018-02-07 13:49:00
531
转载 基于hive的拉链表设计实现
参考http://lxw1234.com/archives/2015/08/473.htm测试数据order_2015-08-211 2015-08-18 2015-08-18 创建2 2015-08-18 2015-08-18 创建3 2015-08-19 2015-08-21 支付4 2015-08-19 2015-08-21 完成5 2015-08-19 2015-08...
2017-12-08 18:48:00
195
转载 tomcat7, tomcat8的进入manager, tomcat_user.xm配,以及如何配置远程访问manager
要使用，localhost:8080/manager 需要配置tomcat_user.xml以下注释打开后依然不可以<!-- <role rolename="tomcat"/> <role rolename="role1"/> <user username="tomcat" password="<must-be-changed&g...
2017-11-23 14:55:00
109
转载 感动到哭的SBT下载
在centos上搭建spark开发环境。使用IntelliJ IDEA做scala开发，需要配置SBT。一直卡在从maven上下载jar包的过程中，还几次都下失败了。试过vpn也没有用。还好偶然看到阿里云maven仓库，才终于下成功了。修改文件位置：~/.sbt/repositories 没有这个repositories这个文件就新建一个1 [reposit...
2017-11-21 17:10:00
79
转载 拉链表
1 /*拉链表: 也就是一个 记录历史 表,用于记录事物从 最开始的状态 到 当前状态 所有变化的信息 */ 2 3 --历史表 4 drop table old_tb_his; 5 drop table new_tb; 6 7 8 --od 我们希望的拉链表记录数据的所有状态，初始化为昨日全量数据 9 create tabl...
2017-11-10 10:46:00
99
转载 oracle dblink
输入要连接的数据库的用户名和口令数据配置见下文需要修改端口号和实例名数据库(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=172.17.101.81)(PORT=1521)))(CONNECT_DATA=(SERVICE_NAME=bdpdb)))点解确定即可转载于:https://www...
2017-11-08 17:24:00
97
转载 plsql 连接oracle 数据库
# tnsnames.ora Network Configuration File.# Generated by Oracle configuration tools.# Sample:#DatabaseName =# (DESCRIPTION =# (ADDRESS_LIST =# (ADDRESS = (PROTOCOL = TCP)...
2017-10-27 09:41:00
145
转载 win7 安装 Oracle 10G安装指导
1、解压文件10201_database_win32.zip，并双击解压目录下的setup.exe，出现安装界面，如下：2、输入口令和确认口令，如：password，点击下一步，出现如下进度条，注：此口令即是管理员密码。3、检查先决条件，选中红框所示的选择框，如下图：4、点击“下一步”，出现“概要”界面，点击“安装”。5、出现安装进度条，...
2017-10-26 21:32:00
96
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人