- 博客(9)
- 收藏
- 关注
RSS订阅
1原创 2021-01-11
KETTLE增量同步数据操作文档(可视化界面) 1 新建核心对象并创建源数据库(oracle 11g)和目标数据库链接（hive 2） 图1 oracle数据源配置 图2 hive 数据配置 2 Hive 创建表结构 create table if not exists test.fr_sale_percent (outdealer string,saletype string,xsvinm string,xtzlrq string) ROW FORMAT DELIMITED FIE
2021-01-11 23:25:14
196
原创 scala 模式匹配之类型擦除
特定的模式匹配 像类型映射能匹配吗? 像java一样 ，类型参数没有保留到运行期，在模式匹配中无法识别类型， 但是数组是例外，数组的元素类型和元素值保存在一起，所以可以做模式匹配 ...
2019-03-20 09:44:41
361
原创 Actor接收消息报错:assertion failed: receive from channel belonging to other actor
object EchoActor extends App { val echoActor = actor { while (true) { self.receive{ case msg => println("received message:"+msg) } } } echoActor ! "i a...
2019-03-15 11:22:52
291
原创 JVM重用调优
问题：hive中查询缓慢 原因：数据源hdfs中查询表中 小文件过多，导致产生过万的maptask ,JVM启动创建实例消耗过多资源，导致查询缓慢 解决：在mapred-site.xml配置文件中 设置mapred.job.reuse.jvm.num.tasks=10参数，该参数为JVM实例重用数 或者运行Hive 直接输入命令set mapred.job.reuse.jvm.num.tas...
2019-02-22 16:09:25
1011
原创 windows装完jdk1.8后，重装1.7出现value 1.7 require1.8报错
问题描述: 本来之前装了jdk1.8,项目开发需要想换会1.7版本,出现以管理员运行命令 java -version正常，普通用户运行该命令不正常 纠错步骤: 1、运行regidit命令修改Currentversion版本 由1.7改为1.8 2、修改系统环境变量 %JAVA_HOME% 不需要重启,管理员运行java -version命令正常,普通用户运行该命令报错 value 1.7...
2019-02-18 13:43:26
260
原创 CDH重启报错Failed to publish event
问题描述:CDH测试集群(vmware企业版虚拟机)宕机，恢复重启后报错 报错内容：Failed to publish event: SimpleEvent{attributes={STACKTRACE=[java.net.ConnectException: 拒绝连接 at java.net.PlainSocketImpl.socketConnect(Native Method) at j...
2019-01-25 17:27:00
1377
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人