hue学习
关注
分享
扫一扫
文章平均质量分 88
青山孤客
网易高级服务端开发工程师，浙江省评标专家，信息系统项目管理师，杭州市E类人才。杭州电子科技大学工学硕士，曾访学圣彼得堡国立信息技术机械与光学大学（ITMO），在国际计算机软件和应用会议（COMPSAC）发表1篇学术论文，目前已申请国家发明专利4项，2项软件著作权。兴趣是数据开发、后端开发、信息系统项目管理等。
展开
-
StreamSets中测试Pipeline时，报 .....metadata for topic ‘topicName‘ from broker ‘localhost:9092‘ 问题解决
今天在绘制Oracle数据库中数据导出到HBASE的管道时，验证测试时失败，一直弹出报错： 2020-08-13 03:46:40,626 test_Oracle/testOracle20094215-4e64-431d-8ffd-7ba20f11706e WARN [Consumer clientId=consumer-15, groupId=sdcTopicMetadataClient] Connection to node -1 could not be established. ...原创 2020-08-13 18:35:38 · 891 阅读 · 0 评论 -
hbase常用操作以及 hbase表存储结构和原理
hbase原理及时间戳管理介绍 分布式的、面向列的开源数据库 hdfs文件存储 MR处理数据 zookeeper做协同服务 hbase 表 数据以表存储，表含行、列，列分为列簇（family），如下图： key1,key2,key3是三条记录的唯一row key值， column-family1,column-family2,column-family3是三个列族 每个列族下包括几列，如列族 column-family1包括两列 column1 和 column2 ro...转载 2020-08-10 16:43:31 · 833 阅读 · 0 评论 -
CDH激活分发parcel时因为意外错误卡住不能修改问题解决方案
问题背景： 今天因为业务需求需要在CDH集群上安装StreamSets，结果因为权限的原因，之前我把这个parcel文件的权限变更为cloudera-scm，结果后面遇到这个问题了，问了之前部署CDH的人才知道他那时候用的权限是Root用户，所以现在卡在这里，也没有地方可以直接暂停： 然后我点进去看详细的信息： 可以看到cluster2-1这个结点因为权限的问题，导致不能激活。 解决方案： Cloudera并没有在控制台开发Cancel或者回滚的入口，此时服务状态就是卡住页面无法操作。通过原创 2020-07-30 18:20:04 · 3073 阅读 · 2 评论