StreamSets
关注
分享
扫一扫
文章平均质量分 90
青山孤客
网易高级服务端开发工程师，浙江省评标专家，信息系统项目管理师，杭州市E类人才。杭州电子科技大学工学硕士，曾访学圣彼得堡国立信息技术机械与光学大学（ITMO），在国际计算机软件和应用会议（COMPSAC）发表1篇学术论文，目前已申请国家发明专利4项，2项软件著作权。兴趣是数据开发、后端开发、信息系统项目管理等。
展开
-
使用Streamsets将MySQL的数据同步到Rabbitmq生产者中
之前一篇博客记录了将Oracle的数据实时同步到MySQL中，因为项目需要，将多个数据源的数据先集成到统一的MySQL数据库中，然后再将这些数据传输到Rabbitmq中，最后经过Spark传输到HBASE中。之前也考虑过将这些绘制到一个管道中，最后因为Rabbitmq我并没有找到可以作为中间的过程的组件，只能拆分成两个管道，这篇就记录一下将MySQL中的数据传输到Rabbitmq Producer中。1、首先绘制整个的管道2、配置MySQL Binary Log参数A、配置MySQL Bin原创 2021-01-11 21:56:51 · 822 阅读 · 1 评论 -
使用Streamsets将Oracle数据实时同步到MySQL中
相关环境：Oracle 11g：11.2.0.1.0MySQL：8.0.22前期准备：1、打开Oracle的logminera.在SQL Shell中，以具有DBA的用户身份登录数据库：sqlplus /nolog;conn / as sysdba;b.检查数据库日志记录模式：select log_mode from v$database;如果查询结果是ARCHIVELOG，则以下操作都不用执行，如果命令返回NOARCHIVELOG，请继续执行以下步骤：c..原创 2020-12-30 22:13:47 · 4899 阅读 · 8 评论 -
LDAP理解入门
LDAP入门首先要先理解什么是LDAP，当时我看了很多解释，也是云里雾里，弄不清楚。在这里给大家稍微捋一捋。 首先LDAP是一种通讯协议，LDAP支持TCP/IP。协议就是标准，并且是抽象的。在这套标准下，AD（Active Directory）是微软出的一套实现。 那AD是什么呢？暂且把它理解成是个数据库。也有很多人直接把LDAP说成数据库(可以把LDAP理解成存储数据的数据库)。像是其他数据库一样，LDAP也是有client端和server端。server端是用来存放资源，client端用来操作转载 2020-12-04 17:01:47 · 521 阅读 · 0 评论 -
使用StreamSets将Oracle中的数据实时传输到Hbase
这次的测试是失败了的，有这个需求的小伙伴可以参考一下。主要原因可能是因为要测试的是Oracle 10g的数据库，所以一些StreamSets支持的参数变化的比较大。但是过程可以参考一下，一直到最后的验证其实都没有问题了。1、打开StreamSets管理界面在CDH中进入StreamSets的管理界面，点击WebUI：获取到打开StreamSets界面的格式与端口号： http://192.168.129.***:186302、创建一个新的管道填写新建管道的一些信息..原创 2020-08-19 10:19:50 · 1432 阅读 · 1 评论 -
StreamSets中配置外部库，解决上传jar包时报REST_1003 - Failed to create directory错误
遇到的问题今天在添加Oracle Database 的JDBC驱动程序包ojdbc.jar时，这里如果直接进行上传jar包则会报错，REST_1003 - Failed to create directory: lib：解决步骤：说明需要配置streamsets外部库，具体步骤如下A、B、C、D。A、进入到STREAMSETS_DATACOLLECTOR安装的路径一般路径为：/opt/cloudera/parcels/STREAMSETS_DATACOLLECTORB、.原创 2020-08-14 16:43:08 · 1510 阅读 · 0 评论 -
StreamSets中测试Pipeline时，报 .....metadata for topic ‘topicName‘ from broker ‘localhost:9092‘ 问题解决
今天在绘制Oracle数据库中数据导出到HBASE的管道时，验证测试时失败，一直弹出报错：2020-08-13 03:46:40,626 test_Oracle/testOracle20094215-4e64-431d-8ffd-7ba20f11706e WARN [Consumer clientId=consumer-15, groupId=sdcTopicMetadataClient] Connection to node -1 could not be established. ...原创 2020-08-13 18:35:38 · 896 阅读 · 0 评论 -
CDH中安装StreamSets 以及遇到的坑与解决
今天总结一下安装的StreamSets的全过程，并且中间遇到的问题与解决办法。一、下载StreamSets相关文件首先看Cloudera Manager server是否可以访问Internet获取这个Parcel，如果不行则需要手动安装文件。可以看到我本地这里就不能通过远程提供自己下载：手动安装StreamSets Parcel和校验文件，如果使用多个集群时，就需要对每个集群执行以下步骤。1、从下面这个链接下载适用于Cloudera Manager Server操作系统的相关文件h原创 2020-08-03 20:00:36 · 2174 阅读 · 1 评论