
streamsets
盒马coding
这个作者很懒,什么都没留下…
展开
-
sbt自动打包scala代码
linux 下借助sbt自动打包scala代码https://github.com/streamsets/tutorials/tree/master/tutorial-spark-transformer#installing-a-spark-transformerhttp://blog.youkuaiyun.com/bluejoe2000/article/details/41556原创 2017-10-10 15:21:50 · 579 阅读 · 0 评论 -
streamsets编译时的那些坑
streamsets在编译时的那些坑1 问题描述commandLine 'docker', 'manifest', 'inspect', 'alpine'> Configure project :docker manifest inspect is only supported when experimental cli features are enabledFound go 1.10.1...原创 2018-06-22 12:11:34 · 3549 阅读 · 0 评论 -
Streamsets相关资料汇总
Streamsets相关资料汇总 1、Streamsets官网介绍https://streamsets.com/ Github:https://github.com/search?utf8=%E2%9C%93&q=streamsets&type= 2、Streamsets查找问题常用网站Ask问答:http://www.ask.streamsets.comGoogle帖子:htt...原创 2018-05-27 16:21:11 · 2600 阅读 · 1 评论 -
streamsets2.6.0.1执行监控接口
streamsets执行监控接口streamsets 接口文档详情· 一、获取采集任务列表接口 o url路径和请求方式o 请求参数o 请求头o 返回结果· 二、采集任务执行监控接口 o /rest/v1/acl/ 接口路径和请求方式 § 请求参数§ 请求头§ 返回结果o /rest/v1/acl/{pipelineId}/permissions接口路径和请求方式 § 请求参数§ 请求头§ 返回结...原创 2018-03-06 18:10:45 · 1200 阅读 · 0 评论 -
streamsets2.6.0.1搭建开发环境
一、环境说明开发环境需要如下软件:smartgit 17.0.4 下载地址:http://www.syntevo.com/smartgit/welcomeapache-ant-1.10.0-bin.tar.gz apache-maven-3.3.9.tar.gzdevstudio-10.3.0.GA-installer-standalone.jarjdk-8u131-linux-x64.t...原创 2018-02-28 17:18:37 · 2484 阅读 · 1 评论 -
streamsets2.6.0.1组件汉化
前面以把开发环境搭建完毕,接下来汉化Kafka组件,步骤如下: 汉化Kafka 组件的详细步骤涉及的的项目有:kafka_source-protolib / kafka_target-protolib / kafka-common 2.生成eclips的结构,在三个项目的目录下执行 mvn eclipse:eclipse ,例如: 3.在devst...原创 2018-02-28 17:15:42 · 2702 阅读 · 7 评论 -
streamsets2.6.0.1执行监控接口
一、获取采集任务列表接口url路径和请求方式请求参数请求头返回结果二、采集任务执行监控接口/rest/v1/acl/ 接口路径和请求方式请求参数请求头返回结果/rest/v1/acl/{pipelineId}/permissions接口路径和请求方式请求参数请求头返回结果/v1/pipeline/{pipelineId}/committedOffsets接口路径和请求方式请求参数请求头返回结果/v...原创 2018-02-28 17:14:23 · 1824 阅读 · 0 评论 -
streamsets2.6.0导数据常见问题总结
文档下载:Streamsets2.6.0导数据常见问题总结.docxstreamsets2.6.0.1版本使用需要的环境保证此版本能够正常运行每个问题都有描述使用场景与解决方法streamsets2.6.0.1版本常见问题汇总一、执行任务时有表空间的问题使用场景 以下场景适用于从Oracle或PostgreSQL或其他支持JDBC的数据库,以下错误主要在Oracle数据库中发现,原因在与Oracl...原创 2018-02-28 17:11:27 · 3733 阅读 · 5 评论 -
streamsets2.6.0.1--使用案例详细文档
实例百度网盘下载(永久有效):链接: https://pan.baidu.com/s/1ltXeOlMEMYyfJD6eplUg1A 密码: 3ii5 实例下载:streamsets使用案例.zipstreamsets2.6.0.1版本使用需要的环境确保streamsets2.6.0.1平台能够正常运行,无报错 streamsets使用案例.zip所有的实例都是strea...原创 2018-02-28 17:08:16 · 11699 阅读 · 79 评论 -
streamsets安装部署
详细步骤请查看:https://github.com/streamsets/datacollector/blob/2.6/BUILD.md1 平台介绍大数据采集平台,数据源支持结构化和非结构化数据采集,目标源支持hdfs或hive 等,可视化流程设计界面,定时任务调度。2 环境配置 Centos 7l Git 1.9+(git-2.9.4.tar.gz)l JDK 8 (略)l Maven 3....原创 2017-12-14 12:40:48 · 17227 阅读 · 6 评论 -
streamsets数据采集平台介绍
Streamsets功能介绍Streamsets功能介绍1 数据采集组件简介1.1 场景分析1.2 组件特点1.3 数据接入组件2 数据采集管道介绍2.1 管道特点2.2 数据源,处理器,目标源介绍2.3 常用数据源组件2.4 常用处理器组件2.5 常用目标源组件3 任务管道介绍3.1详情的任务管道3.2 创建采集任务3.3 运行任务详细信息4 对数据源组件处理器组件目标源组件统计5 数据源详细介...原创 2018-06-19 11:25:36 · 10885 阅读 · 5 评论