- 博客(5)
- 收藏
- 关注
RSS订阅原创 10.14-10.17为flink项目添加checkpoint
目录对flink checkpoint的理解与实现背景什么是flink checkpoint链接我的一些理解checkpoint实现流程checkpoint存储checkpoint实现checkpoint和savepoint的区别AB Test对flink checkpoint的理解与实现背景由于我们公司的实时架构主要是kafka -> spark/storm -> kafka ...
2019-10-17 11:27:23
543
原创 mac配置idea-scala-spark开发环境
目录为什么适用Scala做spark开发配环境过程scalasparkidea中scala配置为什么适用Scala做spark开发作为python的忠实拥簇者，昨天写了整整一天pyspark的我被老大关进小黑屋要求以后用Scala作为spark的开发语言！！一开始我是拒绝的 TnT 后期从网上获取了这样做的原因：1、（最重要的）现在市场上大多数企业的大数据平台，只要不涉及用户兴趣分析“利用...
2019-09-20 17:47:04
2951
原创 markdown学习
markdown学习欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2019-09-20 16:39:59
131
原创 9.9工作日志 -编写shell脚本获取所有进程的线程数 编写python脚本批量实现http post
shell脚本sh文件中的``命令替换.command 结构使字符(`)[译者注：这个字符不是单引号，而是在标准美国键盘上的ESC键下面，在字符1左边，在TAB键上面的那个键，要特别留心]引住的命令（command）执行结果能赋值给一个变量。它也被称为后引号（backquotes）或是斜引号（backticks）.例子：A=ls -l把ls -l的结果赋给A ls -l 作为命令来执行...
2019-09-09 18:09:29
551
原创 19.9.4 工作日志-durid读取kafka数据流建表
durid建表注意点nested json提取嵌套json文件的内容提取：在parser中用flattenSpec定义原文见：https://druid.apache.org/docs/latest/ingestion/flatten-json.html属性值useFieldDiscovery ：默认为true，若为true，所有第一级的维度，若没有声明，自动添加到表中。这里由于要提取，所...
2019-09-04 16:31:03
237
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人