
大数据
文章平均质量分 80
yaolong336
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
flink从入门到放弃(二)flink demo 之 wordcount
flink windows/linux demo环境准备maven依赖管理maven打包配置java代码打包以及运行结果 环境准备 linux/window 安装jdk1.8 安装 maven 记得要改成阿里镜像,可以增加下载速度,具体修改过程见上篇文章 安装 netcat window直接下载解压即可,64位电脑运行32位版本也可以的。linux不同版本命令不一样,ubuntu的命令是su...原创 2019-12-31 21:01:32 · 870 阅读 · 0 评论 -
flink从入门到放弃(一)源码编译
flink源码编译源码的重要性新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 源码的重要性 贴近需求,进行定...原创 2019-12-28 22:21:17 · 835 阅读 · 0 评论 -
flume详解
flume架构,配置详解,demo,启动命令原创 2018-04-23 18:18:27 · 554 阅读 · 0 评论 -
kafka存储结构
相关概念 topic 主题,特指kafka处理的消息源的不同分类 partition topic物理上的分组,一个topic可以分为多个partition message 消息,是通信的基本单位 存储结构 topic结构 topic包含多个partition, topic只是逻辑概念,不涉及到存储,partition才是物理概念 同一topic的不同partition可...原创 2018-04-23 11:03:07 · 3118 阅读 · 0 评论 -
利用pyhive将hive查询数据导入到mysql
pyhive作用 远程连接hive数据库,运行hive sql,而不需要登录到安装有hive的服务器上去 可以更方便处理更多连续命令,可以封装一些经常需要复用的命令 脚本化,不需要编译,随时改,随时执行看结果 方便对hive sql的结果进行更多处理,而不是仅仅在终端打印出来看一看 安装环境 这里只讲解Linux环境,以ubuntu为例,其他系统类似 python 环境,我装的是py...原创 2018-05-25 16:18:49 · 5671 阅读 · 0 评论