BigData
mikelv01
沉迷量化投资
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Centos7下Spark之搭建
Spark开发环境搭建 官网 AI + BigData + 云计算 其实 Spark 的搭建过程还是挺顺手的,基本没什么坑。 结果: 统计 wc.txt 文本中词频 hadoop,spark,hadoop spark,flink,flink,spark hadoop,hadoop 执行结果: 图片中可以看出: flink 出现2次; spark 出现3次;hadoop 出现4次 Spark 是基于 Scala 语言进行开发的,分别提供了基于 Scala、Java、Python 语言的 API,如果原创 2020-05-20 15:35:02 · 219 阅读 · 0 评论 -
Centos7下Hadoop之单机搭建
Hadoop单机版环境搭建 centos7 hadoop 单机模式安装配置 官网 AI+BigData+云计算 其实大部分安装过程这边文章(Hadoop单机版环境搭建)已经说的很清楚了,只是简单的说几个需要注意的点: 安装包注意不要下成 source 或者 binary ,直接到 Release Note 去下载 安装过程按照文章一步一步来就能成功了 结果 端口:50070 端口:8088 ...原创 2020-05-20 12:36:00 · 526 阅读 · 0 评论 -
大数据之Flume学习
Flume官网 AI + BigData + 云计算 定义 Flume 是 Cloudera 提供的一个高可用,高可靠,分布式的海量日志采集,聚合和传输的系统。Flume 基于流式架构,灵活简单。 组件 1.Agent Agent 是一个 JVM 进程,它以事件的形式将数据从源头送至目的 Agent 主要有 3 个部分组成:Source,Channel,Sink 2.Source Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型,各种格式的日志数据,原创 2020-05-10 21:35:20 · 210 阅读 · 0 评论
分享