
Project-Interests
文章平均质量分 73
有关此项目的一些补充和额外操作
景明。
这个作者很懒,什么都没留下…
展开
-
[ Project ] Editing Flume.conf
.confevent_attendees.confevents.confusers.confuser_friends.conftrain.conftest.confevent_attendees.confa1.channels = c1a1.sources = s1a1.sinks = k1a1.sources.s1.type = spooldira1.sources.s1.channels = c1a1.sources.s1.spoolDir = /opt/data/event_atten原创 2021-05-05 23:30:01 · 244 阅读 · 0 评论 -
[ Project ] Details of Editing Flume.conf
文件编写简单了解一、介绍二、简单要点三、操作步骤简单了解一、介绍 这一步主要是利用 flume 采集 HDFS 上的源数据并流向 kafka。二、简单要点 1.Flume 是什么? 简单了解一下。 2.为什么 flume 和 Kafka 要联合使用 ? 简单了解一下。 3.建议用谷歌浏览器打开 Flume 官方网站(地址:flume.apache.org),如果需要可在站内将网页转为中文。 4.首先是查看用户指南,找到 Spooling Directory Source原创 2021-05-05 22:39:29 · 416 阅读 · 1 评论 -
[ Project ] Intes Data Explored
数据探索介绍读取数据数据探索POM文件介绍 1. 了解源数据的 数据结构、数据类型、字段名 等。 2.查看源数据是否有特殊值,例如:空、空格、None 等。 3.查看源数据是否有时间列,查看数据格式(时间戳、格式日期等),查看是否存在特殊字符,例如:Z、T、++ 等。 4.查看字段内是否有重复值,并了解重复字段与其余字段的关系。 5.查看源数据字段在后期数据处理时,是否需要进行 行转列、列转行 。 6.查看源数据字段内,是否存在多种状态的值,例如:是、否、yes、no、maybe原创 2021-04-16 17:49:46 · 225 阅读 · 0 评论