大数据
关注
分享
扫一扫
文章平均质量分 76
佳乐一百
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Scala的基本语法
一、基本概念Scala中一共是39个关键字： package, import, class, object, trait, extends, with, for，private, protected, abstract, sealed, final, implicit, lazy, override，try, catch, finally, throw ，if, else, match, case, do, while, return, yield，def, val, var ，this, super，原创 2021-03-28 18:28:05 · 1403 阅读 · 0 评论 -
Flume把数据直接写在文件里而不在控制台显示
Flume把数据直接写在文件里而不在控制台显示创建配置：[root@hadoop01 data]# vim filerollsink.confa1.sources = s1a1.channels = c1a1.sinks = k1a1.sources.s1.type = netcata1.sources.s1.bind = 0.0.0.0a1.sources.s1.port = 8090a1.channels.c1.type = memorya1.channels.c1.capacit原创 2020-12-05 20:06:33 · 602 阅读 · 0 评论 -
Flume把收集到的数据存储在 home/flumedata目录
**Flume把收集到的数据存储在 home/flumedata目录进入配置：vim filechannel.conf**# 给Agent起名# 给Source起名a1.sources = s1# 给Channel起名a1.channels = c1# 给Sink起名a1.sinks = k1# 配置Source的类型a1.sources.s1.type = netcat# 配置IPa1.sources.s1.bind = 0.0.0.0# 配置监听端口a1.sources原创 2020-12-05 18:08:36 · 1179 阅读 · 0 评论 -
flume的序列化发生器代码和配置
package cn.tedu.flume;import org.apache.flume.Context;import org.apache.flume.Event;import org.apache.flume.EventDrivenSource;import org.apache.flume.channel.ChannelProcessor;import org.apache.flume.conf.Configurable;import org.apache.flume.event.Ev原创 2020-12-01 21:33:21 · 294 阅读 · 0 评论 -
大数据练习题08：(单选题)java socket如何获取本地ip地址？
原创 2020-10-21 08:46:54 · 321 阅读 · 0 评论 -
大数据练习题07：(单选题)解压缩tar.gz结尾的包需要用的指令是
原创 2020-10-21 08:46:09 · 427 阅读 · 0 评论 -
大数据练习题06：(单选题)在NIO中，哪个方法可能会发生阻塞()
原创 2020-10-21 08:45:19 · 492 阅读 · 0 评论 -
大数据练习题05：(单选题)(单选题)下列有关CyclicBarrier说法正确的是：
原创 2020-10-21 08:43:23 · 394 阅读 · 0 评论 -
大数据练习题02：(单选题) 在zookeeper中，以下哪个命令时创建临时顺序节点()
原创 2020-10-21 08:40:30 · 482 阅读 · 0 评论 -
大数据练习题01：(单选题)下面哪个参数可以删除一个用户并同时删除用户的主目录？
原创 2020-10-21 08:39:40 · 6303 阅读 · 0 评论 -
大数据练习题04：(单选题)以下是java concurrent包下的4个类，选出差别最大的一个
原创 2020-10-21 08:37:45 · 2536 阅读 · 0 评论 -
Storm集群安装配置
原创 2020-08-04 11:11:23 · 114 阅读 · 0 评论 -
Storm可靠性保证
原创 2020-08-04 11:10:31 · 202 阅读 · 0 评论 -
Storm的并发控制
原创 2020-08-04 11:09:13 · 159 阅读 · 0 评论 -
Storm入门案例
1.Storm单机模式Storm提供了单机开发模式，即使没有Storm集群也可以在本地java环境中进行开发测试。2.入门案例 a.需求 利用Storm实现实时的单词统计 b.分析需求想要开发一个Spout需要写一个类实现 IComponent接口 和 ISpout接口，实现相应方法。直接实现这两个接口需要实现的方法比较多，可以选择继承BaseRichSpout默认实现类，此类已经实现过如上两个接口，并将大部分方法做了默认空实现，只需继承...原创 2020-08-04 11:05:48 · 378 阅读 · 0 评论 -
Storm概述
1.Storm概述实时计算可以实时获取数据进行运算,得到计算结果,在很多实时性要求比较高的场景下有大量的应用.例如:微博热门话题榜单、电商网站实时推荐、地图路况信息。实时计算和离线计算有较大的不同，实时计算强调实时性，数据不断流入，实时运算后结果实时反馈，实时计算没有数据积累的过程，有开始没有结束，如果不人为停止会一直运行下去。Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。Storm支持水平扩展，具有高容错性，保证每个消息都会得到处理，而且处理速度很快(在...原创 2020-08-04 10:45:05 · 592 阅读 · 0 评论 -
DAG概述---DAG的生成与Stage的划分
DAG(Directed Acyclic Graph)"有向无环图"同一个方向，够不成闭环。原创 2020-03-27 00:18:13 · 588 阅读 · 0 评论 -
Spark介绍---Spark单机模式安装---RDD介绍---RDD操作
原创 2020-03-27 00:11:21 · 126 阅读 · 0 评论 -
Hadoop生态系统
原创 2020-03-19 16:54:55 · 129 阅读 · 0 评论 -
大数据部门组织结构
原创 2020-03-19 15:22:12 · 1816 阅读 · 0 评论 -
大数据技术体系
原创 2020-03-19 15:21:16 · 114 阅读 · 0 评论 -
Eureka和Zookeeper的区别
Eureka和Zookeeper的区别Spring Cloud在现在的版本其实也可以使用Zookeeper来进行服务注册的。那他们的区别在哪里呢？为什么要使用Eureka来进行服务注册呢？1、Zookeeper当master挂了，会在30-120s进行leader选举，这点类似于redis的哨兵机制，在选举期间Zookeeper是不可用的，这么长时间不能进行服务注册，是无法忍受的，别说30s...原创 2019-12-07 15:34:01 · 151 阅读 · 0 评论 -
Kafka和Rabbitmq的最大区别
功能上，两者都是实现了AMQP协议。那么在使用上的最大区别是什么呢？如何根据自己的需求进行选型？kafka是严格顺序保证的消息队列。即使在分布式环境下，也保证在同一分区内消息的顺序性。既然是顺序的，那么在同一个Topic下面，如果前面的消息没有消费完毕（收到回应），则不能读取下一条消息。那么在消费端，就变成了一个单线程操作，无法并发。虽然kafka可以通过分区实现并发，不过这个需要用多台kafk...原创 2019-12-07 15:25:10 · 1668 阅读 · 0 评论 -
hive报错：Logging initialized using configuration in jar:file:/home/software/apache-hive-1.2.0-bin/lib/
在hive的bin目录下输入sh hive报错:[root@hadoop01 apache-hive-1.2.0-bin]# cd bin[root@hadoop01 bin]# sh hiveLogging initialized using configuration in jar:file:/home/software/apache-hive-1.2.0-bin/lib/hive-co...原创 2019-12-04 23:47:57 · 3917 阅读 · 2 评论 -
ORC文件格式
原创 2019-12-04 21:01:18 · 304 阅读 · 0 评论 -
RCFile文件格式
原创 2019-12-04 20:59:59 · 284 阅读 · 0 评论 -
提交jar包到集群运行步骤
提交jar包到集群运行步骤把以下项目打jar包在这里插入图片描述原创 2019-11-28 02:32:23 · 788 阅读 · 0 评论