- 博客(20)
- 收藏
- 关注
RSS订阅转载 ELK相关
https://www.cnblogs.com/kevingrace/p/5919021.html 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。 通常，日志被分散在储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器...
2019-03-19 18:02:49
191
转载 kafka分区策略
1.默认的分区策略：Range Startegy（根据范围消费） Range startegy是对每个主题而言的 ， 首先对同一个主题里面的分区按照序号进行排序，并对消费者按照字母进行排序。在对十个分区排序的话是0-9；消费者线程排完序是C1-0，C2-0，C2-1。然后用partitions的总数除以消费者的总数来决定每个消费者线程消费几个分区。如果有余数，那么前面的几个消费者线程将会多消费一...
2019-03-19 17:32:00
703
1
转载 ETL相关
https://blog.youkuaiyun.com/weixin_38750084/article/details/82948163
2019-03-19 16:56:17
212
转载 希尔排序
https://blog.youkuaiyun.com/qq_39207948/article/details/80006224 （转载）
2019-03-04 10:05:09
106
原创 Hadoop高级编程之：Combiner，对MR程序进行优化。
1.Combiner的本质就是Reducer。 2.是执行在Map端的Reducer。 3.程序中是否使用Combiner不能影响正常的Map到Reduce的数据传输；其实就是Combiner数据输入的K和V的数据类型与其数据输出的K和V的数据类型一致。【数据从Map交给Reduce的时候，Map的输出K和V的数据类型与Reduce输入的K和V的数据类型一致。】 4.如果程序中的Reducer的数...
2019-03-03 13:33:19
311
转载 快速排序（转）
https://blog.youkuaiyun.com/adusts/article/details/80882649这位写的很清楚明白
2019-03-03 13:24:37
98
原创 MapReduce执行流程
1.客户端提交作业给YARN集群，RM接受客户端所提交的作业。 2.RM根据作业所要处理的文件来决定Map任务在哪些节点上执行，然后确定Reduce任务在哪些节点【NN】上执行。 3.RM分配Map任务和Reduce任务到相应的节点上。 4.Map任务开始执行，将执行结果临时保存到本地【执行过Map任务的节点】。 5.当Map任务执行完成之后，Reduce任务开始执行，Reduce任务从远程节点上...
2019-03-01 17:52:50
169
原创 Hadoop集群的搭建
0.规划： 1.在/opt/目录下创建softwares和links目录。 2.softwares用于安装软件，links用于创建软件的软链接。 3.环境变量配置到当前用户的家目录下的.bashrc中。 用户环境变量：.bashrc .bashrc_profile 系统环境变量：/etc/profile /etc/bashrc 1.创建目录并分配权限： > sudo mkdir /opt/s...
2019-03-01 17:36:20
138
原创 iterator与iterable的区别
异: (迭代器(n):如果集合中的元素不具备迭代性,实现类可以对集合中的元素进行迭代 it.next() hasnext() remove() 迭代的(adj)):让集合中的元素具备可迭代性,可以实现foreach(),内封装了iterator接口的类,集合collection set list 都是实现类, 同:都是接口,做迭代 ...
2019-03-01 17:24:15
381
原创 comparator与comparable区别:
异: comparator(比较器(n):实现类比较没比较性的类的对象int compare(object o1 ,object o2) comparable比较的(adj)):实现类具有可比较性int A.compareTo(Object B) 同: 接口,做比较 ...
2019-03-01 17:23:35
104
原创 学习之路之：关于HDFS
1.读写原理: 读:获得配置文件对象;借此得到文件系统对象;调用open()连接namenode检查文件信息,返回文件元数据给客户端FSDataInputStream流对象,中产生DFSInputstream读取最近的datanode中第一个数据块给FSDataInputstream,关闭所有的流对象 写:获得配置文件对象;借此得到文件系统对象;调用create()连接namenode检查分配存储...
2019-03-01 17:15:32
107
原创 学习之路之：Hbase
概念:建立在hdfs之上,分布式,面向列,非关系型,开源,横向扩展,一致的随机读写访问,利用hdfs提高容错,hadoop的一部分,提供java API,跨集群复制,表,大, 用处: Apache HBase提供快速随机访问的数据，实时的读/写访问大数据。 它承载在集群普通硬件的顶端是非常大的表。 模拟非关系型数据库，工作在Hadoop HDFS的顶部。 HDFS ...
2019-03-01 17:10:04
114
原创 关于jdbc连接
1、加载JDBC驱动,加载MySql的驱动类 Class.forName(“com.mysql.jdbc.Driver”); 2、提供JDBC连接的URL jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=gbk; 3、创建数据库的连接 Connection con = DriverManager.getC...
2019-03-01 17:04:03
116
原创 array,list的区别
在Java中 Array是数组，List是集合。 数组直接可以使用，List是接口，需要使用实现类，比如：ArrayList。 使用方式也不同，Array数组使用下标获取元素，List是get（index） 初始化Array数组必须指定大小，不灵活。List 可以自己扩充大小，方便。 ...
2019-03-01 17:00:57
404
原创 hashmap,treemap,linkedmap,的区别
共同点： HashMap,LinkedHashMap,TreeMap都属于Map；Map 主要用于存储键(key)值(value)对，根据键得到值，因此键不允许键重复,但允许值重复。 不同点： 1.HashMap:据键的HashCode值存储数据,访问速度快,效率最高,键可(一个)空，值可为(多)空；线程不安全 Hashtable:与hashmap相似,线程安全 2.TreeMap:可以排序,遍历...
2019-03-01 16:59:46
3657
原创 关于http协议,tcp/UDP协议
tcp/UDP:同:同为美国国防部设计的两个协议,处于tcp/ip协议的传输层 异:1.流式与报文式传输 2.连不连接 3.对系统资源的要求（TCP较多，UDP少）； 4.UDP程序结构较简单； 5.TCP保证数据正确性，UDP可能丢包，TCP保证数据顺序，UDP不保证。 注:三次握手:client A ;server B A->B,B->A,A->B 四次挥手: A-...
2019-03-01 16:56:09
237
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人