- 博客(26)
- 收藏
- 关注
RSS订阅转载 ArrayList源码
/** * Resizable-array implementation of the <tt>List</tt> interface. Implements * all optional list operations, and permits all elements, including * <tt>null</tt>. In a...
2019-02-16 11:11:00
167
转载 flume配置——数据流的复制、分流、负载均衡、故障转移
1、多个 agent 顺序连接：可以将多个Agent顺序连接起来，将最初的数据源经过收集，存储到最终的存储系统中。这是最简单的情况，一般情况下，应该控制这种顺序连接的Agent的数量，因为数据流经的路径变长了，如果不考虑failover的话，出现故障将影响整个Flow上的Agent收集服务。2、多个agent的数据汇聚到一个agent：这种情况应用的场景比较多，比如要...
2018-08-02 23:48:00
322
转载 忙等待中的互斥
竞争条件：两个或多个进程读取某些共享数据，最后的结果取决于进程运行的精确时序，成为竞争条件。互斥：当一个进程在使用一个共享变量或文件时，其他进程不能做同样的操作。临界区：对共享内存进行访问的程序片段成为临界区。实现互斥，避免竞争条件的方法：1 屏蔽中断，cpu将不会切换到其他进程。但不适合多核系统，而且把屏蔽中断的权利交给用户进程是不明智的。2 锁变量，初始为0，有进...
2018-06-13 21:14:00
550
转载 操作系统用户态和内核态
内核态:CPU可以访问内存所有数据, 包括外围设备, 例如硬盘, 网卡. CPU也可以将自己从一个程序切换到另一个程序用户态:只能受限的访问内存, 且不允许访问外围设备. 占用CPU的能力被剥夺, CPU资源可以被其他程序获取为什么要有用户态和内核态由于需要限制不同的程序之间的访问能力, 防止他们获取别的程序的内存数据, 或者获取外围设备的数据, 并发送到网络, CPU划...
2018-06-04 21:06:00
156
转载 YARN and MapReduce的【内存】优化配置详解
在Hadoop2.x中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container。使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapReduce)发来的资源请求, 然后YARN会通过分配Container来给每个应用提供...
2018-05-28 11:18:00
117
转载 YARN的Memory和CPU调优配置详解
Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的，根...
2018-05-28 11:07:00
121
转载 冒泡排序
冒泡排序(Bubble Sort)，又被称为气泡排序或泡沫排序。它是一种较简单的排序算法。它会遍历若干次要排序的数列，每次遍历时，它都会从前往后依次的比较相邻两个数的大小；如果前者比后者大，则交换它们的位置。这样，一次遍历之后，最大的元素就在数列的末尾！ 采用相同的方法再次遍历时，第二大的元素就被排列在最大元素之前。重复此操作，直到整个数列都有序为止！下面以数列{20,40...
2018-05-26 11:27:00
348
转载 选择排序
选择排序介绍选择排序(Selection sort)是一种简单直观的排序算法。它的基本思想是：首先在未排序的数列中找到最小(or最大)元素，然后将其存放到数列的起始位置；接着，再从剩余未排序的元素中继续寻找最小(or最大)元素，然后放到已排序序列的末尾。以此类推，直到所有元素均排序完毕。排序流程第1趟：i=0。找出a[1...5]中的最小值a[3]=10，然后...
2018-05-26 11:23:00
107
转载 操作系统用户态和内核态之间的切换过程
1.用户态和内核态的概念区别究竟什么是用户态，什么是内核态，这两个基本概念以前一直理解得不是很清楚，根本原因个人觉得是在于因为大部分时候我们在写程序时关注的重点和着眼的角度放在了实现的功能和代码的逻辑性上，先看一个例子：1）例子void testfork(){if(0 = = fork()){printf(“create new p...
2018-05-22 21:38:00
343
转载 SpringMVC工作原理
---恢复内容开始---SpringMVC的工作原理图：SpringMVC流程用户发送请求至前端控制器DispatcherServlet。DispatcherServlet收到请求调用HandlerMapping处理器映射器。处理器映射器找到具体的处理器(可以根据xml配置、注解进行查找)，生成处理器对象及处理器拦截器(如果有则...
2018-05-21 19:06:00
116
转载 CentOS6.5 修改主机名
1.编辑/etc/sysconfig/network[root@localhost ~]# vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop-012.hostname 直接命名[root@localhost ~]#hostname hadoop-013.编辑/etc/hosts[root@localh...
2018-05-19 16:47:00
151
转载 linux 常用命令
pwd查看当前目录cdcd 和 cd ~ 进用户的家目录 标识是~ /home/用户名称cd /etc 进目录cd ../ 退回上一层目录cd ../../ 退回上两层目录cd - 退回上一次的目录hostnamehostname 查看机器...
2018-05-10 10:06:00
121
转载 数据依赖性
如果两个操作访问同一个变量，且这两个操作中有一个为写操作，此时这两个操作之间就存在数据依赖性。数据依赖分下列三种类型：名称代码示例说明写后读a = 1;b = a;写一个变量之后，再读这个位置。写后写a = 1;a = 2;写一个变量之后，再写这个变量。读后写a = b;b = 1;读一个变量之后，...
2017-10-15 20:42:00
1248
转载 ssh多台机器通信
1.3台机器执行[root@hadoop001 ~]# ssh-keygenGenerating public/private rsa key pair.Enter file in which to save the key (/root/.ssh/id_rsa): Created directory '/root/.ssh'.Enter passphrase (empty for no...
2017-10-11 10:44:00
440
转载 Hadoop学习之HDFS/MapReduce/YARN进程介绍
一、Hadoop之三大组件HDFS———->数据存储MapReduce—>作业计算框架Yarn———–>资源调度二、HDFS1、启动HDFS查看进程[hadoop@hadoop001 hadoop]$ sbin/start-dfs.shStarting namenodes on [hadoop001]hadoop001: starting name...
2017-10-11 10:24:00
419
转载 设计模式遵循的原则
单一原则：负责类的粒度大小。简单的说就是一个类或者方法让它负责一种功能开闭原则: 一个类或者功能对扩展开放，对修改关闭。就是在程序扩展的时候不能去修改原有的代码，里氏替换原则：所有引用基类（父类）的地方都能，都能用子类来代替。实际就是子类可以扩展父类的功能，但不能改变父类原有的功能依赖倒置原则：面向接口编程，依赖抽象而不是依赖具体的类接口隔离原则: 使用多个隔离的接口，比使用单个接口要好...
2017-09-09 16:53:00
104
转载 java内存模型先行发生原则
java语言天生有一个 先行发生原则，无须借助任何同步器就存在 这是判断线程是否存在竞争，线程是否安全的主要依据，1、程序次序规则：在一个线程内，书写在前面的代码先行发生于后面的。确切地说应该是，按照程序的控制流顺序，因为存在一些分支结构。2、管程锁定规则。一个unlock操作先行发生于后面对同一个锁的lock操作。3、Volatile变量规则：对一个volatile修饰...
2017-09-01 23:21:00
126
转载 hdfs 读写流程
读文件的过程1.hdfs client调用FileSystem的open()函数打开文件2.DistributedFileSystem用RPC调用namenode节点，返回文件部分或全部的block列表（也包含该列表各个block块的分布在datanode的地址信息）并返回fsdataInputstream3.hdfs client 调用fsdataInputStream的r...
2017-08-28 23:21:00
143
转载 java 内存模型
先了解一下硬件的内存架构，由于计算机的处理器和存储设备运行速度相差几个数量及，所以现代计算及系统不得不加入一层与处理器速度近似相近的高速缓存，来解决处理器和内存之间的缓冲，将运算需要使用的数据复制到缓存中，让计算机快速运行，当运算结束后在同步到主内存中。这个处理器就无需等待缓慢的内存读写了，但是随之也带来了新的问题，缓存一致性行为。解决缓存一致性行为：当CPU写数据时，如果发现操作的...
2017-08-28 21:04:00
90
转载 hdfs学习总结
1.启动hdfs进程名称namenode 名称节点datanode 数据节点secondary namenode 第二名称节点2.分块存储之前默认64m，现在默认128m （dfs.blocksize 128m）例子：一个文件 110M 110/128 分为1 块 第一块 110M 130M 130/128 分为2 块 第一块...
2017-08-27 23:11:00
213
转载 方法逃逸
逃逸的基本行为是分析对象的动态作用域，分析指针动态范围的方法称之为逃逸分析 当变量（或者对象）在方法中分配后，其指针有可能被返回或者被全局引用，这样就会被其他过程或者线程所引用，这种现象称作指针（或者引用）的逃逸(Escape)。逃逸分为方法逃逸线程逃逸classA{publicstaticBb;publicvoidglobalVar...
2017-08-25 21:47:00
588
转载 hadoop伪分布式搭建
Hadoop伪分布模式（Pseudo-Distributed Mode） 伪分布模式在“单节点集群”上运行Hadoop，其中所有的守护进程都运行在同一台机器上。 该模式在单机模式之上增加了代码调试功能，允许你检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。比如namenode，datanode，secondarynamenode，jobtracer，task...
2017-08-23 22:11:00
213
转载 hadoop编译
----------------------------------------------------------------------------------Requirements:* Unix System* JDK 1.7+* Maven 3.0 or later* Findbugs 1.3.9 (if running findbugs)* ProtocolBuffer ...
2017-08-23 21:58:00
119
转载 mysql在linux安装
MySQL下载对于下载，可以采用wget的方式下载，具体网址去官网找找，将地址复制可以采用win系统下载，用传输工具的方式例：WinSCP，传输到Linux系统上这是我的压缩包位置，大家可以随意放置MySQL解压将mysql解压到/usr/local目录 tar -zxvf /home/hadoop/mysql...
2017-08-23 21:48:00
115
转载 mysql优化
a .表的设计要符合三范式b .添加适当的索引 index 普通索引 主键索引 唯一索引unique 全文索引（在文本添加） 空间索引 符合索引c . 分表技术（水平分割，垂直分割）d. 读写（update /delete/add）分离e .存储过程（模块化，提高速度）f. 对mysql配置优化【配置最大并发数my.ini max_connections 最大连接数一...
2017-08-13 19:40:00
75
转载 观察者（Observer）模式
观察者模式也可以理解为发布与订阅的模式，通俗的说 就是定义了对象之间一对多的依赖关系。例如： 杂志和杂志订阅之间的关系，向某家报社订阅杂志，只要他有新的杂志出版，就会给订阅的人送过去。这里的杂志社名称改为 “主题”，订阅者改为 “观察者” 就是观察者模式了 如下图模式中的角色 抽象主题（Subject）：它把所有观察者对象的引用保存到一个聚集里，每个主题都可以有任何数量的...
2017-06-24 11:59:00
106
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人