- 博客(14)
- 收藏
- 关注
RSS订阅原创 开了安全的kafka集群配置需要更改的参数
Three brokers for kafkaFirst: cat /etc/kafka1/conf/jaas.conf --check jaas.conf KafkaServer { com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true keyTab="/etc/kafka1/conf/kafka.ke...
2018-03-08 15:35:27
1587
原创 Notepad++远程连接ssh修改linux中配置文件
去百度搜索下载这个文件将这个插件放到notepad++中的安装目录中的plugins目录中；第一步：点击这个按钮，查看右侧变化第二步：第三步：点击profile setting第四步：创建连接
2017-09-27 23:59:52
5242
原创 linux基础知识（centos）
常见命令【增 删 改 查】【增】：目录：mkdir文件：touch vi vim【删】目录：rmdir rm文件: rm [-r -rf]【改】cp mv【查】目录：ls ll文件:一、常见命令【续】1.cp --copy //复制文件或目录 重命名cp -r [需要复制的文件或目录] [目标目录]
2017-09-27 23:56:19
525
原创 大型协作框架flume中avro类型的应用场景
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。系统功能编辑日志收集Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Fl
2017-09-27 23:39:01
8722
1
原创 MR的shuffer过程
图例：map个数：由任务切片spilt决定的，默认情况下一个split的大小就是block由参与任务的文件个数决定的 maxSize:由配置参数mapred.max.spilt.size确定,已经不考虑用户设定的maptask个数;minSize:inputSplit的最小值,由配置参数mapred.min.spilt.size确定,默认值为1;BlockS
2017-09-27 23:28:15
2380
原创 Hadoop Ha集群配置
为什么要配置HDFS HA?首先:HDFS集群中NameNode 如果存在单点故障。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用.而影响HDFS集群不可用主要包括以下两种情况：一是NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用；二是计划内的NameNode节点软件或硬件升级，导致集群在短时间内不可
2017-09-27 23:24:18
396
原创 解决hadoop集群环境datanode无法启动的问题
问题描述：在集群模式下更改节点后，启动集群发现 datanode一直启动不起来。我集群配置：有3个节点，其中第三台的datanode没有启动其他均已经正常启动，利用 master:50070 ， Live Nodes 为2， 随进入pc3：ssh pc3.hadoop, 输入命令 jps ，发现只有 没有DataNode。随后看日志上网查找解决方法，最后终于解决了
2017-08-29 20:20:48
2267
2
原创 Hadoop环境搭建，以及mapreduce的使用
Hadoop2.5环境搭建 1. 解压安装Hadoop 命令： $ tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules/配置Hadoop的JAVA支持（/etc/hadoop目录下） hadoop-env.sh mapred-env.sh yarn-env.sh在这3个文件中都配置 export JAVA_HOME=/opt/modul
2017-08-24 21:24:04
2255
转载 十个不错的javascript知识，也许会对你有帮助
1.立即执行函数(function(){//代码片段})();对的，你没有看错，很简单的一个写法，不用写windows.onload也可以立即执行的函数，这里面的function(){…}是一个匿名函数，包围它的一对括号将其转换为一个表达式，紧跟其后的一对括号调用了这个函数。立即执行函数也可以理解为立即调用一个匿名函数。立即执行函数最常见的应用场景就是：将var变量的作用域限制于你们函数内，这样可以
2017-07-20 23:33:41
233
原创 I don't know where is the sky that I can touch
有时候也曾幻想过自己坐在一辆不知开往何处的，不知何时能停下的仿佛能带领我找到爱的列车上。我并不知道自己想要表达些什么，但就是想要知道人在最累的时候，通常会幻想自己处在一个什么样的环境，才能够真正的放开一切杂念，去静下心来思考人生中的每一步棋该怎么走。Follow The Notes Upon The Journey…… The First Sight Make One's Destiny？Wh
2017-07-17 00:09:59
339
原创 一个基础的多线程问题，记录学习多线程
一：创建多线程的方法： A：继承Thread类，重写run()方法； B：实现Runnable接口，重写run()方法；二：两种实现的区别： 1.在于实现和继承的区别：单继承，多实现； 2.在于资源共享的区别：继承Thread不利于资源共享（故推荐使用实现接口的方法去创建多线程）三：线程状态新生状态: 创建了线程对象 可运行状态: 已经交由JVM处理 运行状态: 被C
2017-06-17 16:46:33
332
原创 多重for循环嵌套
for循环定义： 同过一个简单的表达式，来完成多次重复性的代码功能；格式如下： for（变量初始值；变量取值范围；变量自增/自减）{ //代码块； } 一个复杂的for循环中可以嵌套多个同级的for循环，一般表现如下： for（变量初始值；变量取值范围；变量自增/自减）{ for（变量初始值；变量取值范围；变量自增/自减）{ /
2017-05-27 08:15:07
13299
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人