arne's Blog

修改Linux系统操作语言 我安装Centos6.5时选择了中文,到了后面在使用过程中出现了部分命令行无法正常显示的情况： 所以就把Linux的操作系统语言改回英语（尽管英语不怎么好，但必须要英语环境，时间久了就习惯了） 命令： vim /etc/sysconfig/i18n 然后将 LANG="zh_CN.UTF-8" 改为： LANG="en_...

vi、vim命令的三种模式 模式 编辑 命令模式，按键具有编辑文本功能：默认打开进入编辑模式 输入 按键本身意义 末行 接受用户命令输入 编辑–>输入 i 在当前光标所在字符的前面，转为输入模式 a 在当前光标所在字符的后面，转为输入模式 o 在当前光标所在行的下方，新建一行，并转为输入模式 O 在当前光标所在行的上方，新建一行，...

nginx的基本配置 Location（难点）:location指令的作用是根据用户请求的URI来执行不同的应用，也就是根据用户请求的网站URL进行匹配，匹配成功即进行相关的操作。 一个配置属性：根据用户的请求地址，去服务器上匹配文件 配置格式: location [符号] 请求地址（模糊地址） 里面还有一个配置属性: root 文件(目录）路径 反向代理的配置 ...

vi命令简单总结 打开文件 vim /path/to/somefile vim +# :打开文件，并定位于第#行 vim +：打开文件，定位至最后一行 vim +/PATTERN : 打开文件，定位至第一次被PATTERN匹配到的行的行首 关闭文件 末行模式： :q 退出 没有动过文件 :wq 保存并退出 动过了，不后悔 :q! 不保存并退出 动过了，后悔了 :w 保存 :w! 强行保存...

大数据学习-linux初始化linux安装1.新建、安装linux虚拟机2.linux初始化配置 linux安装 工具：VMware11.1.2 build-2780323 、CentOS-6.8-x86_64-minimal.iso 1.新建、安装linux虚拟机 选择自定义，然后下一步即可 默认，直接下一步 选择稍后安装系统，然后下一步 选择版本 设置虚拟机名称和存...

YARN配置 在Hadoop-HA高可用分布式环境中改造 NN-1 NN-2 DN ZK ZKFC JNN RM NM node01 * * * node02 * * * * * * node03 * * * * * node04 * * * * node01: 1）mapred-site.xml <!--开启mapreduce....

快速有效的学习，思想核心是“以建立知识体系为核心”，具体方法是“守破离”。反复练习。 ​ 应用： ​ 1、写一些shell脚本来调用大数据的程序 ​ 2、可以看懂大数据平台各个分布式节点运行的机制 知识准备：解释器：bash 。bash :命令行类型的shell。 shell ：计算机和用户的交互接口。 包括用户交互输入和文本文件输入; 运行任何一个脚本都是启动一个新的bash去运行; 脚本的...

1、MapReduce定义 ​ 1）分布式运算程序的编程框架，是用户基于“Hadoop的数据应用”的核心框架 ​ 2）核心功能是将用户编写的业务逻辑代码和自带的默认组件整合成一个完整的分布式运算程序，并发运行在Hadoop集群 2、MapReduce的优缺点 ​ 2.1、优点 ​ 1）易于编程 ​ 2）良好的扩展性 ​ 3）高容错性 ​ 4）适合PB以上的海量数据离线处理 ​ 2....

HA 高可用集群部署 节点设置，4个虚拟机，且完成SSH免密钥登陆，jdk安装 NN-1 NN-2 DN ZK ZKFC JNN bd001 * * * bd002 * * * * * bd003 * * * bd004 * * Active NameNode : 一个集群只有一个Active，接受客户端的读写请求，记录edits日志（元...

HDFS命令操作和高可用 学习目标 掌握：HDFS的命令行操作 hdfs dfs -ls",“hdfs dfs -cat”,“hdfs dfs -mkdir”,“hdfs dfs -put”,“hdfs dfs -get” “-chmod” ，“-chown”等 1. 文件操作 (1) 列出HDFS下的文件 /usr/local/hadoop$bin/hadoop dfs -ls (2)...

编译安装tengine 1.上传文件并解压 [root@bd002 ~]#tar -zxvf tengine-2.1.0.tar.gz 2.安装依赖 1.安装C语言编译器 [root@bd002 ~]#yum install -y gcc ## (gun+cc) 1.查看pcre [root@bd002 ~]#yum search PCRE 2.安装pcre [root@...

hadoop：包含分布式文件系统和分布式计算的一个框架。 HDFS，mapreduce HDFS的架构：三种节点：NN,SNN,DN。 不可替代 存放海量的数据。 数据 --》----》文件—》存放HDFS—》数据文件（元数据，内容数据）—》元数据在NN，内容数据形成block在DN。 非常兼容各种分布式计算 HDFS:分布式文件存储系统，提供了 高可靠性、高扩展性和高吞吐率...