IT_探的博客

整理了一些Linux常用基础命令，欢迎指正。 四个热键         首先记住四个热键，学会这四个键，受益一辈子。        Tab        --- 命令补齐功能        Ctrl+c    --- 停掉正在运行的程序        Ctrl+d    --- 相当于exit，退出        Ctrl+l     --- 清屏（作用同 clear）...

前提条件：已安装hadoop 修改配置文件 yarn-site.xml          然后复制到每台机器  $PWD 当前目录        修改slaves文件        修改hadoop的slaves文件，列入要启动nodemanager的机器，然后将hdfs111到所有机器的免密登陆配置好。       脚本启动yarn集群      ...

MapReduce理解MapRedeuce，我们可以把它分开来理解：映射（Mapping） ：对集合里的每个目标应用同一个操作。即，如果你想把表单里每个单元格乘以二，那么把这个函数单独地应用在每个单元格上的操作就属于mapping（这里体现了移动计算而不是移动数据）； 化简（Reducing）：遍历集合中的元素来返回一个综合的结果。即，输出表单里一列数字的和这个任务属于reducing。...

OLTP         On-Line Transaction Processing 联机事务处理        是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。        OLTP 系统强调数据库内存效率，强调内存各种指标的命令率，强调绑定变量，强调并发操作。 OLAP         On-Line Analytical Proces...

 # 显示目录下的所有文件ll以下是对这些目录的解释： /bin： bin是Binary的缩写, 这个目录存放着最经常使用的命令。 /boot： 这里存放的是启动Linux时使用的一些核心文件，包括一些连接文件以及镜像文件。 /dev ： dev是Device(设备)的缩写, 该目录下存放的是Linux的外部设备，在Linux中访问设备的方式和访问文...

引言：本文介绍的是通过虚拟机方式安装Linux。环境：本机环境：windows 10 64 bit 内存：8GB 1600MHZ CPU：Core i5 7200U 安装VMware WorkstationVMware下载：链接: https://pan.baidu.com/s/1Qg8WsGIovMMXbCYov4b2Ww 提取码: mhmf 安装步骤：链接: https...

一、背景        分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。        在这种情况下，                -- 希望不同节点之间的通...

Linux介绍          Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。         该操作系统的内核由林纳斯·托瓦兹于1991 年10 月5 日首次发布。        Linux能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix...

1）hdfs的客户端网页形式->测试用           http://192.168.1.111:50070/dfshealth.html#tab-overview命令行形式->测试用 企业级API2）查看帮助     hdfs dfs -help3）查看当前目录信息     hdfs dfs -ls /     3）上传文件    hdfs dfs -...

vi etc/hadoop/hdfs-site.xml 修改配置文件，新增副本位置配置        <property>                <name>dfs.namenode.secondary.http-address</name>                <value>hdfs112:50090</value&...

修改配置文件slaves（配置集群服务器）            执行命令         start-dfs.sh 启动集群        stop-dfs.sh 停止集群        主机启动之后，发现有一个副本存在，修改副本位置，参考https://blog.youkuaiyun.com/flyer_tang/article/details/83056939 ...

集群环境配置说明：hdfs111（192.168.1.111）----主机，namenodehdfs112（192.168.1.111）---- datanodehdfs113（192.168.1.111）---- datanode 准备工作  启动虚拟机主机192.168.1.111，执行以下操作：关闭防火墙 设置主机名 配置ssh免密登录 安装JDK搭建HD...

JDK下载         官网下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html        jdk-8u141-linux-x64.tar.gz网盘下载 链接: https://pan.baidu.com/s/1O7EWQlJCx0AGsiLqGX26z...

ssh-keygen 生成密钥对ssh-copy-id 将公钥拷贝到要免登陆的机器上      

hostname   查看主机名永久修改主机名的两种方式（1）第一种方式          vi /etc/hostname  编辑hostname         reboot      重启生效（2）第二种方式          hostname set-hostname          ...

防火墙相关命令如下：firewall-cmd --state                  显示centOS7防火墙状态 systemctl stop firewalld         关闭防火墙 systemctl disable firewalld    禁止开机自启动  ...