诗和远方，代码和你

执行start-dfs.sh后，datenode没有启动，很大一部分原因是因为在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令（hdfs namenode -format)，这时主节点namenode的clusterID会重新生成，而从节点datanode的clusterID 保持不变导致的。解决方案（一）： 在hdfs-site.xml文件下找到这两个文......

分析：1）准备3台客户机（关闭防火墙、静态ip、主机名称）2）安装JDK3）配置环境变量4）安装Hadoop5）配置环境变量6）配置集群7）单点启动8）配置ssh9）群起并测试集群虚拟机准备准备3台客户机：详见博客：【Hadoop】环境准备编写集群分发脚本xsyncscp（secure copy）安全拷贝（1）scp定义：scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）（2）基本语法scp -r $pd

linux网络配置原理图 (含虚拟机)查看网络ip和网关查看虚拟网络编辑器修改ip(修改虚拟网卡的ip)查看网关查看windows环境中的VMnet8网络配置(ipconfig指令)1)使用ipconfig指令2)界面查看ping测试主机之间网络连通基本语法ping 目的主机(功能描述,测试当前服务器是否可以连接目的主机)应用实例测试当前服务器是否可以连接百度ping www.baidu.comlinux网络环境配置自动获取系统->首选项->网络配置

克隆虚拟机修改克隆虚拟机的静态IP修改主机名关闭防火墙创建jzt用户配置jzt用户具有root权限注意 : 在克隆之前,母机需要设置好hosts映射,不然到时候每台主机去配置主机映射较麻烦母机的主机映射文件hosts:克隆虚拟机修改克隆虚拟机的静态IP将ip改了,并将硬件地址粘贴过去.更改主机名vim /etc/hosts重启reboot配置成功, 130的虚拟机ping通131的虚拟机.可以实现相互的通信:配置jzt用户,并具有root权限让sudo.

1为什么要远程登录1.1 示意图1.2 说明公司开发时候,具体的情况是这样的:1)Linux服务器是开发小组共享的2)正式上线的项目时运行在公网的3)因此程序员需要远程登录到centos进行项目管理或者开发4)画出简单的网络拓扑示意图(帮助理解)5)远程登录客户端有Xshell5,Xftp5,我们学习使用Xshell5和Xftp,其它的远程工具大同小异.2 远程登录Linux-Xshell6.Xshell [1] 是一个强大的安全终端模拟软件，它支持SSH1, SSH2, 以及Mic

安装VM和centos1)先安装virtual machine,vm12.2) 再安装Linux(Centos)3) 原理示意图VMWare就像是暴风影音软件,而centos系统就是一个文件,比如mp4文件,所以Vmware就可以运行这个centos系统. 那么这个文件拿到张三的电脑上,用它的VMware软件同样可以打开这个centos系统.安装VM的过程省略,以前安装过了下面安装centos系统.首先分配一个虚拟机,也就是分配系统空间. 然后再安装centos系统.具体步骤如下图VMw

地图匹配实验（一）Hadoop实现出租车轨迹数据的并行地图匹配，此次地图匹配采用的是地图分块，然后通过添加路网骨干节点建立路网索引，为轨迹点映射路网骨干节点缩小范围，提高检索的效率，轨迹点与路网节点之间距离小于阈值就进行匹配。本次路网数据是上海市路网数据，从osm开源地图下载，进行了预处理得到路网骨干节点，使用的出租车数据是上海市4千辆出租车24个小时（07年2月20日）的行驶数据（下载链接）...

背景前面我是在自己的电脑上搭建分布式环境hadoop，做了一些实验，但是就今天下午上传了一个300多MB的文件，然后进行处理都非常的慢，估计没有几个小时是弄不完的。于是想起前面借用学校的一个集群，也折腾了一下，但是就是不知道他的目录结构，要找什么东西都找不到，是用cloudera进行管理和配置的，我想用hadoop-streaming-*jar来运行python脚本。于是网上百度，终于找到了！...