辜月

不想放本地了直接扔这里来好了环境变量export JAVA_HOME=/opt/jdk1.8.0_241export HADOOP_HOME=/opt/hadoop-2.7.3export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATHRubyhdfs dfs -rm -r -f /ncdc_outcat sample.txt | ./max_temp_map.rbcat sample.txt|./max_tem

Ubuntu14.04和16.04和18.04快速下载（阿里云镜像）ubuntu 14.04：http://mirrors.aliyun.com/ubuntu-releases/14.04/ubuntu 16.04：http://mirrors.aliyun.com/ubuntu-releases/16.04/ubuntu 18.04：http://mirrors.aliyun.com...

虽然不知道有什么用但为了上课还是要装直接切入正题注意！！所有节点都要有root用户权限 不然文件复制不过去 具体百度一下切换到root用户sudo su #回车后自己输入密码修改主机名字和ip映射修改主机名字 主机改成master 其他改成slove1、slove2以此类推vim /etc/hostname修改ip映射vim /etc/hosts不管多少台 每台...

切换到root用户不管哪个系统都直接切换到root用户 权限更高就不用每次都打sudosudo su #回车后自己输入密码装两台虚拟机一台主机一台子机server端装好进入桌面后首先开ssh权限vim /etc/ssh/sshd_configPermitRootLogin 改成yes 允许root用户远程登录然后重启sshsystemctl retstart sshd然后修改root账户密码passwd root在其他机器上操作流程也一样到这里就可以用Xshell连接

最近在学大数据来到了MapReduce编程这块- -用以下这段代码即使用Hadoop-Streaming运行就tm一直报错hadoop jar /opt/hadoop-2.7.3/share/hadoop/tools/lib/hadoop-streaming-2.7.3.jar -input /ncdc -output /ncdc_out -mapper max_temp_map.py -reducer max_temp_reduce.py -file max_temp_map.py -file ma

先查自己的网关，我的是192.168.150.2route -n打开Terminal，配置静态ip，命令如下：sudo vim /etc/network/interfaces添加内容如下：auto ens33iface ens33 inet staticaddress 192.168.150.132netmask 255.255.255.0gateway 192.168.150.2注：Ubuntu15开始，网卡名eth0改成了ens33。修改域名服务器sudo vim /