
Hadoop大数据分析
文章平均质量分 78
Hadoop学习笔记
slaythedragon
Shut up and Run
展开
-
NOAA气象大数据分析
目录1.实验目的2.实验准备3.代码编写3.1 MinTemperature.java3.2 MinTemperatureMapper.java3.3 MinTemperatureReducer.java4.打jar包运行1.实验目的写一个Map-Reduce作业,求每年的最低温度。这里只选用1970年的数据,算出最低温度。2.实验准备打开eclipsecd /usr/eclipse/./eclipse -OK右键New一个Java Project命名为NOAA-Finish在NO原创 2021-06-26 19:04:56 · 2975 阅读 · 1 评论 -
HDFS数据云盘搭建
目录1.配置host2.设置共享文件夹3.安装mysql4.在eclipse中安装并新建Dynamic Web Project5.进行jar包的拷贝1.配置host注:所有操作均在1号机中进行为了防止之后因端口被占用导致启动Tomcat失败,把这两句话:127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain lo原创 2021-06-22 15:52:00 · 2523 阅读 · 4 评论 -
Hadoop:HDFS API二次开发实验
1.HDFS的读操作在1号机中命令行:su输入密码启动hdfs集群start-dfs.sh回到Client端:创建一个文件su输入密码vi /root/words.txt输入:hello worldthis is a test filefor learning将文件上传到hdfs服务器的根目录:hdfs dfs -put /root/words.txt /查看文件是否上传成功:hdfs dfs -ls /查看文件内容:hdfs dfs -cat /word原创 2021-06-06 15:28:26 · 820 阅读 · 0 评论 -
Hadoop:RPC通信实验
目录1.什么是Hadoop的RPC3.创建一个客户端Client机4.Client虚拟机配置1.什么是Hadoop的RPCRemote Procedure Call(简称:RPC):远程过程调用协议。RPC是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP, 为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式程序在内的应用程序更加容易。3.创建一个客户端Clien原创 2021-06-02 20:32:00 · 490 阅读 · 1 评论 -
Hadoop项目创建(在eclipse中)
Hadoop项目创建(在eclipse中)1.进入root权限su输入密码2.把eclipse拖到tmp文件夹下解压到usr文件夹下tar -xf /tmp/eclipse-java-mars-2-linux-gtk-x86_64.tar.gz -C /usr/切换到usr文件夹cd /usr/查看ls再进入到eclipse文件夹cd eclipse/运行可执行文件,打开eclipse./eclipse(此时是root权限打开的eclipse,和在普通权限下的wor原创 2021-04-17 17:11:17 · 2265 阅读 · 0 评论 -
HDFS常用命令
HDFS常用命令1.启动hdfsstart-dfs.shjps查看2.查看到所有HDFS Shell用户命令解释hdfs dfs -help3.查看 dfs管理命令帮助hdfs dfsadmin -help4.上传到hdfs的根目录新建文件touch /tmp/xinxi.txthdfs dfs -put /tmp/xinxi.txt /查看是否上传成功hdfs dfs -ls /新建文件并编辑vi /tmp/xinxi1.txt写入how are youfi原创 2021-04-09 16:27:28 · 951 阅读 · 0 评论 -
搭建Hadoop环境(超详细)
搭建Hadoop环境(超详细)前言一、安装VMware Workstation10.0二、安装虚拟机:(没有写的全按默认处理)1.2.配置IP地址虚拟机:3.永久修改主机名Hostname:4.配置集群Hosts:5.永久关闭防火墙:6.关闭selinux:7.安装VMware Tools8.安装JDK:三、虚拟机克隆1.2.修改克隆出来虚拟机的网络IP:3.进行ssh远程登录:前言所有本文中没有提到的操作全部按照默认处理即可一、安装VMware Workstation10.0选Typical典型安原创 2021-03-26 14:19:33 · 5488 阅读 · 2 评论 -
Linux常用命令行操作
Linux命令行操作你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。1.立刻关机(root权限下)shutdown -h now或者init 02.TAB键可以命令补全,连按两下显示相关命令3.保存退出:wq4.不保存退出:q!5.解压缩tar -x -f-x代表extra-f后面跟要解压缩的文件6.显示当前文件夹中的内容ls7.执行安装原创 2021-03-26 13:47:57 · 229 阅读 · 0 评论