
linux-hadoop
文章平均质量分 83
NeverOW
这个作者很懒,什么都没留下…
展开
-
MapReduce编程初级实践
一、实验目的通过实验掌握基本的MapReduce编程方法;掌握用MapReduce解决一些常见的数据处理问题,包括数据去重、数据排序和数据挖掘等。二、 实验平台操作系统:ubuntu18Hadoop版本:3.2.2HBase版本:2.2.2JDK版本:1.8Java IDE:eclipse三、实验内容和要求编程实现文件合并和去重操作对于两个输入文件,即文件A和文件B,请编写MapReduce程序,对两个文件进行合并,并剔除其中重复的内容,得到一个新的输出文件C。下面是输入文件和输原创 2021-10-13 20:01:56 · 4142 阅读 · 0 评论 -
实验3_熟悉常用的HBase操作
一、实验目的理解HBase在Hadoop体系结构中的角色;熟练使用HBase操作常用的Shell命令;熟悉HBase操作常用的Java API。二、实验平台操作系统:Hadoop版本:HBase版本:JDK版本:Java IDE:三、实验内容和要求使用HBase Shell命令完成下列任务:列出HBase所有的表的相关信息,例如表名;在终端打印出指定的表的所有记录数据;向已经创建好的表添加和删除指定的列族或列;清空指定的表的所有记录数据;统计表的行数。2.现原创 2021-10-02 16:47:18 · 10489 阅读 · 1 评论 -
实验二 HDFS实验操作
一、实验目的理解HDFS在Hadoop体系结构中的角色熟练使用HDFS操作常用的Shell命令熟悉HDFS操作常用的Java API二、实验平台操作系统:Hadoop版本:JDK版本:Java IDE:三、实验内容和要求利用Hadoop提供的Shell命令完成下列任务:向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件。hadoop fs -put test.txt /test/hadoop fs -a原创 2021-09-24 22:54:32 · 11870 阅读 · 3 评论 -
熟悉常用的Linux操作和Hadoop操作
一、实验目的由于Hadoop运行在Linux系统上,因此需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作,为顺利开展后续其他实验奠定基础。二、 实验平台操作系统:请说明实验所使用的操作系统版本,安装方式(如虚拟机,双系统,Windows子系统等)。Hadoop:请说明实验所使用的Hadoop版本。三、实验步骤熟悉常用的Linux操作cd命令:切换目录切换到目录"/usr/local"cd /usr/local此处贴命令执行完的原创 2021-09-22 22:27:45 · 544 阅读 · 0 评论 -
阿里云ECS服务器ubuntu18图形界面安装
文章目录前言一、配置阿里镜像源二、安装图形界面三、VNC远程连接总结前言文章中的图形界面基于阿里云ECS服务器远程连接中的VNC连接,使用时会体验到明显的延迟,介意可以使用Xshell+Xmanger+Xftp远程连接服务器!提示:以下是本篇文章正文内容,下面案例可供参考一、配置阿里镜像源首先配置镜像源,否则可能出现安装图形界面报错:Unable to correct problems, you have held broken packages1、备份原有软件源文件cp /etc/.原创 2021-09-10 18:19:09 · 1577 阅读 · 5 评论 -
阿里云ECS服务器Linux-ubuntu18环境搭建
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、ECS服务器购买二、使用步骤1.引入库2.读入数据总结前言Linux 的安装一般是双系统或者虚拟机上运行,安装步骤比较繁琐,虚拟机占用内存大,对于低配电脑容易运行卡顿,体验感差。双系统对windows主系统造成影响最后甚至重装系统,所以我们采用云服务器方式搭建linux,更加接近真实线上工作。提示:以下是本篇文章正文内容,下面案例可供参考一、ECS服务器购买1.阿里云学生免费2个月(飞天加速计划2.0)→飞天原创 2021-09-09 18:34:21 · 902 阅读 · 4 评论