- 博客(19)
- 收藏
- 关注
RSS订阅原创 Mapreduce单词词频统计实例
开启hdfs编写两个文件上传到hdfs上1）在根路径上新建文件夹2）上传3）上传成功查看文件内容运行程序1）报错（原因：没有启动yarn，找不到资源管理器）2）启动yarn3）启动成功查看输出数据查看内容...
2020-06-01 21:27:34
661
原创 Hadoop搭建IDE
查找hadoop的依赖jar包在{hadoop_home/share}目录下查找<.jar>文件，复制后拷贝至{hadoop_home}/_jar/在{hadoop_home}/_jar/目录下查找文件，剪切后拷贝至{hadoop_home}/_sources/{hadoop_home}/_jar/目录：hadoop java开发程序所依赖的jar包{hadoop_home...
2020-04-25 16:17:35
384
原创 Snapshot快照
Snapshot快照快照snapshots是HDFS文件系统的只读的基于某时间点的拷贝，可以针对某个目录，或者整个文件系统做快照。快照比较常见的应用场景是数据备份，以防一些用户错误或灾难恢复。1.列出快照的列表当前无快照...
2020-04-21 17:01:57
354
原创 Hadoop分布式文件系统(HDFS)
Hadoop分布式文件系统(HDFS)HDFS是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应...
2020-03-15 13:01:04
1057
原创 Shell脚本
ShellShell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁（命令解释器）。Shell既是一种命令语言，又是一种程序设计语言。Shell是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。Shell 脚本Shell 脚本（shell script），是一种为 shell 编写的脚本程序。我们所说的 shell 通常都是指 s...
2020-03-13 20:32:25
161
原创 Hadoop知识点
Namenode和SecondaryNamenodeSecondaryNamenode名为任务点，或辅助名称节点（Namenode）
2020-03-13 15:20:44
215
原创 Hadoop完全分布模式安装
搭建完全分布模式克隆两个节点修改静态IP修改主机名修改IP和主机名的映射SSH无密登录安装JDK安装hadoop配置环境变量修改hadoop配置文件a.core-site.xmlb.hdfs-site.xmlc.复制新建mapred-site.xmld.yarn-site.xmle.slavesf.hadoop-env.sh把配...
2020-03-07 21:49:08
363
原创 Hadoop伪分布模式安装
Hadoop四部分组成HDFS 分布式存储MapReduce 分布式计算Yarn 资源调度Common 自动提供的类和方法伪分布模式在一台机器里模拟一个集群的运作，datanode每3秒向namenode发送心跳机制...
2020-03-07 14:51:21
155
原创 配置SSH的无密码登录
SSH（Secure Socket Shell）安全外壳传输协议。专为远程登录会话和其他网络服务提供安全性的协议SSH的无密码登录生成秘钥：ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa生成认证库：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys修改认证库的权限为0600：chmod 0600 ...
2020-03-06 21:03:43
210
原创 克隆虚拟机
关闭虚拟机–>选项【虚拟机】–>【管理】–>【克隆】【下一步】–>【下一步】–>【选项：创建完整克隆】指向本地虚拟机目录制定虚拟机名称为：slave1修改克隆后的虚拟机静态IP(slave1)a.查找eth1网络配置信息b.修改静态IP文件c.重启网络修改hostname修改hosts文件重启虚拟机...
2020-03-06 20:07:10
155
原创 Hadoop独立模式安装
Hadoop安装3种模式独立模式伪分布模式完全分布式独立模式安装解压压缩包建立软连接配置环境变量生效安装成功测试案例【如果运行失败，hosts和network配置不对】[root@master Desktop]$ cat /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 lo...
2020-03-06 10:29:26
232
原创 Linux安装JDK
JDK不跨平台，JAVA语言跨平台xxx.class文件为可执行文件安装JDK在用户路径下新建文件夹把jdk压缩文件复制到文件里解压文件建立软连接修改系统变量配置环境变量成功删除Linux自带的jdk版本...
2020-03-05 11:24:17
163
原创 Linux下的三种网络连接模式
虚拟机安装好后电脑自动显示VMent8代表通过NAT连接VMent1代表通过仅主机（Host-only）连接VMnet8 和 VMnet1 提供 DHCP 服务自己设置一个ip地址，以防自动获取的ip地址总变动Linux下的三种网络连接模式虚拟机当前模式连接本地电脑可行通过图形模式修改配置文件（NAT连接）重置网络配置桥连接模式桥连接模式无法连...
2020-03-04 21:09:32
885
原创 安装Linux操作系统
这里首先要新建一个文件夹储存虚拟机这里设置使用IOS映像文件这里选择第一个选项这里修改主机名这里设置密码，一定要记住，不然找回很麻烦...
2020-03-04 15:36:41
194
原创 操作系统
操作系统 1）桌面操作系统 Windows系列 92% macOS 5% Linux 1% 2) 服务器操作系统 (所谓服务器就是硬件指电脑+软件指操作系统) Linux:安全、稳定、免费 占用率高 Windows Server: 付费 占有...
2020-03-04 13:55:16
430
原创 大数据学习总概况
大数据学习对于大数据学习我们应该先有一个了解，先把需要学习的东西知道一个大概，才会有一个心理准备去应对接下来更加难的学习。以上是学习大数据所需要的知识体系，首先我们当然要学习搭建环境的工具：Linux操作系统，下面，就和我一起学习吧。...
2020-03-04 12:51:36
272
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人