2022年大数据基础讲课笔记

已于 2022-12-10 20:15:05 修改
阅读量2.7k 收藏 3
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 探索大数据-从Hadoop到Flink 文章标签： 大数据 hadoop hdfs MapReduce ZooKeeper
于 2022-10-12 07:12:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/127275044
这篇博客记录了2022年的大数据基础课程笔记，涵盖了从Linux基础到Hadoop集群构建，再到HDFS和MapReduce的理解及ZooKeeper的使用。内容包括Linux安装配置、Hadoop世界的探索、HDFS和MapReduce的工作原理及应用，以及ZooKeeper的分布式协调服务。同时，设有多个实训任务以巩固所学知识。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据讲课笔记2.1 初探大数据
howard2005的专栏
10-03 2316
1. 了解大数据的定义； 2. 理解大数据的特征； 3. 理解研究大数据的意义
2022年Java程序设计讲课笔记
howard2005的专栏
03-24 4447
任务驱动，统摄知识点，做中学，印象深
大数据讲课笔记4.4 使用Java API操作HDFS
qq_61324603的博客
11-25 501
创建Maven项目 - HDFSDemo单击【Finish】按钮 Maven Repository（Maven仓库）- https://mvnrepository.com/ 搜索 单击超链接 单击超链接 3、创建日志属性文件 在目录里创建文件 4、启动集群HDFS服务 在主节点上执行命令： 在Hadoop WebUI界面查看 运行程序，查看结果​​​​​​​ 利用HDFS集群WebUI查看 再次运行程序，由于已经存在，此时会提示用户创
大数据讲课笔记5.1 初探MapReduce
howard2005的专栏
10-08 1383
1. 理解MapReduce核心思想； 2. 掌握MapReduce编程模型； 3. 理解MapReduce编程实例——词频统计
大数据讲课笔记6.6 ZooKeeper的Java API操作
howard2005的专栏
10-10 1043
1. 了解ZooKeeper Java API； 2. 能利用Java API操作ZooKeeper
大数据讲课笔记5.6 MR案例—数据去重
howard2005的专栏
10-10 1196
1. 理解数据去重； 2. 实现数据去重
大数据讲课笔记5.7 MR案例—TopN
howard2005的专栏
10-10 847
1. 理解TopN分析法 2. 实现TopN分析法
这一年，这些书：2022年读书笔记
Heartsuit的博客
12-31 3万+
Note: 以下 `markdown` 格式文本由 `json2md` 自动转换生成，可参考[JSON转Markdown：我把阅读数据从MongoDB中导出转换为.md了](https://blog.youkuaiyun.com/u013810234/article/details/113360229)了解具体的转换过程。2022年读书笔记
大数据讲课笔记5.5 MR案例——倒排索引
howard2005的专栏
10-09 942
1. 理解倒排索引； 2. 实现倒排索引
解决宿主机Ping不通虚拟机的问题
热门推荐
howard2005的专栏
07-30 7万+
在使用虚拟机的过程中，我们常常会遇到宿主机和虚拟机之间无法相互通信的问题。具体来说，我们要查看虚拟机和宿主机的 IP 地址，然后尝试进行 Ping 测试。在某些情况下，我们可能发现 Ping 虚拟机不通，接下来我将分享如何解决这个问题。
在Eclipse里搭建Scala开发环境
howard2005的专栏
04-10 9768
在Eclipse里搭建Scala开发环境Scala：一种类似Java的编程语言，综合了面向对象编程(Object-Oriented Programming)和函数式编程(Functional  Programming)的特性，有利于开发多核并发模型以及云计算(Parallelism  for  Mulicore  and  Cloud  Computing)项目。参考书目：Programming ...
Spark案例：Scala版统计单词个数
howard2005的专栏
12-14 8946
Spark案例：Scala版统计单词个数 利用Spark的RDD可以对本机或集群上的文件进行词频统计。 1、创建Scala项目SparkScalaWordCount 2、创建lib目录，添加spark的jar，并添加作为项目的库 3、在项目根目录创建test.txt文件 4、创建WordCount对象 package net.hw.spa...
如何让CentOS8虚拟机与主机相互Ping通
howard2005的专栏
11-13 7654
如何让CentOS8虚拟机与主机相互Ping通 在VMWare上安装了CentOS8，打开终端，发布nmcli命令： 当前连接的是virbr0，ipv4地址是192.168.122.1，而网卡ens33没有连接的。 打开主机的命令行窗口，发布命令ping 192.168.122.1： 请求超时，主机Ping不通虚拟机。 发布ipconfig命令，查看主机ipv4地址： 主机...
初试Octave软件
howard2005的专栏
12-16 7339
Octave是一款十分有用的数值计算软件。一、Octave基础1、使用Octave的内建函数>> exp(1)ans = 2.7183说明：exp函数表示底数为e的指数函数。>> x = 1.2*sin(40*pi/180+log(2.4^2))x = 0.76618说明：pi代表圆周率。>> log(e)ans = 1>> log10(100...
利用Octave解线性方程组
howard2005的专栏
02-17 6096
利用Octave解线性方程组 在初中，求解线性方程组的方法是消元法（代入消元或加减消元）。 比如，下面这个二元一次方程组，就是采用加减消元法来求解的。 消元法固然简单，容易理解，但是对于n元线性方程组，n值比较大时，这个方法就不好使了，对于这种情况，我们有没有更好的处理方法呢？答案是肯定的。 在线性代数里，对于线性方程组，采用矩阵和向量的计算方式。 首先利用向量和矩阵表示上述二元一次...
在Linux上安装JDK9
howard2005的专栏
02-22 5688
1、下载JDK9 http://www.oracle.com/technetwork/java/javase/downloads/jdk9-downloads-3848520.html 2、上传到虚拟机 3、安装JDK9 [root@park01 software]# rpm -ivh jdk-9.0.4_linux-x64_bin.rpm 4、配置环境变...
如何才能CentOS终端输入中文
howard2005的专栏
08-22 5118
如何才能CentOS终端输入中文 1、打开终端界面，使用su - root切换到超级用户，然后输入yum install -y "@Chinese support"，回车。 2、然后点击桌面左上角的System->Perference，在里面可以看到一个Input Method，点击进去。 3、选中Enable前面的方框，点击Input Method。 4、在打开的窗...
Scala案例：词频统计
howard2005的专栏
02-17 4981
一、提出任务 统计文本文件里单词出现次数。 二、完成任务 1、创建Scala项目 - ScalaWordCount 创建net.hw.wc包： 2、在项目根目录添加文本文件test.txt 3、在net.hw.wc包里创建scala源程序WordCount 4、运行程序，查看结果 ...
Zebra项目：分析、实施与测试
howard2005的专栏
01-13 4904
目录 第一部分 Zebra项目概述 一、Zebra项目介绍 二、日志数据结构分析 三、数据以| 分割后，每个数据项的含义 四、Zebra项目整体架构 （一）技术架构 （二）工程架构 五、Zebra业务说明 1、数据项含义 2、应用大类说明 3、应用小类说明 4、业务字段处理逻辑 5、zebra业务说明 六、Zebra项目设计思想 1、单机思想 2、四个进程职责 3...
赖世雄中级讲课精华笔记分享
1. 文件标题“赖世雄中级讲课笔记\赖世雄中级讲课笔记.zip”表明这是一个压缩文件，文件名中包含“赖世雄中级讲课笔记”，这可能是一套关于特定课程的笔记。赖世雄是一个中文名字，可能是课程讲师的名字，而“中级”...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值