大数据学习笔记

最新推荐文章于 2025-04-27 01:15:23 发布
最新推荐文章于 2025-04-27 01:15:23 发布
阅读量175 收藏
点赞数
文章标签： 大数据 spark kafka hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Log1119/article/details/130933345
版权
分享了一套完整的大数据开发学习资料，包括基础知识、实际操作和性能优化，适合学习者参考和实践。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

我总结了一系列大数据开发的笔记，包括基础知识、基本使用、以及调优，涵盖理论和实操，喜欢的朋友们可以点一个star，谢谢大家，https://github.com/Log0519/BigDataNotes

Log大数据
关注
大数据学习笔记目录
howard2005的专栏
01-04 1089
Zebra项目：分析、实施与测试 大数据学习笔记01：大数据概述 大数据学习笔记02：在私有云上创建与配置虚拟机 大数据学习笔记03：安装配置CentOS7虚拟机 大数据学习笔记04：单机模式使用ZooKeeper ...
大数据学习笔记1
MU2377的博客
03-13 537
知识点1：什么是大数据 大数据解决的就是海量数据的存储问题,和海量数据的计算问题 大数据的特点: 大多值快信 知识点2：大数据的应用场景 大数据已经在我们生活中的方方面面都应用了,但是正常人无感知 知识点3：大数据学习路线 知识点4：计算机入门 知识点5：Linux系统概述
我的大数据学习笔记
大数据基础入门教程
02-06 667
PC端的这个右侧的目录找东西确实好找点，我每次写也非常注意看这块排版工不工整 ，用这里去直接跳到对应的内容真的还算方便，所以就想着做个目录，以后如果写了新的，也会在这篇写上标题。 按照不同技术框架的划分形式。已经有写过的就写上，没写过的就先空着。 1. 分布式存储 HDFS ① HDFS基础概念篇 内容概要：block的概念与副本、机架存储策略、三大组件：NameNode，DataNo...
hadoop大数据学习笔记
weixin_48176844的博客
07-13 733
hadoop
大数据学习笔记：一，基本组件
Amiya_xiongyi的博客
08-20 389
这篇文章主要列举了一些大数据环境所需要的组件工具，它们具体的功能与使用方法在之后慢慢学习。写这篇文章的目的主要是为了理清大数据由哪些具体模块组成。如果有什么错误或纰漏，希望您能指出，如果有对初学者的建议也希望您能赐教！
黑马大数据学习笔记4-Hive部署和基本操作
weixin_45735391的博客
08-06 3036
Hive部署和基本操作
大数据学习笔记，学习清单
qq_46183404的博客
07-01 244
大数据技术组件
2022大数据学习笔记1
a1269936432的博客
09-19 1591
个人学习笔记
大数据学习笔记（一）
a15845561305_的博客
03-11 335
一、大数据的概念 无法再一定时间范围内用软件工具进行管理与处理的数据集合称之为大数据。 大数据技术主要解决存储和分析计算问题. 1.4V特征 - A. Valume 大量 (KB->MB->GB->TB->PB->EB->ZB) - B. Velocity 高速 分布式技术(N台计算机同时运算.) - C. Variety 多样 (存储结构化数据与非结构化数据和半结构化数据) - D .Value 低价值密度 2....
大数据学习笔记.zip
01-01
"大数据学习笔记.zip"这一压缩包文件，提供了对大数据学习内容的详细记录和总结，涵盖了大数据生态中多个重要工具和技术的学习笔记。从文件的描述中可以得知，这是一份个人学习的记录，随时更新和修改，内容的准确性...
大数据学习笔记汇总指南
03-28
这份“大数据学习笔记汇总指南”涵盖了大数据技术栈中的关键组件，包括Hadoop、Hive、Spark、Storm、Flink以及HBase。让我们逐一深入探讨这些技术及其在大数据生态系统中的作用。 一、Hadoop Hadoop是Apache基金会...
零基础大数据学习笔记.zip
01-03
这份大数据学习笔记为初学者提供了一个清晰的学习路径和实用的案例分析，涵盖从基础的Linux操作系统到高级的Spark实时数据处理，系统地构建了学习者的知识体系，让初学者能够逐步深入地掌握大数据技术的精髓。
课堂总结。
2502_90679828的博客
04-23 437
下载安装包：注意选择kafka的版本，以及scala的版本。首先进到software目录当中，如下图所示：然后将安装包上传上来解压之后的效果如下图所示，并把原始kafka文件名重命名一下：重命名之后的效果如下图所示：解压过后的目录如下图所示：上传安装包到集群中，并解压。0: node011: node022: node03·需要修改的第二个地方是修改为：（去掉注释，把主机名称改了）·第三个修改的地方为添加以下语句：在这里添加：·修改日志的存放路径：（Kafkadata目录不需要提前创建，它可以自动创建好。
企业内训｜模拟AI场景课程——某汽车厂商
weixin_48649532的博客
04-26 523
4月18日和19日，东北某市，TsingtaoAI团队为某汽车厂商的智能驾驶业务和研发团队交付“模拟AI场景课程”。本课程基于该厂商在AI领域的战略布局，结合汽车行业智能化转型趋势，以“场景化、实战化、前瞻性”为核心，聚焦AI技术从理论到落地的全链路。通过模拟真实业务场景（如智能座舱优化、智能制造、自动驾驶仿真），帮助学员掌握AI基础能力，并快速应用于研发、生产、营销等环节。
【分布式系统中的“瑞士军刀”_ Zookeeper】一、Zookeeper 快速入门和核心概念
qq_58611691的博客
04-25 1203
读完本篇文章相信已经了解了在 CentOS 7 系统中安装和配置 Zookeeper 的方法，以及 Zookeeper 的核心概念，包括 ZNode 节点、Session 会话、Watcher 监听器和 Leader - Follower 模式。同时，还通过实际的命令操作和代码示例，对这些概念有了更直观的认识。Zookeeper 作为分布式协调的重要工具，其功能远不止于此，后续还可以深入学习其在分布式锁、配置管理、服务注册与发现等方面的应用。
HDFS详解
最新发布
技术人集结地
04-27 289
分布式文件系统：HDFS（Hadoop Distributed File System）是 Hadoop 生态的核心组件，专为海量数据存储和批处理设计。
spark和Hadoop之间的对比与联系
2402_84283145的博客
04-23 212
Spark :除批处理外，在实时流处理（Spark Streaming ）、机器学习（MLlib ）、图计算（GraphX ）等方面应用广泛，适用于对实时性、交互性要求高的场景。Hadoop：采用MapReduce计算模型，分map与reduce两个阶段，数据处理按阶段顺序执行，数据处理按阶段顺序执行，中间结果会写入磁盘，I/O开销大。Spark ：内存计算特性使其在迭代计算（如机器学习算法迭代 ）、交互式查询等场景下，相比 Hadoop 有显著速度优势，能快速处理数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值