大数据入门指南（GitHub开源项目）

最新推荐文章于 2025-07-16 13:43:08 发布
最新推荐文章于 2025-07-16 13:43:08 发布
阅读量4.3k 收藏 226
点赞数 49
CC 4.0 BY-SA版权
分类专栏： 开源项目 文章标签： hadoop spark storm flink hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_37809146/article/details/91128854

项目GitHub地址：https://github.com/heibaiying/BigData-Notes

✒️ 前 言

  1. 大数据技术栈思维导图
  2. 大数据常用软件安装指南

一、Hadoop

  1. 分布式文件存储系统——HDFS
  2. 分布式计算框架——MapReduce
  3. 集群资源管理器——YARN
  4. Hadoop单机伪集群环境搭建
  5. Hadoop集群环境搭建
  6. HDFS常用Shell命令
  7. HDFS Java API的使用
  8. 基于Zookeeper搭建Hadoop高可用集群

二、Hive

  1. Hive简介及核心概念
  2. Linux环境下Hive的安装部署
  3. Hive CLI和Beeline命令行的基本使用
  4. Hive 常用DDL操作
  5. Hive 分区表和分桶表
  6. Hive 视图和索引
  7. Hive常用DML操作
最低0.47元/天 解锁文章

200万优质内容无限畅学
大数据学习指南从入门到精通
Lansonli（蓝深李）的博客
05-21 2万+
利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的为什么选择学习大数据开发，不选择Java开发？借棋弈做比喻，智商高的不要选择五子琪，要选择围棋，它能长久地吸引你。不都是在棋盘上一颗黑子一颗白子地下吗?因为围棋更复杂，能够掌握如此复杂的技艺、产生稳定输出的棋手、让我们更佩服。选择学习大数据开发也如此，能让你的职业生涯走得更远，少走弯路。
【GitHub项目推荐--大数据】【转载】
j8267643的博客
01-28 799
这个标星 12.5K 的大数据入门指南，由开发者 @heibaiying 开源，该指南涉及 13 个章节，包括 Hadoop、Hive、Spark、Flink 等热门大数据技术栈。开源地址：https://github.com/heibaiying/BigData-Notes。
大数据入门指南
weixin_45417821的博客
08-06 788
这是分享gitee 上的一份大数据入门指南，上面详细介绍了，从大数据入门到各项技术的应用 对于初学大数据的小伙伴，非常有帮助，建议收藏起来慢慢查看 https://gitee.com/open-resource/BigData-Notes/
github入门教程（非常详细）从零基础入门到精通，看完这一篇就够了
最新发布
Javachichi的博客
07-16 8685
如果你是一枚Coder，但是你不知道Github，那么我觉的你就不是一个菜鸟级别的Coder，因为你压根不是真正Coder，你只是一个Code搬运工。说明你根本不善于突破自己！为什么这么说原因很简单，很多优秀的代码以及各种框架源码都存放于github当中！
资源list：Github上关于大数据的开源项目、论文等合集
weixin_33946020的博客
01-04 452
Awesome Big Data A curated list of awesome big data frameworks, resources and other awesomeness. Inspired byawesome-php, awesome-python, awesome-ruby, hadoopecosystemtable & big-data. Your contr...
大数据入门学习必备指南
qq_43615134的博客
11-24 1492
大数据方向的工作目前分为三个主要方向: 01.大数据工程师 02.数据分析师 03.大数据科学家 04.其他（数据挖掘本质算是机器学习，不过和数据相关，也可以理解为大数据的一个方向吧） 一、大数据工程师的技能要求 二、大数据学习路径 三、学习资源推荐（书籍、博客、网站） 一、大数据工程师的技能要求 推荐一个大数据学习群 142973723每天晚上20:10都有一节【免费的】大数据...
大数据入门成长指南
kuai_jiaochuan的博客
04-03 249
1、Java编程技术 Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有极高的跨平台能力，可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等，是大数据工程师最喜欢的编程工具，因此，想学好大数据，掌握Java基础是必不可少的。 2、Linux命令 对于大数据开发通常是在Linux环境下进行的，相比Linux操作系统，Windows操作系统是封闭的操作系统，开...
大数据学习必备 | 推荐几个牛X 的 github 项目，助你事半功倍
大数据梦想家
08-25 1万+
花了5个小时，为你整理出了这几个牛X 的 github大数据项目
Github 2025-04-18 Java开源项目日报 Top10
老孙正经胡说
04-18 839
根据Github Trendings的统计，今日(2025-04-18统计)共有10个项目上榜。
Github 2024-08-16Java开源项目日报 Top10
老孙正经胡说
08-16 868
根据Github Trendings的统计，今日(2024-08-16统计)共有10个项目上榜。
大数据超全面入门干货知识，看这一篇就够了！
xiaobaiyanghaowa的博客
02-26 6705
它是一个开源的分布式计算框架，让数据分散储存在多台计算机上，然后使用 MapReduce 的方法，将数据分成小块一块一块地处理，最后把结果汇总起来。有了 Hive，我们不需要学习新的编程语言，只需使用熟悉的 SQL，就能轻松地查询和分析海量的数据。大数据是当今社会的瑰宝，它让我们能够洞悉未知世界，做出更明智的决策。就像一个默契的团队一样，大数据组件们一起工作，使得数据处理变得更加高效、可靠，帮助我们揭开数据的神秘面纱。在大数据的世界里，有许多神奇的组，它们像齐心协力的小伙伴，一起为我们揭开数据的奥秘。
大数据入门指南v1.0
10-24
大数据入门指南，来自github博主bigdata，只是全面，适合新手阅读，非常好，特别好，很实用，很适用于入门和刚接触大数据的行业人员及老师学生等等等等等等
卜算子·大数据简介 一个开源、成体系的大数据学习教程
王小雷-多面手
06-29 2591
第1章 卜算子·大数据简介 “卜算子·大数据”，是一个开源、成体系的大数据学习教程。从基础数据采集到顶层架构设计。最新梳理出大数据知识体系共计12个部分，42个章节。 每周日更新，金九银十际，助你上青天！ 本章主要内容: 特点 “卜算子·大数据”架构 项目更新 写作目的 原创声明 1.1 特点 * 关于 * ——“卜算子·大数据”，其中“卜算子”是中国诗词中唯一包含计算、占卜、...
Hadoop详细入门知识
githubcurry
10-17 6157
现在的我们，生活在数据大爆炸的年代。2020年，全球的数据总量达到44ZB，经过单位换算后，至少在440亿TB以上，也就是说，全球每人一块1TB的硬盘都存储不下。扩展: 数据大小单位，从小到大分别是: byte、kb、mb、Gb、Tb、PB、EB、ZB、DB、NB...单位之间的转换都是满足1024一些数据集的大小更远远超过了1TB，也就是说，数据的存储是一个要解决的问题。同时，硬盘技术也面临一个技术瓶颈，就是硬盘的传输速度(读数据的速度)的提升远远低于硬盘容量的提升。
盘点 GitHub 上的神级指南
Python数据之道
12-03 642
盘点 GitHub 上那些神级指南！本次盘点都是 GitHub 上标星 10K+ 的开源指南。都是由中国的开发者开源，除了技术、教程类的指南，还有一些花里胡哨的东西。本期推荐开源项目目录：1. 计算机自学指南2. 大数据入门指南3. 程序员延寿指南4. 程序员在家做饭方法指南5. 恋爱指南6. 程序员考公指南01计算机自学指南计算机自学指南由开发者 @PKUFlyingPig 开源，标星 15.4...
大数据：Hadoop文件操作HDFS常用命令（一）
热门推荐
Zhang Phil
08-09 3万+
大数据：Hadoop文件操作HDFS常用命令（一） 1、创建目录。在HDFS中创建一个文件目录： hadoop dfs -mkdir 2、查看文件结构目录： hdfs dfs -ls -R / 例如，在HDFS中创建一个test_dir的文件目录，然后查看： 如果查看具体某一个文件目录下的文件层次，则为： hadoop fs -ls /mydir myd...
Hadoop生态圈（四）- HDFS数据存储与数据管理
程序园@大Null
01-13 5953
Hadoop常用文件存储格式，Hadoop支持的压缩算法，HDFS压缩如何抉择，压缩算法比较，HDFS存储类型和存储策略，冷热温三阶段数据存储，HDFS中的内存存储支持，HDFS存储策略命令，HDFS使用懒持久化存储策略，BigData File Viewer介绍、安装及功能，Hadoop丰富的存储格式，Text File，Sequence File，Avro File，RCFile，ORC File，Parquet File，ProtoBuf和Thrift，Arrow是如何提升数据移动性能的
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值