大数据博客，资源汇总

原创 已于 2022-04-26 15:28:34 修改 · 988 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据可视化 #数据库 #云计算

于 2016-11-03 20:06:43 首次发布

博客

HDFS、Mapreduce、HBase、Hive、HUE、Pig、Sqoop、Flume、Zookeeper

网站

Hadoop

HDFS+MapReduce+Yarn 。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算条件。
HDFS的shell操作（常用命令和参数）
HDFS的Java应用开发（数据采集、存储、文件）
MapReduce编程（规范、运行、调试）
MapReduce计算程序（排序、分区、优化）

围绕Hadoop数据库开发的一系列重要工具，比如HBase、Hive、Flume等，主要是训练数据的清洗、处理、分析的技能。
HBase数据操作（读、写、更新）、基本架构
Hive数据存储与计算（表搭建、分区、查询、函数）
Flume&Sqoop采集、导出系统实现
Pig进行数据处理与数据分析

Spark

HBase

JavaAPI操作

Hive

查询、函数、视图

Storm

其他

Sqoop&Flume（数据采集），Pig、HUE、HA。
HUE可视化管理（与HBase、Hive集成）
HA集群：Zookeeper搭建高可用的集群环境

Community

数据挖掘

公开数据集

CRAWDAD
UCI Machine Learning Repository
Stanford Large Network Dataset Collection
SIGKDD - KDD Cup （这个是目前数据挖掘领域最有影响力、最高水平的国际顶级赛事）
NYC Open Data
Lending Club Statistics | LendingClub
Citi Bike System Data | Citi Bike NYC
Stack Exchange Data Explorer
阿里天池大赛
Kaggle有数据，有比赛，还有奖金

路线

初级

星环科技致力于打造企业级大数据基础软件，围绕数据全生命周期为企业提供基础软件及支持，构建明日数据世界。

中级

高级

资料

【大数据平台】大数据的特性
在路上的专栏
08-19 978
在这个数据飞速增长的时代，大数据已经成为我们生活和工作中不可或缺的一部分。本篇文章将通过生动的故事、通俗的语言和幽默的表达，深入浅出地介绍大数据的四大特性：量（Volume）、速度（Velocity）、多样性（Variety）和真实性（Veracity）。文章不仅解释了每个特性的含义，还结合实际案例和技术细节，为读者展示大数据世界的奇妙之处。无论你是技术专家，还是刚入门的数据爱好者，都能在轻松愉快的阅读中获得启发。
博客资源汇总
WindsProgrammer的博客
11-21 3538
本次主要是就大家关心的问题做一个集中处理，主要是资源失效。以后的内容我还在策划和准备，后续还会给大家带来更多的作品，期待的话就多多关注吧。
大数据博客
SunnyRivers
12-12 906
过往记忆 lxw大数据田地 子雨大数据 飞谷云人工智能 Poll的笔记 about云 美团技术博客 董西成
大数据——博客园技术博客
专注于后端开发，时常接触大数据 、人工智能等
02-21 626
https://www.cnblogs.com/hunttown/default.aspx?page=1
开始大数据博客
biaorger的专栏
07-20 673
大数据搞了这么长时间开始写博客
大数据博客推荐
xumajie88的专栏
05-19 1031
董西城的博客   http://dongxicheng.org/
2024大数据面试题汇总(完善中。。。)
为人性僻 语不惊人
06-18 2529
自己汇总的面试题，涉及到大数据的常用组件，将持续更新... ... 部分图片不全，后期继续完善 更新记录: 2024-6-18 初版0.1.0 :hadoop，hbase，doris，hive，mysql，es 2024-6-26 1.0.0 : java，spark，redis，kafka，flink，kafka，数据仓库
GitHub 干货各大数据竞赛 Top 解决方案开源汇总
04-20
### GitHub干货各大数据竞赛Top解决方案开源汇总 #### 纯数据竞赛 **1. 2018科大讯飞AI营销算法大赛** - **竞赛背景**：此竞赛旨在利用科大讯飞AI营销云的大规模广告投放数据，构建一个预测模型来估算用户的广告...
学习记录的一些笔记，以及所看得一些电子书eBooks、视频资源和平常收纳的一些自己认为比较好的博客、网站、工具 涉及大数据几大组件、Python机器学习和数据分析、Linux、操作系统、算法、网络等
最新发布
08-17
学习记录的一些笔记，以及所看得一些电子书eBooks、视频资源和平常收纳的一些自己认为比较好的博客、网站、工具。涉及大数据几大组件、Python机器学习和数据分析、Linux、操作系统、算法、网络等（最新、最全版本！...
大数据相关开源项目汇总
Null的博客
12-06 2699
调度与管理服务 **Azkaban **是一款基于Java编写的任务调度系统任务调度，来自LinkedIn公司，用于管理他们的Hadoop批处理工作流。Azkaban根据工作的依赖性进行排序，提供友好的Web用户界面来维护和跟踪用户的工作流程。 **YARN **是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，解决了旧MapReduce框架的性...
国外大数据博客资源大全
haihongazar的博客
10-14 1520
这个列表包含了几乎所有经常更新的大数据的博客，属于一个广泛的类别：数据科学，数据分析，商业智能，机器学习，数据可视化，数据挖掘，NoSQL，Hadoop的等等。博客是按字母顺序排列。如果我们错过了任何重要的博客，请告诉我们。 1. 451 Caos Theory 2. A Beautiful Www 3. A Blog By Tim Manns 4. A Computer
大数据优秀博客总结
csdn问鼎
06-04 551
1.Impala与Hive的比较
大数据量处理专题
☆飞鸿雪泥☆
06-09 149
1. 给你A,B两个文件，各存放50亿条URL，每条URL占用64字节，内存限制是4G，让你找出A,B文件共同的URL。 2. 有10个文件，每个文件1G， 每个文件的每一行都存放的是用户的query，每个文件的query都可能重复。要你按照query的频度排序3. 有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16个字节，内存限制大小是1M。返回频数最高的100个词4.海量日志数据...
大数据博客，学习
llxx1234的博客
08-17 246
https://www.cnblogs.com/felixzh/p/6371318.html
博客资源
muruibin88的博客
04-28 846
1、各类QA问答系统的总结与技术实现
神经网络学习参考
u012149181的博客
04-04 1128
转自https://blog.youkuaiyun.com/l297969586/article/details/71159675vm配置：http://blog.youkuaiyun.com/u013142781/article/details/50529030 CMakeLists.txt：http://blog.youkuaiyun.com/z_h_s/article/details/50699905 莫烦python：htt...
博客资源整理
wuyou的博客
04-28 6618
博客整理
一些好的大数据博客
longlovefilm的博客
11-11 1630
olap 1、编程小梦|Apache Doris 基于 Bitmap的精确去重和用户行为分析
hadoop技术栈学习路线
04-24
### Hadoop技术栈完整学习路线图 #### 1. 基础知识准备 在深入学习Hadoop之前，建议先掌握一些基础知识。这些知识对于理解Hadoop的工作机制至关重要。 - **计算机网络基础**：了解TCP/IP协议、Socket通信等内容[^4]。 - **Linux操作系统**：熟悉Linux命令行操作以及基本的Shell脚本编写[^2]。 #### 2. 大数据概览 通过阅读相关文档或观看视频教程来获取关于大数据的整体概念及其重要性。 - 学习什么是大数据，它如何改变传统数据处理方式[^1]。 #### 3. Hadoop核心组件介绍 详细了解Hadoop生态系统中的各个组成部分及其功能。 - **HDFS (Hadoop Distributed File System)**: 掌握文件存储结构、读写过程等知识点。 - **YARN (Yet Another Resource Negotiator)**: 理解资源调度器的作用及其实现细节。 - **MapReduce**: 学习其计算模型、工作机制以及实际应用场景[^3]。 #### 4. 实践动手能力培养 理论联系实践，在真实环境中部署并测试所学内容。 - 尝试按照官方指南完成单节点伪分布模式下的安装配置[^1]； - 进一步挑战多台机器组成的完全分布式环境搭建； #### 5. 高级特性探索 当具备一定经验后可以继续深挖更复杂的主题。 - 数据压缩算法的选择与优化策略； - 性能调优技巧如调整block size参数大小影响分析； - 安全认证机制Kerberos集成方案探讨等等。 #### 6. 扩展技能提升 除了核心部分外还有许多周边工具值得去接触尝试。 - Hive作为SQL-on-Hadoop引擎提供了便捷的数据查询接口； - Pig是一种高层次的语言用于简化ETL任务流程描述； - Spark虽然不属于原生Hadoop范畴但因其高效性和易用性常被提及比较两者差异也很有意义。 以下是几个推荐的学习资源链接供参考： - [Hadoop官网](https://hadoop.apache.org/) - Coursera上的《Big Data Specialization》课程系列由University of California, San Diego提供全面覆盖了从入门到高级的各种话题[^1]。 - O'Reilly出版社出版的相关书籍例如《Hadoop:The Definitive Guide》第四版更新至最新版本包含了大量实用案例指导[^3]。 ```python # 示例代码展示简单的WordCount MapReduce作业逻辑 from hadoop import Mapper, Reducer class WordMapper(Mapper): def map(self, key, value): words = value.split() for word in words: yield word, 1 class SumReducer(Reducer): def reduce(self, key, values): total = sum(values) yield key, total ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值