阿里封神谈hadoop生态学习之路

阿里Hadoop集群架构及服务体系 NULL 博文链接:https://snv.iteye.com/blog/1893269 立即下载
阿里封神谈hadoop生态学习之路
封神 2016-04-14 16:03:51 浏览27186 评论7
hadoop
 
学生
 
spark
摘要: 在大数据时代,要想个性化实现业务的需求,还是得操纵各类的大数据软件,如:hadoop、hive、spark等。笔者(阿里封神)混迹Hadoop圈子多年,经历了云梯1、ODPS等项目,目前base在E-Mapreduce。在这,笔者尽可能梳理下hadoop的学习之路。

引言

当前,越来越多的同学进入大数据行业,有的是底层的技术,有的是工程,有的是算法,有的是业务。每个产品、都需要工程化的实现,以前,工程师都是操练着java/python/c等各种语言操纵中各类的软件,比如jquery,spring、mysql,实现产品的业务逻辑。在大数据时代,要想个性化实现业务的需求,还是得操纵各类的大数据软件,如:hadoop、hive、spark、hbase、jstorm等。笔者(阿里封神)混迹Hadoop圈子多年,经历了云梯1、ODPS等项目,目前在负责阿里云的HBase产品。在这,笔者尽可能梳理下,本文是围绕hadoophbase的。对于算法、机器学习是另一个范畴,本篇不涉及,不过从事机器学习算法的研发,能力最好在中级之上。

要想成为专家,并未一朝一夕,需要自己在业余时间花费较多的时间,我们一起加油!

初级

开始接触hadoop,最好还是有语言工程等相关的基础。如果工程能力、思维能力比较强,其实学习起来很快的。

自己直接写一些mapreduce、spark相关的代码去解决一些业务问题
熟悉hadoop的基本理论知识
多看看官方的文档
知晓大体的hadoop体系架构,每个角色能解决的问题
最好能体系的看下《Hadoop权威指南》
中级

这个阶段,基本就是想进一步了解hadoop本身的

前提开发能力较强,比如:java能力
熟悉ETL/流失计算/图计算/机器学习各种原理
看一些社区hadoop的代码,出现问题能直接看源码解决
能去优化hadoop的一些性能问题,知晓大体性能的瓶颈点
可以改造内核,或者参与社区开发
有较多的大数据的项目经验,做过复杂项目
可以看下更多的1-2个计算引擎
高级

在这个阶段,一般书籍就没有太多的用处,一般需要看看paper

修改各种引擎的核心代码,这些包括:hadoop/spark/flink/strom/hive/hbase/kafka/等
学习力强,可以迅速看清楚各种框架
有较强的分布式理论知识
能触类旁通,创新出一套新的大数据引擎,比如:spark
能前瞻性预测未来引擎发展方向
建议

最好的学习方式是:动手,动手写code
多参加技术会议,融入hadoop圈子,如:hadoop submit,spark submit,有时候一些城市会有一些交流会
关注Cloudera、databricks、阿里云E_MapReduce 等博客
多关注一些群,可以加笔者的微信(fengshenwukong),笔者拉下
多关注一些圈子内的微博号或者同学,可以从笔者的微博关注里面找(笔者的微博号:阿里封神)
关注你关注的软件的邮件列表
多写写博客,分享自己的心得,把知识沉淀下来
多关注社区的发展
推荐的资料

hadoop生态资料太多,google一下一大把,笔者这里列出的都是基本的:
首先推荐《hadoop权威指南》,基本会讲述hadoop生态的各个组件,是不错的书籍。
再次就是各个软件的官方文档,例如:hbase、hadoop、spark、kafka、

Hadoop基础及ETL

主要包括Hadoop Yarn、HDFS、HBase、Hadoop MapReudce、Hive、Spark SQL等

书籍:《Spark大数据处理技术》
书籍:《Hive编程指南》
书籍:《Hadoop技术内幕:深入解析YARN架构设计与实现原理》
书籍:《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》
书籍:《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》
论文:Bigtable: A Distributed Storage System for Structured Data
论文:MapReduce: Simplified Data Processing on Large Clusters
论文:The Google File System
论文:Spark: Cluster Computing with Working Sets
论文:Spark SQL: Relational Data Processing in Spark
博客:Spark源码分析
流式实时处理技术

主要包括Jstorm、Spark Streaming

官方文档:JStorm Chinese Documentation
官方文档:Spark Streaming
大数据KV、MPP领域

主要包括的是Hbase、Impala

书籍: 《HBase权威指南》
HBase全网最佳学习资料汇总

官方文档:Apache Impala
本文章后续会继续更新,欢迎大家关注!

版权声明
使用 ONLYOFFICE API 构建 Java 转换器,在 Word 和 PDF 之间进行转换 随着文档处理需求的增加,格式转换成为了一个重要的需求点。由于PDF格式具有跨平台、不易被篡改的特性,将Word格式(.docx)转换为PDF格式(.pdf)的需求尤为强烈。ONLYOFFICE作为一个强大的办公套件,提供了这样的转换功能,使得用户可以轻松地在Word和PDF之间进行转换。 阅读详情

相关推荐

Delphi开发者必备:CEF4Delphi跨平台浏览器嵌入实战指南(含Lazarus适配)

本文详细介绍了Delphi开发者如何利用CEF4Delphi实现跨平台浏览器嵌入,包括环境配置、Lazarus适配、ARM架构优化及Firemonkey集成等实战技巧。通过Chromium引擎的强大功能,开发者可以轻松为传统桌面应用添加现代浏览器特性,提升多平台开发效率。

weixin_29233333的博客 230

阿里云ECS上搭建Hadoop分布式环境(会更新)

访问→ 注册登录账号→找到上述访问界面中的(位置如图所示)→点击下载→下载完成后,查阅本机下载位置(接下来会需要)在机房电脑,文件系统访问\\PC-008\BC,将jre-8u261-linux-x64.tar.gz文件拷贝到自己电脑中。

weixin_41192058的博客 3522

FPGA波束形成:从算法到硬件的艺术之旅

本文深入探讨了FPGA在波束形成技术中的应用,从算法原理到Verilog硬件实现的全过程。文章详细分析了FPGA并行处理、低延迟和可重构特性如何优化波束形成系统性能,并提供了Verilog关键模块代码示例和资源优化策略,为工程师实现高效FPGA波束形成解决方案提供实用指导。

tea88的博客 1048

大数据之Hadoop图解概述,阿里P7大牛亲自讲解

🍅 硬核资料:关注即可领取PPT模板、简历模板、行业经典书籍PDF。🍅 技术互助:技术群大佬指点迷津,你的问题可能不是问题,求资源在群里喊一声。🍅 面试题库:由技术群里的小伙伴们共同投稿,热乎的大厂面试真题,持续更新中。🍅 知识体系:含编程语言、算法、大数据生态圈组件(Mysql、Hive、Spark、Flink)、数据仓库、Python、前端等等。ip1024c (备注Python)**[外链图片转存中…(img-IfZPQ95T-1711995305346)]🍅 硬核资料。

2401_83740129的博客 814

深入解析 RLHF(Reinforcement Learning from Human Feedback)

随着人工智能(AI)技术的快速发展,大规模语言模型(如 OpenAI 的 GPT、Anthropic 的 Claude 等)已经能够生成高质量的文本。RLHF 是一种基于强化学习(Reinforcement Learning, RL)的优化方法,它结合人类反馈(Human Feedback)来训练奖励模型(Reward Model, RM),进而优化语言模型的生成策略。整个强化学习的目标是找到最优策略 π∗\pi^*π∗,使得模型在与环境交互的过程中,最大化累积奖励。RLHF 是一种结合强化学习(RL)

lqq 1776

NuPlayer 之 Renderer

触发postDrainAudioQueue_l()或postDrainVideoQueue()开始渲染。解码器输出数据 → NuPlayer::Decoder::onMessageReceived。音频数据存入mAudioQueue,视频数据存入mVideoQueue。• 每次写入后通过mNotifyConsumed通知解码器。• 通过AudioSink::write()写入音频设备。• 根据VSync信号和音频时钟调整渲染时机。• 通过Surface直接提交给显示系统。

aningxiaoxixi的博客 319

阿里云部署hadoop集群

题记: 好记性不如烂笔头。搞一个稳定的hadoop部署方式,给以后的人生省点打游戏的时间。 环境介绍 两台阿里云服务器server1,server2,还有一台华为云服务器。 准备 将两台阿里云服务器器分别记为:master,slave1;将华为云服务器记为slave2。 masterip,masterip_分别表示master的公网ip和内网ip; slave1ip表示slave1的公网ip; slave2ip表示slave2的公网ip; 第一步:服务器间ssh无密码登录 1.1 更改/etc/hosts文

铁血军的小博客 1273

YOLOv11涨点改进 | 全网独家创新,注意力改进篇 | TGRS 2025 | 引入APCM自适应像素级协同机制,动态增强目标区域、抑制背景噪声,助力YOLOv11做红外小目标检测有效涨点

本文提出了一种基于APCM模块改进的YOLOv11网络模型,通过像素级局部-全局协同建模增强目标特征并抑制背景噪声。APCM模块采用轻量化设计,无需复杂参数,能有效提升小目标检测性能。文章详细介绍了APCM的原理、优势及其在红外小目标检测中的应用,包括模块结构、核心代码实现和YAML配置文件修改方法。实验结果表明,该方法在NUAA-SIRST和IRSTD-1K数据集上优于现有技术,显著提高了复杂场景下的检测精度与鲁棒性。

Ai缝合怪、助力小伙伴高效发论文 118

阿里云三台节点,搭建完全分布式hadoop集群,超简单

完全分布式的安装     1、集群规划             角色分配   NODE-47 NODE-101      NODE-106 HDFS Namenode Datanode SecondaryNamenode Datanode Datanode YARN Nodemanager ...

zhangshk_的博客 1万+

linux v3h平台开发系列详解(GMSL摄像头篇):1.12 解串器MAX96712输出4 lane 变 2 lane的配置

本文详细介绍了在Linux v3h平台上,针对Max96712解串器进行MIPI 4lane到2lane配置。内容包括串行器解串器介绍、链路框架、硬件连接、以及软件寄存器如何配值和一些问题的解决方法。

xian18809311584的博客 1095

Android编译系统——Android.bp语法介绍(十五)

Android.bp 是 Android 构建系统(Android Build System)中的配置文件,用于描述如何编译和打包项目中的模块。它是用 Blueprint 编写的,其语法类似于 JSON,但专为 Android 编译系统设计,提供了更高效、灵活的模块化管理。

小旭的专栏 939

阿里P9封神之作!RocketMQ核心笔记疯传Alibaba内网。,消息队列面试题

5、消息队列的核心机制介绍了RocketMQ消息队列实现的难点及核心,即“队列”本身的实现,基于磁盘做一个读写效率高的队列并非易事,实现不好就会使磁盘操作成为整个系统的瓶颈,无法提升系统的吞吐量。RocketMQ基于“顺序写”“随机读”的原则来设计,利用“零拷贝”技术,克服了磁盘操作的瓶颈。另一个难点是为了高可用性而设计的主从机制,数据被及时复制到多个机器,这样当一台机器出故障后,整体系统依然可用。

m0_61043185的博客 958

Autodesk Revit软件二次开发:Revit二次开发中的插件设计与实现

在 Revit 中,族是构成建筑模型的基本单元,可以是门窗、家具等。通过自定义族,可以创建符合特定需求的建筑构件。参数化设计允许族的尺寸、形状等属性根据参数变化而变化。使用 Revit API 创建自定义族涉及多个步骤,包括定义族类型、设置参数、创建几何形状等。// 创建族文档// 定义参数Parameter param = family.FamilyManager.AddParameter("Width", BuiltInParameterGroup.PG_LENGTH, "宽度");

kkchenjj的博客 2232

转载:阿里封神谈hadoop生态学习之路

引言 当前,越来越多的同学进入大数据行业,有的是底层的技术,有的是工程,有的是算法,有的是业务。每个产品、都需要工程化的实现,以前,工程师都是操练着java/python/c等各种语言操纵中各类的软件,比如jquery,spring、mysql,实现产品的业务逻辑。在大数据时代,要想个性化实现业务的需求,还是得操纵各类的大数据软件,如:hadoop、hive、spark、hbase、jstorm...

fengsuiyingdong的专栏 239

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

阿里封神谈hadoop学习之路

阿里封神谈hadoop学习之路 封神2016-04-14 16:03:51浏览3283评论3发表于:阿里云E-MapReduce>>开源大数据周刊 hadoop学生spark 摘要:在大数据时代,要想个性化实现业务的需求,还是得操纵各类的大数据软件,如:hadoop、hive、spark等。笔者(阿里封神)混迹Hadoop圈子多年,经历了云梯1、OD...

weixin_30268921的博客 138

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

阿里封神谈hadoop学习之路 封神 2016-04-14 16:03:51 浏览3283 评论3 发表于: 阿里云E-MapReduce >> 开源大数据周刊 hadoop 学生 spark

阿里封神谈hadoop学习之路   封神 2016-04-14 16:03:51 浏览3283 评论3 发表于: 阿里云E-MapReduce >> 开源大数据周刊 hadoop 学生 spark 摘要: 在大数据时代,要想个性化实现业务的需求,还是得操纵各类的大数据软件,如:hadoop、hive、spark等。笔者(阿里封神)混迹Hadoop圈子多年,经历了云梯1、ODPS

happylzs2008的专栏 449

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

阿里云封神:Gartner看衰的并不是Hadoop生态

在过去几个月的走访调研中,针对Gartner《2017年数据管理技术成熟度曲线》做出的Hadoop“即将在到达生产成熟期之前衰落”的结论,笔者询问了数十位大数据领域技术专家的观点,Hadoop在国内大数据市场的地位正如...

coqonmdrr954803650的博客 483

阿里、Databricks、Intel的十位专家和你细聊Hadoop技术实践及生态

中国云计算产业最具影响力的盛会之一——2016杭州云栖大会(https://yunqi.aliyun.com/)将在云栖小镇召开。连续举办七届的云栖大会一直是业界了解阿里云计算生态发展和应用趋势、体验前沿技术和产品的最佳平台,来自海内外的上万名开发者、创业者聚集于此,分享着他们对云计算的思考与实践经验。7年来,从产品发布到行业解决方案展示,从关注技术到技...

weixin_34327223的博客 360

hadoop学习之路

每个人也存在学习上的低谷点,笔者也是芸芸众生,自然也有一些只能通过码字才能释怀的情景。在校外毕设时候接触了一些大数据的知识点,但是在学习上因为其偏于底层而没有深入进去,但很明显,有些时候还是需要硬着头皮学下去。特此,在一年前看了阿里封神的一篇对于“Hadoop学习之路”的讲解,今天也将其分享出来,也是自己学习的一个起点。 转载地址:阿里封神谈hadoop学习之路 1. 引言 当前,越

Coders的博客 526

Hadoop EcoSystem

https://www.zhihu.com/question/24761255

a19576的专栏 416

大数据时代数据库-云HBase架构&生态&实践

摘要: 2018第九届中国数据库技术大会,阿里云高级技术专家、架构师封神(曹龙)带来题为大数据时代数据库-云HBase架构&生态&实践的演讲。主要内容有三个方面:首先介绍了业务挑战带来的架构演进,其次分析了ApsaraDB HBase及生态,最后分享了大数据数据库的实际案例。2018第九届中国数据库技术大会,阿里云高级技术专家、架构师封神(曹龙)带来题为大数据时代数据库-云HBas...

maoreyou的博客 379

Hadoop生态组件Yarn之长期运行服务支持篇!

  众所周知,Yarn是大数据核心调度组件,其使用覆盖率非常高。在“Hadoop是否已失宠”的选题调研中,不少专家都对Yarn这一核心组件的生命力表达了自己的看法。   阿里云技术专家封神认为,Yarn在离线与在线数据混合方面表现欠佳,但这也是其背景使然,支持Yarn的几家公司主要做离线系统,对在线系统部署问题关注不够。当然,目前市场已经存在具备一定竞争关系的产品,比如Mesos,但这两大调度系统...

大数据学习博客 1182

如何由浅入深学习hadoop

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34050427的博客 156

和封神一起“深挖”Spark

2016云栖大会·北京峰会于8月9号在国家会议中心拉开帷幕,在云栖社区开发者技术专场中,来自阿里云技术专家曹龙(封神)为在场的听众带来《Deep dive into Spark》精彩分享。 关于分享者 曹龙,花名封神,专注在大数据领域,6年分布式引擎研发经验。先后研发上万台Hadoop、ODPS集群。先后负责阿里YARN、Spark及自主研发内存计算引擎...

weixin_34167819的博客 218

阿里封神-大数据处理技术漫谈

以前一篇博客,从宏观描述了云梯1当时整体生态,年底了,笔者再梳理下软件栈,主要以开源软件为主,闭源不谈。大数据发展至今,开源软件层出不穷,也去解决了不同的问题,笔者试图去弄清楚这些,分门别类,后面也可以参照下。由于笔者知识面有限,难免会出现一些偏颇,不全,不正确,还请指正。后面也会有很多新的软件出现,一段时间后,软件栈也会变化的。 典型架构 很多的场景...

weixin_34018202的博客 259
上一篇: 安装 yum install httpd -y 添加 Apache 服务到系统层使其随系统自动启动
下一篇: 分布式(hadoop)内核研发面试指南
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值