
hadoop从基础到实战
详细介绍hadoop的学习路线以及基础理论知识并分享相关实战项目的部署具体步骤。学习大数据分布式思想手把手入门到工作中运用大数据框架必备。
优惠券已抵扣
余额抵扣
还需支付
¥69.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
阿泽财商会
作品主页https://mbd.pub/o/m/azcsh,高级人工智能算法训练工程师,人工智能应用工程师,高级工程师,高级信息系统项目管理师,软件设计师,CSM敏捷教练,csdn20周年直播嘉宾,高级健康管理师,会计师。
清华大学出版社《MongoDB游记》数据库教程书作者。专注于人工智能,数据挖掘技术与大数据,云计算与存储等技术的学习与研究。擅长人工智能算法训练,系统响应式开发、数据采集数据清洗和数据分析,分布式云存储运算等技术。熟悉后台系统、云存储计算平台的搭建,擅长解决架构过程中遇到的疑难问题。常用开发语言:java、python、c#、perl、sql。
展开
-
hadoop基础----hadoop实战(十四)-----hadoop管理工具---CDH移除主机
注意事项在CDH的Hadoop集群中提供有主机解除授权和将节点移除集群的操作正常情况下节点的解除授权不会导致blocks丢失的情况,但是在某些特殊场景中还是会出现小量blocks的丢失。比如:1、同时下线的节点数量太多,如果副本数为3,建议最多同时停用2个DataNode进行下线操作,等待下线完成后,进行副本检查没有问题后再下线其他节点 ----也就是说 至少保留一个DataNode2、...原创 2020-01-17 15:15:38 · 1803 阅读 · 0 评论 -
hadoop基础----hadoop实战(十一)-----hadoop管理工具---CDH的目录结构了解
我们在进行hadoop和hive集群的使用和操作时经常需要获取hadoop和hive的版本以及从服务器上获取它们的相关jar包,才能保证驱动一致运行正常。但是我们发现使用CDH安装的hadoop和hive集群找不到它们的相关jar包,因为CDH安装集群的过程对我们来说是透明的。 (透明:在计算机中,客观存在并且运行着但是我们看不到的特性。)针对这种情况,对CDH的目录结构进行了解就非常重...原创 2018-01-12 16:53:18 · 4383 阅读 · 0 评论 -
hadoop基础----hadoop实战(九)-----hadoop管理工具---CDH的错误排查(持续更新)
啊解决红色警报时钟偏差这是因为我们的NTP服务不起作用导致的,几台机子之间有几秒钟的时间偏差。这种情况下一是把NTP重新整理配置一下。一种是在操作里调整报警误差范围。因为NTP的时间同步是平滑同步,不是跳跃式同步,如果设置得不好的话,很难校验出它同步成功了没,总感觉会缺少几秒钟的感觉。有一种解决方法是 我们这里不用NTP的自动同步,而是使用crond每分钟ntpdate 跳跃式同步一次。这种方法原创 2016-11-29 18:17:38 · 19692 阅读 · 14 评论 -
hadoop进阶----hadoop经验(一)-----生产环境hadoop部署在超大内存服务器的虚拟机集群上vs几个内存较小的物理机
生产环境 hadoop部署在超大内存服务器的虚拟机集群上 好 还是 几个内存较小的物理机上好?虚拟机集群优点但是虚拟化会带来一些其他方面的功能。资源隔离。有些集群是专用的,比如给你三台设备只跑一个spark,那还算Ok。但在很多规模很小的团体中,在有限的硬件设备的情况下,又要跑spark,比如又要跑zookeeper、kafka等等,这个时候,我们希望它们之间是不会互相干扰的。假设你spark的原创 2017-02-06 18:29:08 · 7881 阅读 · 2 评论 -
hadoop基础----hadoop实战(六)-----hadoop管理工具---Cloudera Manager---CDH介绍
我们在之前的文章中已经初步介绍了Cloudera。hadoop基础----hadoop实战(零)-----hadoop的平台版本选择从版本选择这篇文章中我们了解到除了hadoop官方版本外很多公司都对hadoop进行了改版发布,其中Cloudera就是其中最成型的发行版本,并且配备了相应的管理工具。本篇文章我们就来学习Cloudera的相关知识。什么是CDHCloudera's Distribut原创 2016-10-28 11:55:16 · 6716 阅读 · 1 评论 -
hadoop基础----hadoop实战(五)-----myeclipse开发MapReduce---WordCount例子---解析MapReduce的写法
我们在上一章节已经了解了怎样在myeclipse中开发运行MapReducehadoop基础----hadoop实战(四)-----myeclipse开发MapReduce---myeclipse搭建hadoop开发环境并运行wordcount也在很早的章节中了解了MapReduce的原理hadoop基础----hadoop理论(四)-----hadoop分布式并行计算模型MapReduce详解目原创 2016-09-19 18:05:07 · 3527 阅读 · 0 评论 -
hadoop基础----hadoop实战(四)-----myeclipse开发MapReduce---myeclipse搭建hadoop开发环境并运行wordcount
我们在上一章已经尝试了在在hadoop中运行MapReduce。hadoop基础----hadoop实战(三)-----hadoop运行MapReduce---对单词进行统计--经典的自带例子wordcount其实hadoop学习可以分成2部分,一部分是hadoop的运维性能优化,一部分就是hadoop开发----写MapReduce。本章我们尝试正常的开发流程----用myeclipse写wor原创 2016-09-18 19:51:33 · 9285 阅读 · 2 评论 -
hadoop基础----hadoop实战(三)-----hadoop运行MapReduce---对单词进行统计--经典的自带例子wordcount
ass原创 2016-08-29 16:04:51 · 6148 阅读 · 2 评论 -
hadoop基础----hadoop实战(二)-----hadoop操作hdfs---hdfs文件系统常用命令
我们在前面已经介绍过了 hadoop 1.0是由2大部分组成的:hdfs + mapreduce也对hdfs做了相关介绍。hadoop基础----hadoop理论(三)-----hadoop分布式文件系统HDFS详解因为上一章我们已经安装好了hadoop1.0的环境hadoop基础----hadoop实战(一)-----hadoop环境安装---手动安装官方1.0版本本章就来尝试实际操作 hdfs原创 2016-08-18 20:48:47 · 7048 阅读 · 4 评论 -
hadoop基础----hadoop实战(一)-----hadoop环境安装---手动安装官方1.0版本
前面我们已经了解了有关于hadoop的相关原理hadoop基础----hadoop理论(一)----Hadoop简介hadoop基础----hadoop理论(二)-----hadoop学习路线(持续更新)hadoop基础----hadoop理论(三)-----hadoop分布式文件系统HDFS详解hadoop基础----hadoop理论(四)-----hadoop分布式并行计算模型MapReduc原创 2016-07-27 22:05:01 · 9592 阅读 · 3 评论 -
hadoop基础----hadoop实战(零)-----hadoop的平台版本选择
生产环境中,hadoop的平台版本选择是一个公司架构之时,很重要的一个考虑因素。hadoop的平台选择因为hadoop是开源的,所以经过这么多年的发展,已经有更多的分支版本。也有很多公司专门发行了相关版本以及管理工具,甚至对mapreduce等的编写进行了封装形成了套件,实现了配置化的更方便的使用hadoop。学习使用hadoop之前我们应该对hadoop的版本平台有足够的了解,才能更好的作出选择原创 2016-06-12 18:03:49 · 16942 阅读 · 1 评论 -
hadoop基础----hadoop理论(四)-----hadoop分布式并行计算模型MapReduce详解
mapreduce原创 2016-03-29 16:52:34 · 9190 阅读 · 3 评论 -
hadoop基础----hadoop理论(三)-----hadoop分布式文件系统HDFS详解
我们在前面已经为学习hadoop做了一些准备和初步了解:虚拟机java基础和实战linux基础和shell编程hadoop基础----hadoop理论(一)----Hadoop简介hadoop基础----hadoop理论(二)-----hadoop学习路线(持续更新)我们已经知道Hadoop=HDFS(文件系统,数据存储技术相关)+ Mapreduce(数据原创 2016-03-03 20:04:37 · 10467 阅读 · 7 评论 -
hadoop基础------虚拟机(四)-----VMware虚拟机下linux系统的图形界面和命令行文本界面的切换
1.临时切换:ctrl+alt+1 …… ctrl+alt+6一共六个控制台。2.永久关闭图形化:在root下输入 vi /etc/inittab 将init:5修改为init:3 :wq保存 退出再reboot一下 以后就直接用shell 不用图形化Fn默认是指F1到F6,F7就是图形界面,如果想开机进入文本模式的话修改 /e原创 2013-09-29 10:53:38 · 6849 阅读 · 1 评论 -
hadoop基础-------虚拟机(三)-----VMware虚拟机下linux系统的与windows主机实现复制粘贴
vmware虚拟机安装了linux系统之后,为了实现更加强大的功能,比如说直接从windows主机拖文件进入linux,以及加强linux的性能,或者实现文本的复制粘贴,我们一般都要安装vmware tools。 vmware tools是虚拟机VMware Workstation自带的一款工具,它的作用就是使用户可以从物理主机直接往虚拟机里面拖文件。如果不安装它,我们是无法进原创 2016-01-14 18:46:45 · 4050 阅读 · 2 评论 -
hadoop基础------虚拟机(二)---虚拟机安装以及安装linux系统
虚拟机下载安装上一篇 我们介绍了什么是虚拟机hadoop基础虚拟机第一篇---虚拟机简介也知道了现在流行的虚拟机有VMware(VMWare ACE)、Virtual Box和Virtual PC它们的安装操作都差不多,我们以VMware11.0为例进行下载安装并安装操作系统。 VMware11.0下载地址:官网下载https://my.vmware.co...原创 2015-02-07 14:34:43 · 13780 阅读 · 3 评论 -
hadoop基础------虚拟机(一)---虚拟机简介
什么是虚拟机虚拟机(Virtual Machine)指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。虚拟机通过生成操作系统的全新虚拟镜像,它具有真实系统完全一样的功能,进入虚拟机后,所有操作都是在这个全新的独立的虚拟系统里面进行,可以独立安装运行软件,保存数据,拥有自己的独立桌面,不会对真正的系统产生任何影响 ,而且具有能够在现有系统与虚拟镜像原创 2015-02-05 10:56:51 · 3307 阅读 · 2 评论 -
hadoop基础----hadoop理论(二)-----hadoop学习路线(持续更新)
记录hadoop学习到运用实战的整个攻略以及学习的知识点顺序1.虚拟机hadoop的环境是Linux,所以我们还需要安装Linux系统。hadoop,有单机安装,伪分布安装和分布安装。对单机模式大家可以不用去关心和学习,因为hadoop的单机模式就失去了它分布式的优势,也就没有意义了。在学习中建议搭建伪分布式,完全分布式是生产环境中使用,当大家把伪分布式学习后,必须对完全分布式有所原创 2015-02-04 15:56:20 · 5495 阅读 · 2 评论 -
hadoop基础----hadoop理论(一)----Hadoop简介
hadoop是什么?(1)Hadoop就是一个分布式计算的解决方案,也就是帮助我们把 一个任务分到很多台计算机来运算。(2)Hadoop是一个开源的框架,可编写和运行分布式应用处理大规模数据,是专为离线和大规模数据分析而设计的,并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS(文件系统,数据存储技术相关)+ Mapreduce(数据处理)Hadoop的数原创 2015-02-03 16:46:14 · 6547 阅读 · 4 评论