Hadoop专栏
关注
分享
扫一扫
文章平均质量分 85
L先生AI课堂
李虎，联想集团PCSD业务UDS平台推荐算法团队开发负责人，曾获2018-2019年度联想集团中国区优秀员工。在联想内部，做过多次企业内训和技术支持，并在北京线下技术沙龙分享会上作为演讲嘉宾分享算法实战应用效果，拥有丰富的线上，线下培训经验。对机器学习，深度学习算法建模，推荐系统，大数据有多年的实际经验。优快云博客专家，著有大白话算法系列，以通俗生动的方式讲解人工智能前沿算法。愿景是打造全网AI最通俗教学，赠人玫瑰，手有余香，在人工智能前行的路上一起前行，以通俗简洁详细的方式，让每一位热爱着深入其中。空间有形、梦想无限！加油！
展开
-
ES安装避坑-Windows成功安装ES实战
elasticsearch安装实战，闭坑，Windows系列原创 2023-03-21 16:10:30 · 662 阅读 · 1 评论 -
Hadoop源码篇--Reduce篇
声明~由于不同博客平台代码阅读样式不一样，所以欢迎访问本人博客园地址：Hadoop源码篇--Reduce篇个人网页博客地址：Hadoop源码篇--Reduce篇 带给你不一样的阅读体验~一。前述Reduce文件会从Mapper任务中拉取很多小文件，小文件内部有序，但是整体是没序的，Reduce会合并小文件，然后套个归并算法，变成一个整体有序的文件。二。代码 Re原创 2018-01-10 21:23:01 · 543 阅读 · 0 评论 -
Hadoop源码篇---解读Mapprer源码outPut输出
一。前述上次讲完MapReduce的输入后，这次开始讲MapReduce的输出。注意MapReduce的原语很重要：“相同”的key为一组，调用一次reduce方法，方法内迭代这一组数据进行计算！！！！！二。代码继续看MapTask任务。private void runNewMapper(final JobConf job,原创 2018-01-09 23:01:45 · 513 阅读 · 0 评论 -
hadoop集群篇--从0到1搭建hadoop集群
一。前述本来有套好好的集群，可是不知道为什么虚拟机镜像文件损坏，结果导致集群不能用。所以不得不重新搭套集群，借此机会顺便再重新搭套吧，顺便提醒一句大家，自己虚拟机的集群一定要及时做好快照，最好装完每个东西后记得拍摄快照。要不搞工具真的很浪费时间，时间一定要用在刀刃上。废话不多说，开始准备环境搭建，本集群搭建完全基于企业思想，所以生产集群亦可以参照此搭建。二。集群规划 三。配置原创 2018-01-08 01:50:41 · 533 阅读 · 0 评论 -
Yarn篇--搭建yran集群
一。前述有了上次hadoop集群的搭建，搭建yarn就简单多了。废话不多说，直接来二。规划 三。配置如下yarn-site.xml配置 yarn.nodemanager.aux-services mapreduce_shuffle//定义yarn的机制 yarn.resourcemanager.ha.ena原创 2018-01-08 01:49:33 · 569 阅读 · 0 评论 -
Hadoop源码篇---解读Mapprer源码Input输入
一。前述上次分析了客户端源码，这次分析mapper源码让大家对hadoop框架有更清晰的认识二。代码自定义代码如下：public class MyMapper extends Mapper{ private final static IntWritable one = new IntWritable(1); private Text原创 2018-01-09 01:33:38 · 474 阅读 · 0 评论 -
Hadoop源码篇--Client源码
一。前述今天起剖析源码，先从Client看起，因为Client在MapReduce的过程中承担了很多重要的角色。二。MapReduce框架主类代码如下：public static void main(String[] args) throws Exception { Configuration conf = new Configuration(原创 2018-01-09 01:34:18 · 356 阅读 · 0 评论 -
【Hadoop篇】--Hadoop常用命令总结
一、前述分享一篇hadoop的常用命令的总结，将常用的Hadoop命令总结如下。二、具体1、启动hadoop所有进程start-all.sh等价于start-dfs.sh + start-yarn.sh但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题)。2、单进程启动。sbin/start-dfs.sh---------------...原创 2018-03-07 19:07:00 · 715 阅读 · 0 评论