Hadoop集群教程
关注
分享
扫一扫
文章平均质量分 78
以为Hadoop为核心，一些大数据开发的基本技能
江湖一点雨
本来想把收费专栏限时转为免费，给大家一波回归福利，结果官方不支持。收费专栏限时最低价好了~
展开
-
Hadoop当下最简洁的大数据各种技术介绍与总结
当下最简洁的大数据各种技术介绍与总结当下最简洁的大数据各种技术介绍与总结1.大数据的发展历史1.1 启蒙阶段：数据仓库的出现1.2 技术变革：Hadoop诞生1.3 数据商业化：数据湖系统1.4 数据工厂时代：大数据平台兴起1.5 数据价值时代：数据中台2.大数据的核心概念2.1 什么是大数据？2.2 什么是数据仓库？2.3 传统数据仓库 vs 新一代数据仓库3.大数据平台的通用架构3.1 数据传...原创 2020-04-20 23:12:04 · 2864 阅读 · 1 评论 -
MapReduce读取Mysql统计分析再将结果写入mysql中供动态可视化
MapReduce读取Mysql统计分析再将结果写入mysql中供动态可视化１.前言最近做一个小项目，其中一个功能是，使用hadoop的MapReduce程序来读取Mysql数据库的某表数据，然后MR进行类别统计，然后再将统计结果写入mysql的另一张表中，最后使用jsp页面调用Echarts读取数据库来动态可视化结果。先上一张效果图：本篇先介绍MapReduce读取Mysql统计分析再...原创 2019-02-14 21:22:46 · 5512 阅读 · 3 评论 -
Windows环境下执行hadoop命令出现Error: JAVA_HOME is incorrectly set Please update D:\SoftWare\hadoop-2.6.0\con
Windows环境下执行hadoop命令出现Error: JAVA_HOME is incorrectly set Please update D:\SoftWare\hadoop-2.6.0\conf\hadoop-env.cmd错误的解决办法（图文）1.前言在本地安装Hadoop的时候，配置完了环境变量以后，或者在windows的cmd下执行查看hadoop版本的时候，会出现错误：...原创 2018-07-15 11:05:18 · 6810 阅读 · 10 评论 -
eclipse安装hadoop插件及DFS文件管理
eclipse安装hadoop插件及DFS文件管理1.下载并安装eclipse2.https://github.com/winghc/hadoop2x-eclipse-plugin3.下载插件到eclipse的插件目录 4.配置hadoop安装目录 好处：可以在每次创建MapReduce项目时自动导入hadoop所需要的jar包。打开eclipsewi...原创 2018-07-17 16:08:58 · 3783 阅读 · 1 评论 -
Hadoop实战系列之MapReduce 分析 Youtube视频数据
Hadoop实战系列之MapReduce 分析 Youtube视频数据一、实战介绍 MapReduce 是 Hadoop 的计算框架。 在运行一个 MR 程序时，任务过程被分为两个阶段：Map 阶段和 Reduce 阶段，每个阶段都是用键值对作为输入和输出。本文知识点： eclipse 的 Hadoop 开发环境搭建 编写 MR 程序 本地运行 生成 Jar 包提交 yarn ...原创 2018-07-03 17:10:00 · 5077 阅读 · 25 评论 -
hadoop开发之eclipse连接hdfs文件正常，运行程序却拒绝连接报错问题
eclipse可以连接显示hdfs文件，但运行程序时却提示拒绝连接报错如下： log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j system prope...原创 2018-07-03 15:54:36 · 4443 阅读 · 3 评论 -
最新Hadoop大数据学习路线分析及Hadoop生态架构技术
最新Hadoop大数据学习路线分析及Hadoop生态架构技术简介关于Hadoop，本文主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flu...原创 2018-07-03 11:07:59 · 1130 阅读 · 0 评论 -
设置CentOS6.9获取动态ip或配置静态IP地址以及无法ping通问题
本例中以CentOS 6.9举例说明如何设置Linux开机自动获取IP地址和设置固定IP地址。并且解决配置了静态ip之后还是无法ping通问题。自动获取动态IP地址1.输入“ip addr”并按回车键确定，发现无法获取IP(CentOS 7默认没有ifconfig命令)，记录下网卡名称（本例中为...原创 2018-07-16 11:24:15 · 11695 阅读 · 0 评论 -
Hadoop实战之mapreduce的WordCount统计单词数目
一.Hadoop实战之WordCount统计单词数目1.前言：上一篇文章MapReducer项目结构分析 分析了hadoop的计算模型MapReducer的项目结构，下面就仿照先做一个WordCount统计单词数目的实战，便于理解。参考本例子前： 1.需要确保搭建好了hadoop集群环境。 2.安装了eclipse开发hadoop的环境。 3.这是关于Hadoop实战之W...原创 2018-05-06 18:19:23 · 10986 阅读 · 9 评论 -
Hadoop实战之MapReducer项目结构分析
一.MapReducer项目结构分析1.前言参考本例子前： 1.需要确保搭建好了hadoop集群环境。 2.安装了eclipse开发hadoop的环境。 3.这是关于MapReducer中的Mapper、Reduce、Job三个类的学习分析。2.hadoop的MapReducer模型结构（1）在eclipse中做hadoop开发： 在系统上打开eclipse，新建一个Map...原创 2018-05-06 17:59:22 · 2212 阅读 · 0 评论 -
hadoop集群之关闭CentOS6.9系统的防火墙
在搭建hadoop集群环境或者是使用hadoop计算的时候，往往会因为开启了系统的防火墙或者是没有关闭导致hadoop报错。以下为开启和关闭CentOS6.9系统下的防火墙操作。 这里注意，一些教程里面的操作命令是针对不同操作系统和版本的。（一） 临时性关闭防火墙 这是针对当前用户下。电脑重启以后就失效了。 可以给一些当前操作下不允许重启的人使用。 service命令开启以...原创 2018-04-13 13:57:22 · 1777 阅读 · 0 评论 -
hadoop运行计算pi或running job卡住或 map 0% reduce 0%
1.出现MapReduce任务运行到running job卡住 一：如下异常：Starting Job16/06/30 01:15:34 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.10.50:803216/06/30 01:15:35...原创 2018-04-15 18:00:28 · 4811 阅读 · 0 评论