从零开始的大数据
关注
分享
扫一扫
带你从零开始搭建大数据平台、学习大数据技术
chao2016
容易干不成大业绩！
展开
-
大数据基础
大数据的基本概念之4V特征大数据要解决的问题大数据涉及到的技术大数据在技术架构上带来的挑战其他挑战1.大数据的基本概念之4V特征VolumeVarietyVelocityValue2.大数据要解决的问题3.大数据涉及到的技术数据采集数据存储数据处理/分析/挖掘可视化4.大数据在技术架构上带来的挑战对现有数据库管理技术原创 2018-01-05 21:14:54 · 3664 阅读 · 0 评论 -
大数据概述
Big Data？Hadoop？HDFS?Big Data？What? 4V特征 Volume 数据量大 Variety 数据种类多 Velocity 处理速度快 Value 基于高度分析的新价值（价值密度低）带来的技术变革 计算瓶颈 存储瓶颈 数据库瓶颈Hadoop？What？ 一个分布式...原创 2018-06-03 18:28:40 · 1790 阅读 · 0 评论 -
大数据Hadoop之环境搭建
1.环境参数2.下载地址3.相关的Linux操作4.Hadoop配置文件的修改5.下一步：进行HDFS配置1.环境参数编程语言：JAVALinux环境：Centos 6.4Hadoop版本：CDH （hadoop-2.6.0-cdh5.7.0）2.下载地址JAVA JDK（版本：jdk-7u79-linux-x64） http://www.d...原创 2018-01-07 22:31:30 · 3938 阅读 · 0 评论 -
大数据Hadoop之HDFS
1.HDFS概述2.HDFS架构3.伪分布式下：HDFS配置文件的修改4.启动HDFS5.启动HDFS的过程中可能出现的问题6.停止HDFS7.HDFS shell的常用命令8.Java API操作HDFS文件1.HDFS概述全称：Hadoop Distributed File System（Hadoop分布式文件系统）HDFS优点 数据冗余、硬件...原创 2018-01-10 09:55:51 · 4111 阅读 · 0 评论 -
大数据Hadoop之YARN
YARN概述YARN架构伪分布式下YARN配置文件的修改启动YARN启动YARN的过程中可能出现的问题停止YARN提交MapReduce作业到YARN上运行1.YARN概述全称：Yet Another Resource Negotiator（另一种资源协调者）资源调度框架2.YARN架构1）ResourceManager: RM 整个集群同一时间提原创 2018-01-21 11:25:00 · 4420 阅读 · 0 评论 -
大数据Hadoop之Hive
Hive介绍Hive环境搭建Hive实现wordcountHive介绍产生背景 MapReduce编程的不便性 HDFS上的文件缺少Schema，无法使用SQL方式查询What? Facebook于2007年开源，最初用于解决海量结构化的日志数据统计问题 是一个构建在Hadoop之上的数据仓库 定义了一种类SQL查询语言：HQ...原创 2018-06-04 19:59:15 · 1745 阅读 · 0 评论