小鹏的专栏

目的：1、学习内容 2、名词（很多）    ==================================================一、各章概述（Hadoop部分、Storm部分） (一)、Hadoop的起源与背景知识 1、什么大数据？核心问题？ 举例：（1）商品推荐   问题1：大量的订单如何存储？  问题2：大量的订单如何计算？       （2）天气预报   问题1...

数据分析的引擎：1、Hive  ---> 属于Hadoop，支持SQL   Pig   ---> 属于Hadoop，支持PigLatin   2、Spark SQL ---> 类似Hive，支持SQL和DSL3、（了解）Impala一、什么是Hive？ 1、Hive是一个翻译器，SQL ---> Hive引擎  ---> MR程序 2、Hive是构建在HDFS上的一个...

一、NoSQL的基础、常见的NoSQL数据库 1、not only sql 2、回顾：关系型数据库: Oracle、MySQL等等 -----> 面向行：适合insert update delete 3、常见的NoSQL数据库 （*）基于Key-Value模型：Redis（内存）-----> 前身：MemCached（不足：不支持持久化） （*）面向列的模型：HBase、Cassa...

1.Mapper程序import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;/...

一、课程概述 依赖jar包   $HADOOP_HOME/share/hadoop/common   $HADOOP_HOME/share/hadoop/common/lib   $HADOOP_HOME/share/hadoop/mapreduce   $HADOOP_HOME/share/hadoop/mapreducel/lib二、MapReduce编程基础 案例一 1、分析WordCoun...

一、定义server端代码1.定义一个接口，该接口继承org.apache.hadoop.ipc.VersionedProtocol接口import org.apache.hadoop.ipc.VersionedProtocol;public interface MyInterface extends VersionedProtocol { //定义一个版本号 public stati...

一、HDFS概述        HDFS（Hadoop Distributed File System）：分布式文件系统二、操作HDFS        1、通过Web Console：50070、50090        2、命令行            （1）操作命令 hdfs dfs ****                    -mkdir 创建目录                    ...

Hadoop的体系结构：都是主从结构一、HDFS的体系结构    1、NameNode：主节点            http://192.168.160.111:50070                        （1）职责：管理维护HDFS                            接收客户端的请求：上传、下载、创建目录等等                          ...

一、准备工作    1、安装Linux、JDK、关闭防火墙、配置主机名            这部分上面已经介绍过来，这里就不在赘述。   2、安装Hadoop        解压：tar -zxvf hadoop-2.7.3.tar.gz -C ~/training/        设置Hadoop的环境变量：vi ~/.bash_profile                         ...

环境准备：1、Redhat 7.4 64位2、JDK 1.8 64位3、VMware124、Putty 远程登录命令工具（命令行）第一章一、Linux的实验环境    1、在虚拟机中安装Linux    重点： （1）选择网卡的类型                        选择“仅主机模式”：注意一个问题：设置虚拟机的IP地址的时候                              ...

一、什么是Pig？安装和配置 1、最早由Yahoo开发，后来给Apache 2、支持语句PigLatin语句，类似SQL 3、翻译器：PigLatin语句 ----> MapReduce                               Spark（从0.17开始支持） 4、安装和配置     tar -zxvf pig-0.17.0.tar.gz -C ~/training/ ...