大数据Hadoop
关注
分享
扫一扫
大数据Hadoop HIVE Flume....相关技术博客
萌新Java程序猿
java个人心得
展开
-
Hadoop个人心得笔记(一)
Hadoop个人心得笔记(一)Volume：数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是T、P（1024个T）、E（100万个T）或Z（10亿个T） Variety：种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出...原创 2020-07-17 14:50:03 · 6542 阅读 · 0 评论 -
Hive个人心得笔记之安装
Hive个人心得笔记之安装目录 Hive个人心得笔记之安装一.Hive安装二.Mysql安装一.卸载删除Percona和Mysql相关依赖二.执行命令全部卸载三.下载安装即可四.下载完成五.安装客户端，服务端六.新增mysql用户组，并创建m...原创 2019-07-06 16:07:21 · 1005 阅读 · 0 评论 -
Hive个人心得笔记之数据库和数据仓库
Hive个人心得笔记之数据库和数据仓库一、数据仓库和数据库对比 数据库 数据仓库 为线上系统提供实时数据 为离线分析存储历史数据 具有完整的增删改查的能力 只支持一次写入多次查询，不支持行级别的增删改 具有完整的事务能力 ...原创 2019-07-06 15:11:30 · 680 阅读 · 0 评论 -
Hive个人心得笔记
Hive个人心得笔记一、Hadoop开发存在的问题只能用java语言开发，如果是c语言或其他语言的程序员用Hadoop，存在语言门槛 需要对Hadoop底层原理，api比较了解才能做开发 开发调试比较麻烦二、Hive概述Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表，并提供完整...原创 2019-07-06 15:07:08 · 7106 阅读 · 0 评论 -
Flume个人心得笔记之事务机制
Flume个人心得笔记之事务机制目录 Flume个人心得笔记之事务机制一、概述二、put事务流程三、Take事务一、概述Flume的事务机制与可靠性保证的实现，最核心的组件是Channel（通道）。如果没有Channel组件，而紧靠Source与...原创 2019-07-06 21:25:53 · 908 阅读 · 0 评论 -
Flume个人心得笔记之Process安装
Flume个人心得笔记之Process安装目录 Flume个人心得笔记之Process安装一.概述二.Default Sink Processor一、概述二、可配置选项说明三.Failover Sink Processor一、概述二、可配置项说明三、示例四.Load Balanci...原创 2019-07-06 21:09:46 · 409 阅读 · 0 评论 -
Flume个人心得笔记之Interceptor安装
Flume个人心得笔记之Interceptor安装目录 Flume个人心得笔记之Interceptor安装一.概述二.Timestamp Interceptor一、概述二、可配置项说明三、配置示例1.创建文件2.配置第一个节点，2，3默认扇出3.启动4.传输数据5.接收数据 -时间检测7.启动8.传输...原创 2019-07-06 21:03:49 · 304 阅读 · 0 评论 -
Flume个人心得笔记之Selector安装
Flume个人心得笔记之Selector安装目录 Flume个人心得笔记之Selector安装一.复制模式一、概述二、 可配置选项说明三、示例二.多路复用模式一、概述二、可配置选项说明三、示例1.概述2.配置第一个节点配置3.启动4.发送数据5.接收数据一.复制模式...原创 2019-07-06 20:17:21 · 448 阅读 · 0 评论 -
Flume个人心得笔记之Sink安装
Flume个人心得笔记之Sink安装目录 Flume个人心得笔记之Sink安装一.Logger Sink一、概述二、可配置项说明三、示例二.File_roll Sink一、概述二、可配置选项说明三、示例1.复制文本2.编辑配置3.启动指令 启动不了，杀死对应进程重...原创 2019-07-05 21:23:32 · 3286 阅读 · 0 评论 -
Flume个人心得笔记之Channel安装
Flume个人心得笔记之Channel安装全解目录 Flume个人心得笔记之Channel安装全解一.Memory Channel一、概述二、可配置选项说明三、示例:二.File Channel一、概述二、可配置选项说明三、示例1.复制一份文件2.编辑配置4.确保目录产生5.启动...原创 2019-07-05 20:22:35 · 1340 阅读 · 0 评论 -
Flume个人心得笔记之Source安装
Flume个人心得笔记之Source安装目录 Flume个人心得笔记之Source安装一.Flume基本案例一.启动命令二.下载文件并解压三、示例：1.创建一个Data文件夹2.编辑一个文件3.进入bin下 执行该指令4...原创 2019-07-05 20:09:05 · 634 阅读 · 0 评论 -
Flume个人心得笔记
一、概述Flume是Apache提供的开源的、分布式的、可靠的日志收集系统 能够有效的收集、聚合、传输大量的日志数据 Flume有2个版本：Flume-og（Flume0.9x）和Flume-ng(Flume1.X)。Flume-og和Flume-ng不兼容二.Flume的特性可靠性：事务型的数据传递，保证数据的可靠性。一个日志交给flume来处理，不会出现此日志丢失或未被处理的情况...原创 2019-07-05 19:23:15 · 1015 阅读 · 0 评论 -
Hadoop分布式安装步骤 --实战
Hadoop全分布式架构图目录 Hadoop全分布式架构图一.永久关闭防火墙二.配置主机名1.编辑network文件：vim /etc/sysconfig/network2.将HOSTNAME属性改为指定的主机名，3.让network文件重新...原创 2019-07-03 11:10:22 · 640 阅读 · 2 评论 -
Hadoop个人心得笔记之HDFS读写删
HDFS读写删目录 HDFS读写删一、读流程1.代码实现二、写流程1.代码实现三、删流程1.代码实现一、读流程客户端发起RPC请求到NameNode NameNode在收到请求之后会先校验这个文件上是否存...原创 2019-07-02 21:03:29 · 358 阅读 · 0 评论 -
Hadoop个人心得笔记之DFS目录
DFS目录dfs目录在NameNode被格式化的时候产生 dfs目录的子目录：name、data、namesecondary in_use.lock标记当前节点已经在使用 HDFS第一次启动的时候，会默认在1min的时候进行一次合并，之后就按照更新条件啦进行合并 edits文件的开始和结束都会算作...原创 2019-07-02 20:43:19 · 1647 阅读 · 1 评论 -
Hadoop个人心得笔记之MapReduce
MapReduce目录 MapReduce一、概述二、序列化机制三、分区四、排序五、合并六、数据本地化策略七、job的执行流程八、Shuffle过程1.Map端的Shuffle...原创 2019-07-02 20:31:22 · 435 阅读 · 0 评论 -
Hadoop个人心得笔记之HDFS
HDFS总结目录 HDFS总结一、概述二、Block1.文件上传失败：2.解决方案：2、删除在hdfs中配置的元数据目录3、重新格式化namenode(切换到hadoop目录下的bin...原创 2019-06-28 21:45:49 · 754 阅读 · 0 评论 -
Hadoop个人心得笔记之上传文件错误
Hadoop上传文件错误目录Hadoop上传文件错误org.apache.hadoop.ipc.RemoteException(java.io.IOException)1.文件上传失败：2.解决方案：1、停止集群（切换到/sbin目录下）2、删除在hdfs中配置的data目录（3、重新格式化namenode...原创 2019-06-28 19:42:10 · 2212 阅读 · 0 评论 -
Hadoop伪分布式安装步骤
Hadoop伪分布式安装步骤目录 Hadoop伪分布式安装步骤一.永久关闭防火墙二.配置主机名1.编辑network文件：vim /etc/sysconfig/network2.将HOSTNAME属性改为指定的主机名，3.让network文件重新生效：s...原创 2019-06-28 17:15:50 · 6748 阅读 · 1 评论