qq_34126805的博客

五大组件Flume数据采集组件安装和部署1.Flume的安装Flume的安装非常简单，只需要上传解压即可 tar -zxvf apache-flume-1.8.0-bin.tar.gz进入 flume 的目录，修改 conf 下的 flume-env.sh，在里面配置 JAVA_HOME 2.Flume经典案例部署2.1采集目录到 HDFS- 配置文件编写...

1、数据收集工具/系统产生的背景1. 1 hadoop的业务流程一般而言在hadoop的开发过程之中会经历以下几个流程 数据采集 — MAPREDUCE数据清洗 — 数据储存在Hbase — Hive统计和分析 — 存入Hive表中 — 存入Mysql - 展示数据 在这些业务流程之中数据采集是一切业务的来源 ，数据采集的数据的准确性，可靠性往往会对...

1. 找官网（https://redis.io/）下载对应版本的 Redis（redis-3.2.6.tar.gz）安装包2. 解压到对应的安装目录tar -zxvf redis-3.2.6.tar.gz -C /home/hadoop/apps/ 3. 进入到 Redis 根目录cd apps/redis-3.2.6/4.然后依次执行以下命令make -versi...

1. 关于Nosql的介绍不支持sql查询语言相互之间没有复杂的关系结构，只是简单的K—V形式没有统一的查询语句，每一个NOsql数据库都有自己独立的api和查询语言种类十分繁多 Nosql的种类 MongoDB 文档型数据库，适合做文档管理系统（CMS） Redis 内存数据库，数据结构服务器 Hbase 基于hadoop的分布式数据库，适合海量数据 ...

1. MemcacheMemcache是一个高性能，分布式内存对象缓存系统，通过在内存中缓存一个巨大的hash表，他能够存储包括图像，文件，索引，sql语句结果等数据，可以理解为它理解为一个为提升读取效率的数据容器，先将数据从数据库提取到内存中，然后在内存中读取，从而提升读取效率1.1 Memcache的特性使用物理内存作为缓存区，可独立运行在服务器上，每个进程最大内存为2G。如果想...