kinglyjn的博客

什么是Docker? 简介：Docker是一个开源的引擎，可以轻松的为任何应用创建一个轻量级的、可移植的、自给自足的容器。开发者在笔记本上编译测试通过的容器可以批量地在生产环境中部署，包括VMs（虚拟机）、bare metal、OpenStack 集群和其他的基础应用平台。 Docker的基本架构组成：Docker通常用于如下场景： web应用的自动化打包和发布； 自动化测试和持续集成、发布；

什么是 DockerDocker 最初是 dotCloud 公司创始人 Solomon Hykes 在法国期间发起的一个公司内部项目，它是基于 dotCloud 公司多年云服务技术的一次革新，并于 2013 年 3 月以 Apache 2.0 授权协议开源，主要项目代码在 GitHub 上进行维护。Docker 项目后来还加入了 Linux 基金会，并成立推动开放容器联盟。Docker 自开源后受到

基本概念Docker 包括三个基本概念 * 镜像（Image） * 容器（Container） * 仓库（Repository）理解了这三个概念，就理解了 Docker 的整个生命周期。Docker 镜像我们都知道，操作系统分为内核和用户空间。对于 Linux 而言，内核启动后，会挂载 root 文件系统为其提供用户空间支持。而 Docker 镜像（Image），就相当于是一个 root 文件

HDFS java API Base首先要拷贝hadoop配置文件 和 log4j.properties 到maven项目的类路径(e.g. resources 目录)<!-- hadoop客户端依赖包--> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId>

hive是什么？ 由facebook开源，用于解决海量结构化日志的数据统计； 基于hadoop的一个数据仓库工具，使用HDFS进行存储并将结构化数据文件映射成一张表，并提供类sql查询的功能，其底层采用MR进行计算； 本质是将HQL转化成MR程序。 hive架构图安装前的准备 Java 1.7 (preferred) Hadoop 2.x (preferred), 1.

要使用Hadoop，需要将现有的各种类型的数据库或数据文件中的数据导入HBase。一般而言，有三种常见方式：使用HBase的API中的Put方法，使用HBase 的bulk load工具和使用定制的MapReduce Job方式。本文均有详细描述。 数据导入hbase的常见方法数据的来源： 日志 RDBMS 导入的常见方法： 使用hbase put API（sqoop、kettle）使用HBase的

Hbase简介 Hbase是一个构建在HDFS之上的、分布式的、可扩展的、面向列存储的开源数据库，是google的bigtable的开源实现，适用于海量数据的存储和实时查询，是hadoop生态系统中重要的一员。 以下是hbase处理数据的物理架构图：1. master-slave主从架构。 2. table从竖直方向进行切割，分成若干个区域region，由各个区域服务器regionserver进