welson650的博客

Apache Sqoop基础及数据迁移一、什么是Sqoop?      Sqoop是一个用于在Hadoop和关系数据库之间传输数据的工具。将数据从RDBMS导入到HDFS：HDFS、Hive、HBase。从HDFS导出数据到RDBMS。使用MapReduce导入和导出数据，提供并行操作和容错。二、从RDBMS导入数据到HDFS:# connet 后面为你的mysql数据库链接/数据库名# driver 后面为JDBC连接数据库的

Hadoop常见面试题整理及解答一、基础知识篇：1.把数据仓库从传统关系型数据库转到hadoop有什么优势？答：（1）关系型数据库成本高，且存储空间有限。而Hadoop使用较为廉价的机器存储数据，且Hadoop可以将大量机器构建成一个集群，并在集群中使用HDFS文件系统统一管理数据，极大的提高了数据的存储及处理能力。（2）关系型数据库仅支持标准结构化数据格式，Hadoop不仅支持标准结构...

NoSQL与Apache HBase基础一、NoSQL概念：      NoSQL(not only SQL)即非关系型数据库。NoSQL具有以下几个特点:不遵循传统RDBMS(Relational Database Management System,关系型数据库)模型。数据是非关系的，且不使用SQL作为主要查询语言。解决了...

Hive的数据库操作语言(HQL)是一种类似SQL的语言，大部分语句与SQL相同，目的是简化Hadoop的Mapreduce程序开发，提升开发效率。

Hadoop架构基础知识总结一、Hadoop与分布式计算：Hadoop框架遵循分布式计算模型，其将对大数据集的计算分配到一组节点上，每个节点根据数据集的一部分进行计算。...

Hive–下载及配置完整教程一、重写构建Hadoop镜像:此步骤仅提供给那些需要修改Hadoop配置文件，但又不想删除hdfs文件系统中文件的人。请在工程下的Hadoop文件夹中执行本条指令：$ cd hadoop #假设你已经在工程文件夹下，cd进入hadoop目录$ docker build -t netName/hadoop . #netName为你之前定义的网络名，一定不要忘记...

hdfs常用指令集HDFS指令主要用于在HDFS软件系统中对文件夹和文件进行操作处理，其大部分指令和Linux shell指令类似，此处仅列举常用HDFS指令。    对于初学者要知道hdfs指令是不能直接在终端中执行的，需要先创建并启动Hadoop集群，然后在集群中测试或运行这些指令，创建Hadoop集群可以参照我之前发的这两篇博客。在Deepin(...

deepin系统下hadoop client的搭建及配置1.下载hadoop-2.7.x.tar.gz压缩包下载hadoop2 tar包链接2.解压压缩包:进入你下载到的目录对压缩包进行解压(x为你的对应版本号):$ tar -zxvf hadoop-2.7.x.tar.gz3.链接hadoop-2.7.x文件夹（类似于起别名，可选）：此处使用符号连接方式,使hadoop-2.7...

在Deepin(深度)操作系统上使用docker在idea中搭建一个简单的Hadoop集群**本文将使用详细的描述和代码来展示Deepin系统下,一个包含master(主节点)+两个 slave(工作节点)的简单hadoop(完全分布式集群)的配置方法，以及一些基础的避坑指南**下载我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如...