doupeihua的专栏

以下操作在hdpsrc3 节点上操作一，下载安装包1，下载hive http://mirrors.hust.edu.cn/apache/   得到apache-hive-1.1.0.tar.gz  ，放到该目录下 /home/hdpsrc/ 2，下载mysql   http://dev.mysql.com/downloads/mysql/5.5.html#downloads   得

本文是关于Flume成功应用Kafka的研究案例，深入剖析它是如何将RDBMS实时数据流导入到HDFS的Hive表中。对于那些想要把数据快速摄取到Hadoop中的企业来讲，Kafka是一个很好的选择。Kafka是什么？Kafka是一个分布式、可伸缩、可信赖的消息传递系统，利用发布-订阅模型来集成应用程序/数据流。同时，Kafka还是Hadoop技术堆栈中的关键组件，能够很好地支持实时数

mysql数据导入导出到hdfsmysql导入到hdfs bin/sqoop help import 查看帮助bin/sqoop import \--connect jdbc:mysql://hadoop-senior0.ibeifeng.com:3306/study \--username root \--password 123456 \--table my_user \--targe

最近在测试hive on Spark的功能,由于数据库Oracle习惯使用PLsql了，其他我都使用DbVisualizer，就尝试配置了一下。0.测试环境测试了2个hadoop集群，机器都是4台普通的服务器2U服务器测试环境1:hive on hadoophive-1.0hadoop-common-2.2测试环境2:hive on sparkcdh5.7hiv

如果您的工作要求您在一天之中连接许多不同的数据库 （oracle、DB2、mysql、postgresql、Sql Server等等），或者你经常需要在多个不同种类的数据库之间进行数导入导出。那么SQuirreL SQL Client 将会是比较理想的数据库客户端链接工具。 简单介绍：     SQuirrel SQL Client是一个用Java写的数据库客户端，用JDBC统一数据库访问

1、列出mysql数据库中的所有数据库 sqoop list-databases --connect jdbc:mysql://localhost:3306/ -username dyh -password 000000 2、连接mysql并列出数据库中的表sqoop list-tables --connect jdbc:mysql://localhost:3306/test --

1  导入导出数据库   1)列出mysql数据库中的所有数据库命令  #  sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456      2)连接mysql并列出数据库中的表命令# sqoop list-tables --connect jd

#创建表人信息表  person(String name,int age) hive> create table person(name STRING,age INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ESCAPED BY '\\' STORED AS TEXTFILE; OK Time taken: 0.541 second

1.  解压Sqoop以及jar包拷贝1)      Hadoop版本为1.0.4，下载sqoop版本1.4.4-1.0.0，解压。2)      将mysql-connector的jar包（5.1.29版本）复制至sqoop解压后的lib目录下。3)      把sqoop根目录下的sqoop-1.4.4.jar以及mysql-connector的jar包复制到hadoop根目录下的

对Hive的基本组成进行了总结：1、组件：元存储（Metastore ）－存储“系统目录以及关于表、列、分区等的元数据”的组件。驱动（Driver ）－ 控制 HiveQL 生命周期的组件，当 HiveQL 查询穿过 Hive时。该驱动管理着会话句柄以及任何会话的统计。查询编译器（Query Compiler） － 是一个组件，将HiveQL编译成有向无环图（direc

阅读本文章可以带着下面问题：1.与传统数据库对比，找出他们的区别2.熟练写出增删改查（面试必备）创建表：hive> CREATE TABLE pokes (foo INT, bar STRING);         Creates a table called pokes with two columns, the first being an integer and th

1.没有接触，不知道这个事物是什么，所以不会产生任何问题。2.接触了，但是不知道他是什么，反正我每天都在用。3.有一定的了解，不够透彻。那么hive，1.我们对它了解多少？2.它到底是什么？3.hive和hadoop是什么关系？扩展：hbase和hive是什么关系？Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求

安装Hive2.11. 准备工作：安装JDK、Hadoop2. 下载并解压Hive，设置环境变量 HIVE_HOME、PATH3. 设置Hadoop环境变量./hadoop fs -mkdir /tmp./hadoop fs -mkdir /usr/hive/warehouse./hadoop fs -chmod g+w /tmp./hadoop fs -chmod g+

错误现象：-----------------------------------------------------------------------------------------------------------------doupeihua@doupeihua-2104 ~/software/hive/bin $ schematool -initSchema -dbTyp

Hive中metastore（元数据存储）的三种方式：内嵌Derby方式Local方式Remote方式[一]、内嵌Derby方式这个是Hive默认的启动模式，一般用于单元测试，这种存储方式有一个缺点：在同一时间只能有一个进程连接使用数据库。hive-site.xml 中jdbc URL、驱动、用户名、密码等的配置信息如下：XHTML javax.

1.使用git将其下载到linux上,或者从http://gethue.com/hue-3-7-with-sentry-app-and-new-search-widgets-are-out/#下载 "3.7.1 tarball"版本使用git进行下载:git  clone   git@github.com:cloudera/hue.git2.http://cloudera.gith