彩虹柠檬水

一、实践环境Ubuntu14.04+JDK1.8.0_25 +Eclipse3.8+ Hadoop2.5.1一共三台linux机器（virtualbox虚拟机，桥接网络配置静态ip），已经部署好的完全分布式环境。二、编写WordCount程序1.启动Eclipse，创建Java Project。2.配置Java Project，这一步很重要，折腾了半天才配好

一、实践环境Ubuntu14.04 + JDK1.8.0_25 + Hadoop2.5.1+Scala2.11.6+Spark1.3.1一共三台linux机器（virtualbox虚拟机，桥接网络配置静态ip），已经部署好hadoop完全分布式环境。 二、安装scala1.下载scala-2.11.6.tgz2.将scala-2.11.6.tgz解压到/home/jsj/s

一、目的将oracle数据文件dmp中的数据导入到hive中。目标分解：由于已有的数据都在dmp文件中，因此要先将dmp文件中的数据导入到oracle中，再将oracle中的表导入到hive中。二、dmp文件导入到oracle数据库dmp文件：只有一个不知来源的dmp文件，不知道从哪个数据库中导出的，也不知道导出用户是谁。（不要紧，后面可以根据错误提示一步步改）oracle

在hive中，当你查询某一列时，默认情况下hive是会启用Mapreduce Job来完成这个任务，耗费的时间比较长。对于这个问题，从Hive0.10.0版本开始，对于简单的不需要聚合的类似SELECT from LIMIT n语句，不需要起MapReduce job，直接通过Fetch task获取数据。可以通过修改hive-site.xml配置文件来开启Fetch task.

Hive是一个类SQL的框架，通过使用JDBC方式远程操作hive，可以更灵活的编程。1.导入所需jar包2.开启hiveserver2服务进入到linux的hive安装目录下，执行命令：nohup bin/hive --service hiveserver2 &3.在Eclipse中编写JDBC连接代码1) Class.forName("org.apache.

在hive中，可以通过分区进行性能优化，通过此过程数据将以某个字段进行分片存储，从而缩小查询的扫描范围，提高查询速度。hive分区可分为静态分区和动态分区。静态分区和动态分区的区别在于导入数据时，是手动输入分区名称，还是通过数据来判断数据分区。对于大数据批量导入来说，显然采用动态分区更为简单方便。使用hive动态分区，可分为以下步骤：1.修改配置文件hive-site.xml以支持动态

一、实践环境Ubuntu14.04 + JDK1.8.0_25 + Hadoop2.5.1一共三台linux机器（virtualbox虚拟机，桥接网络配置静态ip），信息如下：机器名IP作用master10.214.161.70Namenode, masterslave1

操作系统：linux mint 18.3 cinnamon 64bitPython环境：python2.7（系统自带）1.安装python-dev，命令如下：apt-get install python-dev2.安装python依赖包，将相应的包下载下来，然后使用pip命令安装：pip install six-1.9.0.tar.gzpip install bi...