BabyFish13

hive非交互模式1、可以将hive执行的sql语句保存到脚本文件中，通过-f选项指定脚本文件执行hiveeg:hive -f script.sql2、对于较短的sql语句，可以直接使用-e选项运行hiveeg:hive -e 'select * from table a'3、-S选项hive执行过程中，会在终端上显示mapreduce的进度。如果不想显示进度，可以使用-S

从网上看到的一个oracle数据通过sqoop每日增量同步到hive的shell脚本，感觉以后会有用，作为参考，备查。[spark@store ~]$ cat oracle2hive_imcrement.sh#!/bin/bash#Please set the synchronize interval,unit is hour.update_interval=24#Please s

Hive提供了两种客户端访问工具，分别是通过Hive命令行和beeline客户端。命令行方式即通过hive进入命令模式后通过执行不同的HQL命令得到对应的结果；相当于胖客户端模式，即客户机中需要安装JRE环境和Hive程序。beeline客户端方式相当于瘦客户端模式，采用JDBC方式借助于Hive Thrift服务访问Hive数据仓库。Beeline工作模式有两种，即本地嵌入模式和远程模式。嵌入模

1.Scala执行命令“spark-shell”可启动Spark Scala Shell；2.python执行命令“pyspark”可启动Spark Python Shell；3.R执行命令“sparkR”可以启动Spark R Shell；4.SQL执行命令“spark-sql”可以启动Spark SQL Shell；5.Java接口spark-submitspark-classrun-exam

1、使用query将myql数据导到hdfs目录/usr/lib/sqoop-current/bin/sqoop import \--connect jdbc:mysql://MysqlHost:6605/jellyfish_hadoop_stat \--username MysqlUser \--password MysqlPass \--query 'select operator_u...

1、下载压缩包下载页面地址：https://github.com/alibaba/DataX不要在【Clone or download】处下载，那里下载的是源码；对于Java不是很在行的人来说，自行编译显得有点困难。而是在：【Quick Start】--->【Download DataX下载地址】进行下载。下载后的包名：datax.tar.gz。解压后{datax}目录下有{bin  con...