muyingmiao的专栏

1.拷贝hive-site.xml文件到spark的conf目录下2.[hadoop@hadoop002 bin]$ ./spark-shell --master local[2] --jars ~/software/mysql-connector-java-5.1.47.jar 注意用5版本的mysql-connector-javascala> spark.sql("sh...

Hive在使用过程中，会提示hive (default)> show databases;Mon Oct 28 19:26:54 CST 2019 WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.4...

Hive启动后，执行show databases会报错hive (default)> show databases;FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache....

动态分区与静态分区区别就是动态分区是通过位置来对应分区值的,插入数据的时候不用显示的指定分区字段，即不指定分区目录，由系统自己选择。以emp表的数据为例：hive (test)> create table emp_dynamic_partition( > empno int, > ename string, ...

1.数组数据文件 hive_array.txt,Array(1,2,3,4) 装的数据类型是一样的zhnagsan PEK,SHA,HAK,NKGlisi CTU,CKG,XIY,CSX创建表：create table hive_array(name string, work_locations array<string>)row forma...

工作中，有时候在使用Hive时候会去解析URL，获取一些参数:hive (default)> select parse_url_tuple("http://www.ruozedata.com/d7/xxx.html?cookieid=1234567&a=b&c=d", > "HOST", > "PATH...

1.数据格式如下图2.创建表并加载数据hive (test)> create table rating_json(json string);hive (test)> load data local inpath '/home/hadoop/testdata/json/rating.json' into table rating_json;Loading data to tab...

Hive的词频统计主要用到了Hive的split函数和explode函数hive (test)> desc function extended split;OKtab_namesplit(str, regex) - Splits str around occurances that match regexExample: > SELECT split('oneAtwo...

1.先下载对应版本的源码，地址：http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.15.1-src.tar.gz2.找出对应的java文件，并对其修改[hadoop@hadoop000 hive-1.1.0-cdh5.7.0]# find . -name FunctionRegistry.java./ql/src/java/or...

在使用hive中，有时要根据业务需求自定义一些函数，下面是自定义函数的步骤1.新建一个maven项目，在项目的pom文件中引入依赖 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</a...