大黄_sama

hive -e "insert overwrite local directory '/home/hadoop/out_data/output/ods_qa_tag/${bizdate}' select * from ods.qa_tag where p_dt = ${bizdate}"

1、背景 由于公司原有的oss访问AK被泄露，引发安全问题，AK被运维禁用，大数据同学发现原来正常访问hive，现在不能访问了，仔细看了一下原因是AK被禁用导致。于是只能替换新的AK。我们建表语句是CREATE DATABASE gj_log LOCATION 'oss://xxxxxx2ggxPoxxxx:xxxYBUPJ4J4eHVUbbMxxxxx@bigdata-cps-test.oss-cn-hangzhou-internal.aliyuncs.com/emr-metadata..

1、spark-sql可以直接使用hive的自定义函数，而不需要重新写一套spark-sql的自定义函数，这里较大家一个简单的配置方式即可2、将hive的自定义函数jar拷贝到/usr/lib/spark-current/jars，我们的jar是先存在oss，所以用下面的命令， osscmd get --host=oss-cn-hangzhou-internal.aliyuncs.com --id=accessid --key=accesskey oss://bigdata-cps-test/h

纯粹是为了记笔记，以防后面遇到类似问题，又要找一遍问题1、问题：在hue创建hive UDAF函数报错，Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.FunctionTask。创建语句：CREATE FUNCTION call_tree_pattern AS 'com.ggj.gateway.elastic.udf.CallTre

http://yugouai.iteye.com/blog/1908121