qq_32457341的博客

当前，需要将集群的数据从HDP迁移到CDP的集群当中，因此要将HDP中的表在CDP上构建，并将HDP中的数据复制到CDP中，以下是具体的处理逻辑；版本：HDP中hive版本，1.2.1CDP中hive版本，3.1.3（1）表复制，我们采用impala，在impala上执行如下命令：show create table xxxx;采用这种方式，我们可以获取建表的语句，进行修改即可在CDP集群上进行建表；（2）数据复制，数据复制采用如下的命令：hadoop distcp -D ipc.clien

hive概述Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张’数据库表’，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。hive原理介绍h...

随着用sql计算业务逻辑越来越复杂，常用的hive内置函数无法满足复杂的sql计算，对于这种复杂的逻辑，需要自己去写udf函数，这里记录一下自己写udf函数的详细过程；1.创建maven工程，在写hive udf函数的时候，需要首先创建一个maven工程；这个maven工程是普通的java工程；中间会用到一个jar包，这些都是在pom文件中用到，具体pom文件如下：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http:/

在进行系统迁移时，sqoop推数始终不成功，报错如下：ERROR tool.ExportTool: Encountered IOException running export job:org.apache.hive.hcatalog.common.HCatException : 2016 : Error operation not supported : Store into a transactional table fxgl.fxgl_recnclt_result_upd from Pig/Map

目前，大多数的大数据集群之前是采用kerberos认证的，公司的大数据集群目前正在升级，认证方式由LDAP认证方式改变成为kerberos进行认证；以下介绍如何将LDAP认证连接升级至KERBEROS认证的过程：pyhive连接hive，通过LDAP认证方式的代码：from pyhive import hiveconn = hive.Connection(host='',port=10000,username='xxx',password='xxx' ,data

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口；目前elastic search已经可以很好的与hive数据库进行配合操作，将hive中的数据在elasticsearch中创建对应的索引，方便用户用restful api接口查询数仓hive中的数据，且查询的效率是秒级别的；以下是对如何将hive中的表在ela...

我们在操作hive的时候，一般情况下直接在命令行cli下直接敲命令就可以了，但是对于日常批量的话，需要每天都跑，这里就采用了python来执行进行每天的批量运行，用pyhive建立数据库连接，连接远程的hive数据库，然后在远程的hive环境上执行hive的sql；一般情况下，我们在执行hql之前，需要配置环境，本次需要添加两个关于elasticsearch的lib，执行以下两个命令：add ...

执行hive的sql时，进行查询操作，出现了如下的问题：TExecuteStatementResp(status=TStatus(statusCode=3, infoMessages=['*org.apache.hive.service.cli.HiveSQLException:Error while processing statement: FAILED: Execution Error, ...