spring和hive的集成

最新推荐文章于 2024-10-12 11:15:34 发布
原创 最新推荐文章于 2024-10-12 11:15:34 发布 · 1.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spring #hive #大数据 

maven的配置:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.sinoiov.sjzc.lmk</groupId>
    <artifactId>lmk-bi-data</artifactId>
    <version>1.0</version>
    <properties>
        <spring.hadoop.version>2.4.0.RELEASE</spring.hadoop.version>
        <hadoop.version>2.6.0</hadoop.version>
        <hive.version>1.0.0</hive.version>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <spring-version>4.2.4.RELEASE</spring-version>
        <version.mybatis-paginator>1.2.8</version.mybatis-paginator>
        <version.mybatis-spring>1.2.0</version.mybatis-spring>
        <version.mybatis>3.2.2</version.mybatis>
        <version.log4j>2.9.1</version.log4j>
        <version.dbcp>1.4</version.dbcp>
        <version.spring-data-mongodb>1.8.2.RELEASE</version.spring-data-mongodb>
        <version.mysql-connector-java>5.1.8</version.mysql-connector-java>
        <version.c3p0>0.9.1.2</version.c3p0>
        <version.ojdbc6>11.2.0.3.0</version.ojdbc6>
        <druid.version>1.0.13</druid.version>
        <junit.version>4.12</junit.version>
        <version.fastjson>1.2.8</version.fastjson>
        <version.mongo-java-driver>3.0.1</version.mongo-java-driver>
        <version.slf4j>1.7.5</version.slf4j>
    </properties>
    <dependencies>

        <!--common config start-->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>${junit.version}</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>${version.fastjson}</version>
        </dependency>
        <!--common config end-->

        <!--spring config start-->
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-tx</artifactId>
            <version>${spring-version}</version>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-jdbc</artifactId>
            <version>${spring-version}</version>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-context</artifactId>
            <version>${spring-version}</version>
            <type>jar</type>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-core</artifactId>
            <version>${spring-version}</version>
            <type>jar</type>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-beans</artifactId>
            <version>${spring-version}</version>
            <type>jar</type>
        </dependency>

        <!--<dependency>-->
            <!--<groupId>org.springframework</groupId>-->
            <!--<artifactId>spring-orm</artifactId>-->
            <!--<version>${spring-version}</version>-->
            <!--<type>jar</type>-->
        <!--</dependency>-->
        <!--<dependency>-->
            <!--<groupId>org.springframework</groupId>-->
            <!--<artifactId>spring-context-support</artifactId>-->
            <!--<version>${spring-version}</version>-->
        <!--</dependency>-->
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-test</artifactId>
            <version>${spring-version}</version>
            <scope>test</scope>
        </dependency>
        <!--spring config end-->

        <!--database config start-->
        <dependency>
            <groupId>org.springframework.data</groupId>
            <artifactId>spring-data-commons</artifactId>
            <version>1.10.0.RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.data</groupId>
            <artifactId>spring-data-mongodb</artifactId>
            <version>${version.spring-data-mongodb}</version>
        </dependency>
        <dependency>
            <groupId>org.mongodb</groupId>
            <artifactId>mongo-java-driver</artifactId>
            <version>${version.mongo-java-driver}</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>${version.mysql-connector-java}</version>
        </dependency>
        <dependency>
            <groupId>c3p0</groupId>
            <artifactId>c3p0</artifactId>
            <version>${version.c3p0}</version>
        </dependency>
        <dependency>
            <groupId>commons-dbcp</groupId>
            <artifactId>commons-dbcp</artifactId>
            <version>${version.dbcp}</version>
        </dependency>
        <dependency>
            <groupId>com.oracle</groupId>
            <artifactId>ojdbc6</artifactId>
            <version>${version.ojdbc6}</version>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid</artifactId>
            <version>${druid.version}</version>
        </dependency>
        <!--database config end-->

        <!--log config start-->
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-api</artifactId>
            <version>${version.log4j}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>${version.log4j}</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>${version.slf4j}</version>
        </dependency>
        <!--log config end-->

        <!--hive config start-->
        <dependency>
            <groupId>org.springframework.data</groupId>
            <artifactId>spring-data-hadoop</artifactId>
            <version>${spring.hadoop.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>org.springframework</groupId>
                    <artifactId>spring-context-support</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <!-- hive -->
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-metastore</artifactId>
            <version>${hive.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-service</artifactId>
            <version>${hive.version}</version>
        </dependency>


        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-common</artifactId>
            <version>${hive.version}</version>
            <scope>runtime</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-jdbc</artifactId>
            <version>1.1.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-shims</artifactId>
            <version>${hive.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-serde</artifactId>
            <version>${hive.version}</version>
            <scope>runtime</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-contrib</artifactId>
            <version>${hive.version}</version>
        </dependency>
        <!--hive config end-->



    </dependencies>

    <build>
        <finalName>biglmk-data</finalName>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version> 1.7.1</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                            <transformers>
                                <transformer
                                        implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
                                    <resource>META-INF/spring.handlers</resource>
                                </transformer>
                                <transformer
                                        implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
                                    <resource>META-INF/spring.schemas</resource>
                                </transformer>
                                <transformer
                                        implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                    <mainClass>com.sinoiov.sjzc.lmk.Main</mainClass>
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>

        </plugins>
    </build>
</project>
hive的配置:

 
<?xml version="1.0" encoding="UTF-8"?> <beans:beans xmlns="http://www.springframework.org/schema/hadoop"  xmlns:beans="http://www.springframework.org/schema/beans"  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"  xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd   http://www.springframework.org/schema/hadoop http://www.springframework.org/schema/hadoop/spring-hadoop.xsd">   <hive-client-factory id="hiveClientFactory"/>  <beans:bean id="hiveDriver" class="org.apache.hive.jdbc.HiveDriver"/>  <beans:bean id="hiveDataSource" class="org.springframework.jdbc.datasource.SimpleDriverDataSource">  <beans:constructor-arg name="driver" ref="hiveDriver"/>  <beans:constructor-arg name="url" value="${hive.url}"/>  <!--<beans:constructor-arg name="username" value="${hive.username}"/>-->  <!--<beans:constructor-arg name="password" value="${hive.password}"/>-->  </beans:bean>   <hive-template id="hiveTemplate"/>  </beans:beans>

 

 
#hive.url=jdbc:hive2://VM6-SJ1-PRO-HAD-32-108:9083/ hive.url=jdbc:hive2://10.60.32.100:10000/fuel_card_inquiry_system_interface hive.username=kylin hive.password=kylin

 
连接报错注意hive的版本,一定要和线上一样,hive验证机制有custom和ldap,联系管理员就可以

 

 

 

springboot整合hive
桃李不言下自成蹊
11-22 1万+
springboot整合hive
Spring Boot 集成 Hive
格物致知，知行合一。
06-28 3659
本文介绍了在 Spring Boot 工程中通过 MyBatis-Plus 集成 Hive，从而实现对 Hive 中数据的操作，欢迎阅读斧正。
SpringBoot整合hive-jdbc示例
08-19
本项目对如何在Springboot项目中整合hive-jdbc进行简单示例和介绍，亲测可用，请放心下载。
spring-boot集成mybtis+druid实现hive/mysql多数据源切换
09-28
spring-boot集成mybatis+druid实现 hive/mysql多数据源切换，用mysql数据库作为用户验证库以及用户信息库，hive作为数据可视化源库。
Spring 配置 hive
zl
05-17 1万+
之前试着搞了一下hbase，现在再来试一下hive的配置使用。 配置 pom.xml 内容没有给全，主要贴出了hbase需要的，其他的根据个人需要而添加 4.1.6.RELEASE 2.4.0.RELEASE 2.6.0 1.0.0
Springboot2（37）集成hive
热门推荐
cowbin2012的专栏
01-29 2万+
源码地址 springboot2教程系列 Hive基本命令 添加依赖 &lt;dependency&gt; &lt;groupId&gt;org.apache.hive&lt;/groupId&gt; &lt;artifactId&gt;hive-jdbc&lt;/artifactId&gt; &lt;version&gt;${hive.version}&lt;/ver...
Spring Boot项目引入hive
RonieWhite的博客
05-26 1189
项目正好在做，刚好完成这个小功能，所以记录下： 材料准备： Spring Boot项目 hadoop集群（伪分布式都可以） hive 步骤： 在Spring Boot项目 pom中引入所需依赖： <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId>
Apache Hive之与Spring集成
weixin_44594317的博客
10-12 754
通过使用 Hive JDBC 驱动并结合 Spring 框架的特性，可以方便地在 Spring 应用中执行 HiveQL 查询，进行大规模数据处理和分析。
spring boot 集成spark操作hive
学渣的博客
07-11 1820
上面的配置中，hive.metastore.uris是Hive的元数据存储地址。确认系统中已经安装了Hadoop和Spark，并且配置好了环境变量。其中，my_table是Hive中已经创建的表。
集成Hive和HBase
weixin_38168696的博客
09-20 251
1. MapReduce 用MapReduce将数据从本地文件系统导入到HBase的表中， 比如从HBase中读取一些原始数据后使用MapReduce做数据分析。 结合计算型框架进行计算统计查看HBase的MapReduce任务的执行，把jar打印出来的就是需要添加到hadoop的CLASSPATH下的jar包 $ bin/hbase mapredcp 环境变量的...
Hive集成mysql数据库
weixin_30539625的博客
07-28 212
1. 为什么集成mysql来替换Derby 默认情况下，Hive元数据保存在内嵌的Derby数据库中，只能允许一个会话连接，只适合简单的测试。实际生产环境中不使用，为了支持多用户会话， 则需要一个独立的元数据库，使用MySQL作为元数据库，Hive内部对MySQL提供了很好的支持。 2.在Ubuntu系统下安装并配置MySQL 2.1 安装MySQL sudo apt-g...
spring data hadoop操作hive，HiveTemplate的使用
u011856283的博客
05-14 5916
HiveTemplate是一个spring data hadoop封装好的一个hive操作类，可以提供查询等方法，很方便，但是返回的数据能是一个字段首先需要一个数据源这里用dbcpBasicDataSource省略set。。。。。。然后创建一个类HiveClientFactoryHiveClientFactoryBean hiveClientFactoryBean = new HiveClient...
spring逐步整合orm实例--第四例：整合hibernate。
automannn
10-16 497
     之前的三个例子，分别使用spring整合或者使用别人整合的产品进行了演示。  这篇继续，整合，或者说使用整合的hibernate来进行数据库操作。    与spring-jdbc类似，hibernate作为一个出名的orm映射框架，spring官方早将它列为了其它逻辑产品之一的spring-orm中。  因此我们直接使用spring-orm就行了，但是要自己整合估计也是可以的，只不过...
Spring ORM用Hibernate中SqlMapClientFactoryBean源码介绍
杨春建的博客
11-10 906
SqlMapClientFactoryBean源码 public class SqlMapClientFactoryBean implements FactoryBean, InitializingBean { private static final ThreadLocal configTimeLobHandlerHolder = new ThreadLocal(); priv
Spring整合ORM框架 ----- Spring-data-jpa
yinni11的博客
10-12 544
大致整理一个提纲： 　　1、Spring-data-jpa的基本介绍； 　　2、和Spring整合； 　　3、基本的使用方式； 　　4、复杂查询，包括多表关联，分页，排序等； 现在开始： 　　1、Spring-data-jpa的基本介绍：JPA诞生的缘由是为了整合第三方ORM框架，建立一种标准的方式，百度百科说是JDK为了实现ORM的天下归一，目前也是在按照这个方向发展，但是还没能完全...
springboot基于hive旅游数据的分析与应用系统-大数据分析
qq_2083558048的博客
01-16 634
旅游数据的分析与应用系统主要有管理员和用户两个功能模块。以下将对这两个功能的作用进行详细的剖析。管理员模块：管理员是系统中的核心用户，管理员登录后，可以对后台系统进行管理。主要功能有个人中心、用户管理、旅游数据管理、地名管理、系统管理等功能。管理员用例如图3-1所示。图3-1 管理员用例图用户：用户进入系统可以实现对首页、旅游数据、旅游资讯、个人中心等功能进行操作，用户用例如图3-2所示。图3-2 用户用例图。
spring boot集成hive
qq_39344641的博客
05-25 7178
文章目录前言一、创建spring boot工程1. 添加hive-jdbc依赖（无需hadoop依赖）2. 添加德鲁伊连接池依赖3. 完整依赖如下二、使用步骤1.配置Druid连接池2. 配置application.yml3. 编写controller进行测试 前言 spring boot集成hive，实现在网页查询hive数据。 非完全原创，参考链接放在下面 原帖的依赖会冲突导致无法运行，本帖修改了一些依赖，并加入了lombok，其余同原帖。 https://blog.youkuaiyun.com/pengj
SpringBoot 3 集成Hive 3
zhouzhiwengang的专栏
12-23 3306
造成此问题的原因是:spring boot 默认日志为logback, 而引用的hive-jdbc 及其关联jar 使用的日志为 log4j ，造成SLF4J 绑定冲突。我这边编写一个简单的Controller，打印Hive 默认数据库包含数据库名称。造成此类 问题的原因：hiveserver2 服务没有正常启动。解决办法：移除Hive JDBC 依赖的Jetty 容器。造成此类问题的原因：hadoop 没有配置权限导致。解决办法：移除冲突的日志：log4j。
使用hive-metastore 连接Hive-metastore service时出现URI is not hierarchical 问题记录
u012358328的专栏
10-13 1933
由于业务需要，使用springboot连接Hive-metastore service服务获取hive元数据，连接方式可参考Java调用Hive-metastore接口_天天乐见的笔记本-优快云博客这篇文章。 根据文章中的方法配置，并使用hive-site.xml配置文件的方式连接Hive-metastore service服务后，发现在IDE中能够正常访问Hive的元数据服务，但是将springboot服务打成jar包后出现了报错： URI is not hier...
spring boot集成Hive jdbc
最新发布
10-19
我们参考了用户提供的引用内容，但用户的问题是关于Spring Boot集成Hive JDBC的实现方法。我们之前已经给出了两种验证Hive SQL的方法，但用户现在的问题转向了集成。因此，我们需要调整回答方向，专注于Spring Boot...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值