使用Sqoop实现HIve分析结果数据入库

最新推荐文章于 2022-02-15 22:17:23 发布
原创 最新推荐文章于 2022-02-15 22:17:23 发布 · 294 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何利用Sqoop将Hive的分析结果数据导入到MySQL数据库中，包括创建数据库表、自定义jar包、执行查询以及通过shell脚本自动化整个过程。

1.使用sqoop 导入mysql数据库。
       创建stock表并导入数据

        

      创建stock_result表来存放stock的查询结果

      

      自定义jar包并创建相应的函数

      

      

      将查询结果导入stock_result

      

 

2. 使用shell脚本完成作业。
      查询hdfs中的数据（也就是即将导入mysql的数据）

       

      创建脚本并执行： 

 

     

    查看mysql中的数据如下：

      

      Sqoop实现了HIve分析结果数据入mysql库

使用Sqoop实现HIve分析结果数据入mysql库
lrf2454224026的博客
09-11 1214
1.将hive作业中的结果，使用sqoop 导入mysql数据库。        创建stock表并导入数据                        创建stock_result表来存放stock的查询结果              自定义jar包并创建相应的函数（这一步走可以省略，可以使用hive自带的函数）                     将查询结果导入stoc...
利用sqoop从数据源获取数据到hive的流程化
Dino系我的专栏
05-11 4258
sqoop hive
案例:使用hive与sqoop对网站指标进行分析
Z_Data的博客
11-14 490
<网站分析数据可留言联系获取> 需求分析： 首先对网站的日志进行分析，首先先分析两个指标就是pv 与uv 的分析，然后把分析出来的结果 导出到mysql 中进行保存   案例的实现： 首先需要把源数据加载到hive中，之后hive在对源数据创建临时表进行分析得出需要的指标 最终把得到的结果通过sqoop导出到MySQL数据库   1 对于pv： 统计网页的浏览量 2  U...
Hive使用之通过sqoop倒数据——sqoop安装
weixin_43267534的博客
12-21 251
在大数据领域里面我们一直都是使用Hadoop来处理和存储数据的，但是有的时候我们需要将处理完的数据返回给前端UI来展示给我们的用户，但是如果让前端直接来访问我们的hdfs来拉取数据的话，这效率真的不敢想象。所以我们需要将我用Hadoop/Spark处理完的数据重新放置回RBDMS里面去，那么怎么将HDFS上面的数据传输回RBDMS上面呢？难道每次都先get到本地然后再写入数据库里面？这个时候肯定有...
大数据HIve+Sqoop实训报告（下）上
qq_Lisa的博客
07-14 674
（二）分析“数据分析”、“大数据开发工程师”、“数据采集”等大数据相关岗位在成都、北京、上海、广州、深圳的岗位数，并做饼图将结果展示出来。 2.1分析在成都地区“数据分析”、“大数据开发工程师”、“数据采集”等大数据相关岗位的岗位数 在这里插入代码片 ...
hive 导入 mysql_将Hive统计分析结果导入到MySQL数据库表中（一）——Sqoop导入方式...
weixin_29349579的博客
01-18 547
交通流的数据分析，需求是对于海量的城市交通数据，需要使用MapReduce清洗后导入到HBase中存储，然后使用Hive外部表关联HBase，对HBase中数据进行查询、统计分析，将分析结果保存在一张Hive表中，最后使用Sqoop将该表中数据导入到MySQL中。整个流程大概如下：下面我主要介绍Hive关联HBase表——Sqoop导出Hive表到MySQL这些流程，原始数据集收集、MapRedu...
用sqoop将Oracle数据全量/增量导入到HIve的Shell/python脚本(第二版)
qq_40870024的博客
02-15 2511
全量导入 #!/usr/bin/env bash # /bin/bash biz_date=20210101 biz_fmt_date=2021-01-01 dw_parent_dir=/data/dw/ods/one_make/full_imp workhome=/opt/sqoop/one_make full_imp_tables=${workhome}/full_import_tables.txt mkdir ${workhome}/log orcl_srv=oracle.bigdata.cn or
mapreduce方式入库hbase hive hdfs
03-24
mapreduce方式入库hbase hive hdfs，速度很快，里面详细讲述了代码的编写过程，值得下载
sqoop导入oracle数据至hive
彩虹柠檬水
11-05 3867
一、目的 将oracle数据文件dmp中的数据导入到hive中。 目标分解： 由于已有的数据都在dmp文件中，因此要先将dmp文件中的数据导入到oracle中，再将oracle中的表导入到hive中。 二、dmp文件导入到oracle数据库 dmp文件：只有一个不知来源的dmp文件，不知道从哪个数据库中导出的，也不知道导出用户是谁。（不要紧，后面可以根据错误提示一步步改） oracle
datax 导入数据中文乱码_sqoop导入oracle数据到hive字符集不同导致中文乱码问题
weixin_39854070的博客
12-20 1028
最近在做sqoop导入oracle数据到hive字符集乱码问题，虽然没有解决，但是现在将一些尝试的过程发布，供大家参考，以后有遇到这种问题的供大家参考少走弯路。oracle里面的字符集是us7ascii，导入到hive里面后中文乱码hive环境(元数据为mysql)字符集是utf，在命令里面使用convert(rd_yj,'UTF8','US7ASCII')和utl_raw.cast_to_var...
利用hive进行分析，将hive分析结果利用sqoop技术存储到mysql数据库中，可视化结果
ITwangxiaoxu的博客
07-15 1877
flume监听hive日志文件并写入hdfs 修改hive默认日志文件夹 进入conf文件夹cp hive-exec-log4j2.properties.template hive-log4j2.properties vi hive-exec-log4j2.properties 将日志文件夹修改 回到根目录创建logs目录（mkdir logs） Flume介绍 Flume是Apache基金会组织的一个提供的高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类
大数据HIve+Sqoop实训报告（中）
qq_Lisa的博客
07-14 1360
（一）分析“数据分析”、“大数据开发工程师”、“数据采集”等岗位的平均工资、最高工资、最低工资，并作条形图将结果展示出来； 1、将“数据分析”、“大数据开发工程师”、“数据采集”等岗位表的信息分别提取出来； create table sjfx as select salary from job where name like '%数据采集%'; select * from sjfx; create table bigdata as select salary from job where name l
hive-sqoop案例
qq_27304939的博客
06-30 330
部分原始数据 27.19.74.143 - - [30/May/2013:17:38:20 +0800] "GET /static/image/common/faq.gif HTTP/1.1" 200 1127 110.52.250.126 - - [30/May/2013:17:38:20 +0800] "GET /data/cache/style_1_widthauto.c
sqoop读取数据库数据并存储在hive中
weixin_39690956的博客
04-15 293
这里写目录标题读取mysql全部表数据读取创建hive数据表 读取mysql全部表数据 sqoop import-all-tables --connect jdbc:mysql://localhost:3306/share --username root --password @fk123456cc 读取创建hive数据表 hive> create database if not exists admin; hive> CREATE TABLE IF NOT EXISTS admi
将Hive统计分析结果导入到MySQL数据库表中（一）——Sqoop导入方式
热门推荐
NIITYZU的专栏
04-22 1万+
最近在做一个交通流的数据分析，需求是对于海量的城市交通数据，需要使用MapReduce清洗后导入到HBase中存储，然后使用Hive外部表关联HBase，对HBase中数据进行查询、统计分析，将分析结果保存在一张Hive表中，最后使用Sqoop将该表中数据导入到MySQL中。整个流程大概如下：         下面我主要介绍Hive关联HBase表——Sqoop导出Hive表到MySQL这
python爬取前程无忧招聘用Hive做数据分析Sqoop存储到Mysql并可视化
Mr_qing的博客
07-15 1485
一、导出数据 导出为zh_all2.txt文件 二、上传数据 三、使用Flume传入HDFS （1）编写conf文件 在flume的conf目录下新建文件 a1.sources=r1 a1.channels=c1 a1.sinks=s1 a1.sources.r1.type=exec a1.sources.r1.command=tail -F /opt/module/flume-1.9.0/conf/data/zh_all2.txt a1.sources.r1.bind=0.0.0.0 a1.s
Hive数据入库
丰brother的博客
05-06 1681
查看hadoop fs文件大小 hadoop fs -du -h /data/source/ 查看hadoop fs文件目录 hadoop fs -ls /data/source/ 查看hadoop fs文件夹内所有内容 hadoop fs -cat /data/source/* 将文件放入hdfs hdfs dfs -copyFromLocal 本机文件目录 放入的hdfs目录 hdf...
hive on redis
kuanghongjiang的专栏
10-08 1241
1.单节点redis kk.sh redis-cli -h 192.168.0.1 -p 6379 <<EOF DEL kk_redis exit EOF hive -f /home/kk/kk_redis.sql | grep -v "^WARN:" > /home/kk/kk_redis.txt unix2dos /home/kk/kk_redis.txt ...
Hadoop、hive、sqoop入门及完整小例子
fight4gold的专栏
07-27 2817
Hadoop、hive、sqoop入门及小例子
hive入库
最新发布
03-20
#### 使用 MySQL 存储 Hive 表的数据 为了实现将 Hive 的查询结果直接写入到 MySQL 中，可以采用 UDF 或者通过 JDBC 连接的方式完成操作。具体方法如下： 1. **创建外部表并指定存储位置** 首先，在 Hive 中可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值