Python查询hive结果保存到mysql的代码优化历程

最新推荐文章于 2024-06-19 00:56:06 发布
最新推荐文章于 2024-06-19 00:56:06 发布
阅读量819 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： # Hive # Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ddxygq/article/details/88395643
本文介绍了如何使用Python的PyHive库查询Hive数据，并将结果保存到MySQL数据库的过程，包括遇到的问题、解决方法以及代码优化，提供了封装数据库操作的模块化解决方案。

目录

1、需要的包

2、我们选择pyhive

3、下面举一个例子

4、代码简化

5、结果很甜

6、Python操作Hive事务表

我的博客原文地址：http://www.ikeguang.com/2018/12/21/pyhive-mysql/

由于hive查询结果是不能直接保存到mysql的，有人会用sqoop，相对还是不方便。当然了，肯定还有一些其它的hive~mysql互导工具，通常我们用python驱动hiveserver2，hivecli官方并不建议，也利用python将结果保存到mysql。那么python操作hive查询结果保存到mysql过程是怎么样的呢？

1、需要的包

网上百度，搜到的包不外乎下面3个，这里用第二个。

1、pyhs2,已没有更新维护
https://github.com/BradRuderman/pyhs2

2、pyhive
https://github.com/dropbox/PyHive

3、impyla
https://github.com/cloudera/impyla

2、我们选择pyhive

了解本专栏 订阅专栏 解锁全文 超级会员免费看
python查询hive结果保存到mysql的python代码优化历程
大数据技术派
01-16 1649
由于hive查询结果是不能直接保存到mysql的，有人会用sqoop，相对还是不方便。当然了，肯定还有一些其它的hive~mysql互导工具，通常我们用python驱动hiveserver2，hivecli官方并不建议，也利用python将结果保存到mysql。那么python操作hive查询结果保存到mysql过程是怎么样的呢？ 1、需要的包 网上百度，搜到的包不外乎下面3个，这里用第二个。...
第9章 数据仓库Hive
wyz191的专栏
04-09 2903
数据仓库 数据仓库的定义 专业定义 英文名称为Data Warehouse，可简写为DW。是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 通俗解释 （1）面向分析的存储系统(面向数据分析的存储系统） （2）W.H.Inmmon给出的，即“数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integra
python读取hive数据库_利用pyhive将hive查询数据导入到mysql
weixin_39939668的博客
12-29 1779
在大数据工作中经常碰到需要将hive查询数据导入到mysql的需求，常见的方法主要有两种，一是sqoop，另一种则是pyhive。本文主要讲的就是python的pyhive库的安装与使用。pyhive作用远程连接hive数据库，运行hive sql，而不需要登录到安装有hive的服务器上去可以更方便处理更多连续命令，可以封装一些经常需要复用的命令脚本化，不需要编译，随时改，随时执行看结果方便对hi...
python执行hivesql_python 调用shell hive sql
weixin_33521678的博客
12-24 1335
def generate_csv_source(data_file):#判断文件是否存在if not os.path.exists(data_file):# 拉取hive表数据cmd_sql = 'hive -e "set hive.cli.print.header=true; \select * from dw.full_d_usr_channel_sum_v3 where ds<>...
python脚本中hivesql字段注释格式化
09-12
# 此脚本查找以“--”开头的注释 # ----------------------------------------------示例----------------------------------------- # -- 查找姓名为张三的学生信息 # insert overwrite table student_search # select # id, -- id编号 # name, -- 姓名 # age, -- 年龄 # address -- 住址 # from student -- 学生表 # where 1=1 # and name = '张三' -- 姓名为张三 # ---------------------------------------------优化结果------------------------------------- # -- 查找姓名为张三的学生信息 # insert overwrite table student_search # select # id, -- id编号 # name, -- 姓名 # age, -- 年龄 # address -- 住址 # from student -- 学生表 # where 1=1 # and name = '张三' -- 姓名为张三 # ------------------------------------------------------------------------------------------
【python】hive数据库迁移到mysql数据库
lorogy的博客
12-31 1511
可能需要先看的内容(
python跑hivesql
侯大师的博客
09-27 738
# -*- coding: utf-8 -*- """ Created on Mon Sep 27 19:00:42 2021 @author: Administrator """ # -*- coding: utf-8 -*- """ Created on Fri Sep 24 18:11:10 2021 @author: Administrator """ import pandas as pd from presto_cli import presto_client import num...
Presto原理与代码实例讲解
AI天才研究院
06-19 1119
Presto原理与代码实例讲解 1.背景介绍 1.1 大数据查询引擎的发展历程 随着大数据时代的到来,企业需要处理和分析的数据量呈爆炸式增长。传统的关系型数据库已经无法满足海量数据的实时查询和分析需求。因此,大数据查询引擎应运而生,如
一位资深程序员面试Python工程师的岗位心得和历程
梦子微信
12-06 392
说一些面试的心得体会： 1、简历制作 我做了两份简历，用两个手机账号，两个简历名字，分别在各个招聘网站投了双份简历，一个是数据分析的简历、一个是web全栈开发的简历，我真正接触python快2年，不管是学习还是工作学到的东西，这两年大概掌握了（前端+django+爬虫+数据分析+机器学习+NLP+Linux）技术，技术水平自我评价一般，够日常一般使用，基于自己掌握的技术可以分成2方面，web和数据分析，所以为了尽快找到工作，就做了web全栈开发+数据分析（含爬虫）2份简历，同时投递 2、面试安排 疯狂投简.
Python执行hive sql
热门推荐
Haiwi-Song
08-19 1万+
该python脚本是用于执行hive脚本的，需要设置hive的可执行环境变量，其实质转化为shell下命令 hive -e ‘sql语句’ 的方式执行，然后把结果重定向到控制台显示。注：由于该脚本是直接调用shell中的hive命令，所以需要在安装hive的服务器上执行。
Python脚本执行hive SQL命令
三妹的博客
04-15 5907
一、问题背景 将 hive SQL写入 Python 脚本，这样就可以将 Python 脚本设为定时任务，不用每次手动执行 hive SQL 语句。 二、解决方法 import os def run_sql(): cmd = """ beeline ******** -e " select * from example_db.example_table; " """ ...
Python操作HIve，将数据插入到Mysql
T6789的专栏
04-02 929
Python操作HIve，将数据插入到Mysql import sys from hive_service import ThriftHive from hive_service.ttypes import HiveServerException from thrift import Thrift from thrift.transport import TSocket from ...
044 hive与mysql两种数据源之间的join
weixin_34125592的博客
07-28 253
　　这篇文章是基于上一篇文章的续集 一：需求 1.图形表示 　　     二：程序 1.程序、 1 package com.scala.it 2 3 import java.util.Properties 4 5 import org.apache.spark.sql.SaveMode 6 import org.apache.spark.sql.hive.HiveContext ...
python 连接 hive数据库环境搭建
weixin_30526593的博客
08-08 539
首先需要安装以下Python 包：（我用的是Python 2） 在安装Python包之前需要安装一些依赖工具： Debian/Ubuntu: apt-get install python-dev libsasl2-dev gcc CentOS/RHEL: yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64 ...
python使用selenium自动访问网站运行hivesql并取数（版本一）
数据挖掘分析工程师孙璇
02-09 847
      最近接了一个日报的自动化项目，主要是需要我们自动访问数据库，运行查询语句取数，并根据下载结果生成昨日日报，最终发送给领导们昨日一些主要数据指标。      需求方给了我们日报模板和hivesql代码，我们就吭哧吭哧的准备开干，怎么办呢？我之前曾经就自动爬取过知乎的问答列表及单个问答页面数据，用的就是selenium自动化测试模拟鼠标操作网页，也没啥问题（主要是我们的hive服务器为了防...
python命定执行hive程序_python连接 hive 执行hsql
weixin_33837846的博客
01-17 170
记录一下笔记：#!/usr/bin/env pythonimport syssys.path.append('/usr/local/hive-0.10.0/lib/py')from hive_service import ThriftHivefrom hive_service.ttypes import HiveServerExceptionfrom thrift import Thriftfro...
python使用hive sql
dd0906的博客
08-03 855
python使用hive sql 简单直接； 该python脚本是用于执行hive脚本的，需要设置hive的可执行环境变量，实际为shell下命令 hive -e 'sql语句’ 的方式执行，然后把结果重定向到控制台显示。 注：需要在安装了 hive的环境执行 #!/usr/bin/python #--coding:utf-8 -- import subprocess import traceback sql = “”" select * from test; ; “”" cmd = ‘hive -e “”
利用pyhive将hive查询数据导入到mysql
猪头三
05-25 5676
pyhive作用 远程连接hive数据库，运行hive sql，而不需要登录到安装有hive的服务器上去 可以更方便处理更多连续命令，可以封装一些经常需要复用的命令 脚本化，不需要编译，随时改，随时执行看结果 方便对hive sql的结果进行更多处理，而不是仅仅在终端打印出来看一看 安装环境 这里只讲解Linux环境，以ubuntu为例，其他系统类似 python 环境，我装的是py...
python自动生成hive sql脚本
qq_41448372的博客
04-30 912
# -*- coding: utf-8 -*- # -*- coding: utf-8 -*- import os import csv import xlrd from datetime import datetime, timedelta import copy def convert_xlsx_to_cvs(param_src_file_path, param_obj_file_pat...
使用python将hive的表同步到mysql
最新发布
12-11
使用Python将Hive的表同步到MySQL可以通过以下步骤实现： 1. **连接Hive和MySQL数据库**：使用合适的Python库，如`pyhive`或`impyla`连接Hive数据库，使用`pymysql`连接MySQL数据库。 2. **读取Hive表数据**：从Hive表中读取数据，可以使用SQL查询语句。 3. **写入MySQL表数据**：将读取到的数据写入MySQL表中。 以下是一个示例代码，展示了如何使用Python将Hive的表同步到MySQL： ```python from pyhive import hive import pymysql # 连接Hive数据库 hive_conn = hive.Connection(host='hive_host', port=10000, username='hive_user', database='hive_database') hive_cursor = hive_conn.cursor() # 连接MySQL数据库 mysql_conn = pymysql.connect(host='mysql_host', port=3306, user='mysql_user', password='mysql_password', database='mysql_database') mysql_cursor = mysql_conn.cursor() # 读取Hive表数据 hive_table = 'hive_table_name' hive_query = f"SELECT * FROM {hive_table}" hive_cursor.execute(hive_query) hive_data = hive_cursor.fetchall() # 获取Hive表的列名 hive_cursor.execute(f"DESCRIBE {hive_table}") hive_columns = [row[0] for row in hive_cursor.fetchall()] # 写入MySQL表数据 mysql_table = 'mysql_table_name' # 创建MySQL表（如果不存在） mysql_cursor.execute(f"CREATE TABLE IF NOT EXISTS {mysql_table} ({', '.join([f'{col} VARCHAR(255)' for col in hive_columns])})") mysql_conn.commit() # 插入数据 insert_query = f"INSERT INTO {mysql_table} ({', '.join(hive_columns)}) VALUES ({', '.join(['%s'] * len(hive_columns))})" mysql_cursor.executemany(insert_query, hive_data) mysql_conn.commit() # 关闭连接 hive_cursor.close() hive_conn.close() mysql_cursor.close() mysql_conn.close() ``` ### 解释： 1. **连接数据库**：使用`pyhive`连接Hive数据库，使用`pymysql`连接MySQL数据库。 2. **读取数据**：从Hive表中读取所有数据，并获取列名。 3. **创建表**：在MySQL中创建与Hive表结构相同的表。 4. **插入数据**：将数据插入到MySQL表中。 5. **关闭连接**：关闭与数据库的连接。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据技术派

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值