通过python pandas 连接gbase8a

最新推荐文章于 2024-07-30 17:32:39 发布

原创

最新推荐文章于 2024-07-30 17:32:39 发布 · 946 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#gbase #python #pandas

本文介绍了在Ubuntu 20.04上如何处理缺乏GBase8a数据库Python连接器的问题，通过将RPM格式的ODBC驱动转换为DEB并配置相关文件，最终成功利用pandas的read_sql功能进行数据操作。

国产数据库要支持啊

但是有些环境就是有缺失，比如 sqlalchemy 中的 create_engine

咋办？

绕过去吧！使用odbc! 但是只能read_sql不能to_sql!!!!!

gbase提供的linux odbc 是rh7 的rpm 的，我要安装到ubuntu20。04，咋办？

简单！

先把rpm转成deb的，咋办？网上搜吧，有现成的解决方案。

只需要转odbc.rpm这一个包就行然后 dpkg -i 安装然后apt install -f 安装依赖

然后配置需要配置的内容

1。先看看配置文件都在哪

odbcinst -j 这个命令没有就 apt install unixodbc


unixODBC 2.3.6
DRIVERS............: /etc/odbcinst.ini
SYSTEM DATA SOURCES: /etc/odbc.ini
FILE DATA SOURCES..: /etc/ODBCDataSources
USER DATA SOURCES..: /home/zc/.odbc.ini
SQLULEN Size.......: 8
SQLLEN Size........: 8
SQLSETPOSIROW Size.: 8

2.配置驱动新建或者修改 /etc/odbcinst.ini

[GBase ODBC 8.3 Driver]
Driver=/usr/lib64/libgsodbc8.so   ----我的机器上这个so就是在这里
UsageCount = 1
DontDLClose = 1
Threading = 0

3。配置具体的数据库连接 /etc/odbc.ini

[gbase]
Driver = GBase ODBC 8.3 Driver
DATABASE

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

CHN悠远

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

100天精通Python（数据分析篇）——第53天：初识pandas模块_基础介绍

努力让自己发光，对的人才能迎着光而来

08-29

17万+

一、初始pandas 1. 什么是pandas？ 2. 为什么要学习pandas？ 3. pandas的优势 4. 下载安装pandas 二、Pandas的数据类型 1. Series 2. DataFrame

Python 用pandas连接Postgresql库

赫凯的博客

09-02

1043

pandas确实蛮强的，记录使用的代码。

参与评论您还未登录，请先登录后发表或查看评论

GBase 8a Python Connector使用排雷

qq_33800672的博客

04-19

1565

GBase 8a是一款优秀的MPP数据库，使用Python3开发ETL程序可以并行执行，并异步输出格式化的日志到文件，比传统的使用存储过程开发ETL的方式更优。 GBase 8a 提供的GBase Python Connector可以用于操作GBase 8a数据库。本人使用的gbase8a_pythonAPI4python3.x目前的版本为3.0.1，该版本在使用中有一些问题，需要改进才能更好的使用，以下内容基于该版本。端口参数官方的接口参数一般有以下常用参数： conn = .

pandas连接数据库读写文件

qq_60976312的博客

05-27

1062

pandas连接数据库读写文件

Python连接GBase 8s数据库（通过ODBC）

小测开一枚，与大家分享工作中的点点滴滴，共同进步！

12-08

8267

Python连接GBase 8s数据库有多种方式，比如可以通过JDBC连接，这里介绍Python如何通过ODBC连接GBase 8s数据库。 1、配置GBase 8s数据库ODBC数据源 Python通过ODBC连接GBase 8s数据库，首先要进行ODBC数据源的配置，参考 GBase 8s ODBC数据源配置 2、Python环境安装pyodbc pip install pyodbc 3、开始coding import pyodbc dsn = "DSN=gbaseserver1" conn=pyo

Python怎么链接GBase8a MPP数据库

吕海洋的博客

11-27

1149

直接用pymsyql库就行。。。。

GBase 8a MPP数据库Python驱动高可用

fantastic23的博客

10-31

506

GBase 8a MPP数据库Python驱动高可用

python连接数据库与增删改查（MySQL、GBase）

weixin_44458771的博客

03-11

999

psycopg2用于连接和操作PostgreSQL数据库，它是对libpq（PostgreSQL的C语言库）的封装，为Python提供了一个高效且功能丰富的接口来与PostgreSQL数据库进行交互。由于工作中需要用到pandas对数据库表的查询、计算、插入、删除等操作，需要使用Python连接数据库并进行操作，于是写了一个DataBase类，实现对MySQL、Gbase数据库的连接，用到的Python库主要是pymysql、psycopg2。

Python Pandas 安装和设置

weixin_42098295的博客

01-01

4076

Series 是一种一维数组，类似于 NumPy 的 ndarray，但它可以拥有轴标签，因此可以存储异构类型的数据。它们都提供了用于处理数据的功能，但它们的侧重点有所不同。DataFrame 类似于 NumPy 的 ndarray 类，但它具有一些额外的功能，例如列标签和索引。可以将 Pandas 的 DataFrame 和 Series 转换为 NumPy 的数组，反之亦然。它提供了丰富的功能，如数据对齐、处理缺失数据、时间序列分析等，非常适合用来处理和分析实际中的结构化数据。

Python3.7Pandas离线包

07-13

**Python3.7 Pandas离线包** 在Python编程中，Pandas库是数据分析的核心工具，它提供了高效的数据结构和数据分析功能。对于那些无法在线安装或网络环境受限的用户，提供Pandas的离线包是一种非常实用的方式。Python...

python Gbase第三方包

03-15

python连接gbase数据库的第三方包，这个是官方提供的资源，有不同版本支持python2和python3，网上很难找到！

Python连接Gbase数据库

weixin_50646402的博客

08-11

1299

在数据清洗和计算方面,Python比SQL的灵活性更强，本文记录使用Python读取Gbase数据库中的数据。

pandas连接数据库

zjjnorth的博客

04-03

1753

python强大的处理数据的能力很大一部分来自Pandas，pandas不仅限于读取本地的离线文件，也可以在线读取数据库的数据，处理后再写回数据库中。pandas主要是以sqlalchemy方式与数据库建立链接，支持Mysql、postgresql、Oracle、MS SQLServer、SQLite等主流数据库。一：创建链接数据库引擎 from sqlalchemy import crea...

GBase 8a支持python自定义函数

weixin_55155164的博客

07-30

882

此功能为对 PL/Python匿名代码块功能的实现，相此Postgres，可以支持参数传入，输出参数返回字符串类型的执行结果。＜参数名称>在同一个函数中必须唯一，只允许a～Z、A～Z、0~9、下划线，且不能只包含数字。<函数定义>是一系列的 Python 语句的组合，其中包含一些数据操作以完成一定的功能逻辑。parameter定义函数的参数，每一个参数的定义格式是，<参数名称><参数数据类型>定义函数时，函数名后面的括号是必需的，即使没有任何参数，也不能省略。<参数数据类型>指定参数的数据类型。

Python如何使用GBase 8a调用存储过程和一次执行多条sql语句

weixin_42038855的博客

12-06

1973

GBase 8a中的execute()函数也可以同时执行多条语句，但需要使该函数中的multi_stmt参数的值为True；使用callproc()函数可以调用存储过程。 1、创建数据库连接： from GBaseConnector import connect config = { 'host': '你的数据库IP地址', 'user': 'username', 'password': 'passwd', 'port': 5258, # 默认为5258 'db': 'test', 'char

南大通用GBase8s之Python通过ODBC连接数据库

weixin_47390342的博客

07-09

526

使用pandas模块从数据库读取数据（转）

loner_fang的博客

07-17

5966

转自：http://www.tuicool.com/articles/ZVzEz2N Python中用Pandas进行数据分析,最常用的就是Dataframe数据结构，之前写过一篇文章介绍Pandas的基本用法，后来有些朋友问Pandas怎么从数据库中读取数据，怎么从文件中读取数据之类的问题，因此单独开篇文章介绍Pandas如何读取数据到Dataframe。 1. Pandas读取Mys...

Python数据分析入门笔记2——pandas数据读取

奥特曼打小白的专栏

01-27

7766

快速入门pandas，认识pandas三大结构Series、DataFrame和Panel中的前两种，知道读取文件，并且按行或者按列有选择性地查找数据。

Gbase8t/s Python 连接数据库方法及增删改查操作示例

十七的博客

09-21

4029

源自官方提供提供文档，侵删。 8s和8t架构相同，方法相同，以下方法我并没有实测过，谨慎使用。目录 windows平台python链接GBase8t数据库 linux平台python使用pyodbc链接GBase8t 1）、Linux下GBase的ODBC配置 2）、验证GBase ODBC配置 3）、python链接GBase8t python使用informixdb链接GB...

python 来连接gbase

最新发布

07-15

<think>我们已知用户想使用Python连接GBase数据库。根据引用，有几种不同的方法： 1. 使用GBase官方提供的Python Connector（引用[1][2][3]） 2. 使用pymysql（引用[4]） 3. 使用openGauss的驱动（引用[5]）但注意引用[5]是针对GBase8c（基于openGauss）的，所以需要确认用户连接的GBase数据库类型。由于GBase有多个产品线（如GBase 8a, GBase 8c等），我们需要根据用户的实际数据库类型选择驱动。根据引用[1][2][3]的信息，GBase官方提供了针对Python3的驱动：gbase-connector-python。而引用[4]则使用pymysql（一种通用的MySQL客户端）来连接GBase，这可能是利用了GBase与MySQL协议的兼容性。因此，我们分两种情况给出方案：情况1：使用官方驱动（推荐）步骤： 1. 安装官方驱动：根据引用[3]的文档，安装GBase-connector-python。 2. 连接数据库：使用该驱动提供的connect方法。情况2：使用pymysql（当官方驱动不可用或需要兼容MySQL时）步骤： 1. 安装pymysql：`pip install pymysql` 2. 使用pymysql.connect方法连接，参数与连接MySQL类似。注意：引用[4]中提到使用pymysql连接时，如果查询时间过长可能会断开连接，需要设置合适的超时参数或心跳机制。根据引用[2]中的信息，使用官方驱动时可能也会遇到连接超时问题，可以通过设置连接参数（如connect_timeout）来解决。下面分别给出两种方式的代码示例：方式一：使用GBase官方驱动（以引用[1][2][3]为例）假设我们使用的是GBase 8a，驱动名为gbase-connector-python（注意版本，可能有针对python3和python2的不同版本）安装驱动（具体版本请参考官方文档）： pip install gbase-connector-python # 或者根据具体版本安装连接示例： import gbase conn = gbase.connect(host='your_host', port=5258, user='your_user', password='your_password', database='your_database') 方式二：使用pymysql（引用[4]） import pymysql conn = pymysql.connect(host='your_host', port=3306, user='your_user', password='your_password', database='your_database', charset='utf8') 注意：端口号需要根据实际数据库配置，GBase 8a默认端口为5258，而使用pymysql连接时通常使用MySQL协议，端口可能是3306（具体看数据库配置）。另外，引用[5]提供了使用openGauss驱动连接GBase8c的方法，如果用户使用的是GBase8c（基于openGauss），则应该使用openGauss的驱动（psycopg2的变种）。但注意，该驱动包名可能是opengauss或psycopg2（需根据官方文档调整）。因此，在回答之前，我们需要确认用户连接的GBase数据库类型。但用户问题中没有明确，所以我们提供通用的两种方案（官方驱动和pymysql）并说明适用情况。由于用户问题只提到“GBase数据库”，我们以最常见的GBase 8a为例（因为引用[1][2][3][4]都是针对8a的），同时提一下8c的情况。回答结构： 1. 确认数据库类型的重要性 2. 连接GBase 8a的两种方法（官方驱动和pymysql） 3. 连接GBase 8c的方法（使用openGauss驱动） 4. 常见问题（如连接超时）如果用户没有明确数据库类型，建议先尝试官方驱动（如果知道是8a）或pymysql（如果知道是8a且官方驱动安装有问题），如果是8c则使用openGauss驱动。由于用户没有提供具体数据库类型，我们以GBase 8a为例，给出官方驱动和pymysql两种方式。同时，根据引用[2]和[4]，我们需要注意连接超时问题，因此设置连接参数时增加超时时间或心跳设置。下面开始正式回答：</think>### Python连接GBase数据库方法根据您的需求，以下是Python连接GBase数据库的两种常用方法，请根据您的数据库类型（GBase 8a或GBase 8c）选择对应方案： --- ### **方法1：使用官方驱动（推荐）** #### 适用数据库：GBase 8a ```python # 安装官方驱动（需提前获取安装包） # pip install gbase_connector_python-xxx.whl # 替换为实际驱动文件名 import gbase # 创建数据库连接 conn = gbase.connect( host="your_host", # 数据库服务器IP port=5258, # 默认端口5258 user="your_username", password="your_password", database="your_db_name", connect_timeout=30 # 防止超时断开[^2] ) # 执行SQL查询 cursor = conn.cursor() cursor.execute("SELECT * FROM your_table") result = cursor.fetchall() # 处理结果 for row in result: print(row) # 关闭连接 cursor.close() conn.close() ``` **注意**： 1. 官方驱动需从GBase官网获取对应版本（如`gbase_connector_python3-8.0.3`） 2. 若遇`Lost connection`错误，需增加`connect_timeout`参数[^2] --- ### **方法2：使用PyMySQL驱动** #### 适用数据库：兼容MySQL协议的GBase 8a ```python # 安装PyMySQL # pip install pymysql import pymysql conn = pymysql.connect( host="your_host", port=3306, # 通常使用3306端口 user="your_username", password="your_password", database="your_db_name", charset='utf8', cursorclass=pymysql.cursors.DictCursor # 返回字典格式数据 ) # 使用Pandas读取数据（避免警告） import pandas as pd sql = "SELECT * FROM your_table" df = pd.read_sql(sql, conn) # 直接转为DataFrame[^4] print(df.head()) # 关闭连接 conn.close() ``` --- ### **GBase 8c数据库连接方法** ```python # 安装OpenGauss驱动（兼容GBase 8c） # pip install psycopg2-binary import psycopg2 conn = psycopg2.connect( host="your_host", port=5432, # 默认端口5432 user="your_username", password="your_password", database="your_db_name" ) # 后续操作类似上述示例[^5] ``` --- ### **常见问题解决** 1. **驱动安装问题** - 官方驱动需匹配Python版本（如Python3.x需`gbase8a_pythonAPI4python3.x`） - 缺失依赖时安装：`pip install cryptography` 2. **连接超时处理** 在连接参数中添加： ```python connect_timeout=30, # 单位秒 read_timeout=60 # 查询超时时间 ``` 3. **中文乱码问题** 在连接字符串中显式指定编码： ```python charset='utf8mb4' ``` --- ### **引用说明** [^1]: GBase官方Python驱动支持多种操作，建议优先使用官方方案[^1] [^2]: 连接超时可通过`connect_timeout`参数解决，建议设置值≥30秒[^2] [^4]: 使用PyMySQL时可通过`pd.read_sql()`直接转为DataFrame[^4] [^5]: GBase 8c需使用OpenGauss驱动（psycopg2）[^5]