python数据库连接工具代码

最新推荐文章于 2024-06-24 19:59:46 发布
最新推荐文章于 2024-06-24 19:59:46 发布
阅读量499 收藏 4
点赞数 6
文章标签： python 数据库 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u010582342/article/details/139125303
版权

mysql连接

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2021/1/22 9:02
# @Author  : cwb
# @Site    : 
# @File    : mysqlhelper.py
# @Software: PyCharm
from db_dbutils_init import get_my_connection
import datetime
"""执行语句查询有结果返回结果没有返回0；增/删/改返回变更数据条数，没有返回0"""



class MySqLHelper(object):
    def __init__(self):
        self.db = get_my_connection()  # 从数据池中获取连接

    def __new__(cls, *args, **kwargs):
        if not hasattr(cls, 'inst'):  # 单例
            cls.inst = super(MySqLHelper, cls).__new__(cls, *args, **kwargs)
        return cls.inst

    # 封装执行命令
    def execute(self, sql, param=None, autoclose=False):
        """
        【主要判断是否有参数和是否执行完就释放连接】
        :param sql: 字符串类型，sql语句
        :param param: sql语句中要替换的参数"select %s from tab where id=%s" 其中的%s就是参数
        :param autoclose: 是否关闭连接
        :return: 返回连接conn和游标cursor
        """
        cursor, conn = self.db.getconn()  # 从连接池获取连接
        count = 0
        try:
            # count : 为改变的数据条数
            if param:
                count = cursor.execute(sql, param)
            else:
                count = cursor.execute(sql)
            conn.commit()
            if autoclose:
                self.close(cursor, conn)
        except Exception as e:
            pass
        return cursor, conn, count



    # 释放连接
    def close(self, cursor, conn):
        """释放连接归还给连接池"""
        cursor.close()
        conn.close()

    # 查询所有
    def selectall(self, sql, param=None):
        try:
            cursor, conn, count = self.execute(sql, param)
            res = cursor.fetchall()
            [self.__dict_datetime_obj_to_str(row_dict) for row_dict in res]
            return count,res
        except Exception as e:
            print(e)
            self.close(cursor, conn)
            return count

    # 查询单条
    def selectone(self, sql, param=None):
        try:
            cursor, conn, count = self.execute(sql, param)
            res = cursor.fetchone()
            self.close(cursor, conn)
            return res
        except Exception as e:
            print("error_msg:", e.args)
            self.close(cursor, conn)
            return count

    # 增加
    def insertone(self, sql, param):
        try:
            cursor, conn, count = self.execute(sql, param)
            # _id = cursor.lastrowid()  # 获取当前插入数据的主键id，该id应该为自动生成为好
            conn.commit()
            self.close(cursor, conn)
            return count
            # 防止表中没有id返回0
            # if _id == 0:
            #     return True
            # return _id
        except Exception as e:
            print(e)
            conn.rollback()
            self.close(cursor, conn)
            return count

    # 增加多行
    def insertmany(self, sql, param):
        """
        :param sql:
        :param param: 必须是元组或列表[(),()]或（（），（））
        :return:
        """
        cursor, conn, count = self.db.getconn()
        try:
            cursor.executemany(sql, param)
            conn.commit()
            return count
        except Exception as e:
            print(e)
            conn.rollback()
            self.close(cursor, conn)
            return count

    # 删除
    def delete(self, sql, param=None):
        try:
            cursor, conn, count = self.execute(sql, param)
            self.close(cursor, conn)
            return count
        except Exception as e:
            print(e)
            conn.rollback()
            self.close(cursor, conn)
            return count

    # 更新
    def update(self, sql, param=None):
        try:
            cursor, conn, count = self.execute(sql, param)
            conn.commit()
            self.close(cursor, conn)
            return count
        except Exception as e:
            print(e)
            conn.rollback()
            self.close(cursor, conn)
            return count

    @staticmethod
    def __dict_datetime_obj_to_str(result_dict):
        """把字典里面的datatime对象转成字符串，使json转换不出错"""
        if result_dict:
            result_replace = {k: v.__str__() for k, v in result_dict.items() if isinstance(v, datetime.datetime)}
            result_dict.update(result_replace)
        return result_dict

if __name__ == '__main__':
    db = MySqLHelper()
    # # 查询单条
    sql1 = 'select * from HS_RECIPEL order by create_time desc limit 10'
    args = 'python'
    ret = db.selectall(sql=sql1)
    print(type(ret))
    print(type(ret[1][0]["id"]))
    # sql1 = 'select * from user'
    # args = 'python'
    # ret = db.selectone(sql=sql1)
    # print(ret)  # (None, b'python', b'123456', b'0')
    # 增加单条
    # sql2 = 'insert into userinfo (name,password) VALUES (%s,%s)'
    # ret = db.insertone(sql2, ('old2','22222'))
    # print(ret)
    # 增加多条
    # sql3 = 'insert into userinfo (name,password) VALUES (%s,%s)'
    # li = li = [
    #     ('分省', '123'),
    #     ('到达','456')
    # ]
    # ret = db.insertmany(sql3,li)
    # print(ret)
    # 删除
    # sql4 = 'delete from  userinfo WHERE name=%s'
    # args = 'xxxx'
    # ret = db.delete(sql4, args)
    # print(ret)
    # 更新
    # sql5 = r"update `user` set token = %s , cookie=%s where id = %s"
    # args = ('eyJhbGciOiJIUzI1NiJ9.eyJhcGlVc2VyIjoie1wiYXBwSWRcIjpcImpiaGlxcWZsZm5hNW9sdFwiLFwidXNlcklkXCI6XCIxNzI2MVwiLFwidXNlck5hbWVcIjpcInh1YW5neUAxMjYuY29tXCJ9IiwianRpIjoiamJoaXFxZmxmbmE1b2x0XzE3MjYxX2IwNDQ2MGFjN2YxODRjNTA4MzY0NTZiMWI1NDViYzNmIiwiaXNzIjoiSkJPTFQiLCJhdWQiOiJ4dWFuZ3lAMTI2LmNvbSIsImlhdCI6MTYxMTEzODYwNSwiZXhwIjoxNjM3MDU4NjA1fQ.gek-d2JKQH7o3nG7LJdRl9v8dt9IdsohyL6SZhh2-Cs', '_aws_captcha=94dc40aa44a64f06984b78d83c3340f7','17236')
    # ret = db.update(sql5,args)
    # print(ret)

连接池

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2021/1/22 9:01
# @Author  : cwb
# @Site    : 
# @File    : db_dbutils_init.py
# @Software: PyCharm
from dbutils.pooled_db import PooledDB
import db_config as config
import pymysql


"""
@功能：创建数据库连接池
"""


class MyConnectionPool(object):
    __pool = None

    # def __init__(self):
    #     self.conn = self.__getConn()
    #     self.cursor = self.conn.cursor()

    # 创建数据库连接conn和游标cursor
    def __enter__(self):
        self.conn = self.__getconn()
        self.cursor = self.conn.cursor()

    # 创建数据库连接池
    def __getconn(self):
        if self.__pool is None:
            # mincached = 10, maxcached = 20, maxshared = 10, maxconnections = 200, blocking = True,
            # maxusage = 100, setsession = None, reset = True,
            # host = '45.249.94.71', port = 3306, db = 'cwb',
            # user = 'root', passwd = 'Chenwb@113355', charset = 'utf8mb4',
            # cursorclass = pymysql.cursors.DictCursor,
            # creator = pymysql
            self.__pool = PooledDB(
                creator=config.DB_CREATOR,
                mincached=config.DB_MIN_CACHED,
                maxcached=config.DB_MAX_CACHED,
                maxshared=config.DB_MAX_SHARED,
                maxconnections=config.DB_MAX_CONNECYIONS,
                blocking=config.DB_BLOCKING,
                maxusage=config.DB_MAX_USAGE,
                setsession=config.DB_SET_SESSION,
                host=config.mysql_ip,
                port=config.DB_TEST_PORT,
                user=config.DB_TEST_USER,
                passwd=config.DB_TEST_PASSWORD,
                db=config.DB_TEST_DBNAME,
                charset=config.DB_CHARSET,
                cursorclass=pymysql.cursors.DictCursor,
                reset=True
            )
        return self.__pool.connection()

    # 释放连接池资源
    def __exit__(self, exc_type, exc_val, exc_tb):
        self.cursor.close()
        self.conn.close()

    # 关闭连接归还给链接池
    # def close(self):
    #     self.cursor.close()
    #     self.conn.close()

    # 从连接池中取出一个连接
    def getconn(self):
        conn = self.__getconn()
        cursor = conn.cursor()
        return cursor, conn


# 获取连接池,实例化
def get_my_connection():
    return MyConnectionPool()

配置文件

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2021/1/22 9:01
# @Author  : cwb
# @Site    : 
# @File    : db_config.py
# @Software: PyCharm
import pymysql


# 数据库信息
mysql_ip = "192.168.1.200"

DB_TEST_PORT = 3306
DB_TEST_DBNAME = "hsrg"
DB_TEST_USER = "root"
DB_TEST_PASSWORD = "hsrg8888"
# 数据库连接编码
DB_CHARSET = "utf8mb4"

# mincached : 启动时开启的闲置连接数量(缺省值 0 开始时不创建连接)
DB_MIN_CACHED = 1

# maxcached : 连接池中允许的闲置的最多连接数量(缺省值 0 代表不闲置连接池大小)
DB_MAX_CACHED = 10

# maxshared : 共享连接数允许的最大数量(缺省值 0 代表所有连接都是专用的)如果达到了最大数量,被请求为共享的连接将会被共享使用
DB_MAX_SHARED = 20

# maxconnecyions : 创建连接池的最大数量(缺省值 0 代表不限制)
DB_MAX_CONNECYIONS = 20

# blocking : 设置在连接池达到最大数量时的行为(缺省值 0 或 False 代表返回一个错误<toMany......> 其他代表阻塞直到连接数减少,连接被分配)
DB_BLOCKING = True

# maxusage : 单个连接的最大允许复用次数(缺省值 0 或 False 代表不限制的复用).当达到最大数时,连接会自动重新连接(关闭和重新打开)
DB_MAX_USAGE = 0

# setsession : 一个可选的SQL命令列表用于准备每个会话，如["set datestyle to german", ...]
DB_SET_SESSION = None

# creator : 使用连接数据库的模块
DB_CREATOR = pymysql

psql连接工具

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2021/1/22 9:02
# @Author  : cwb
# @Site    : 
# @File    : PsqLHelper.py
# @Software: PyCharm
from db_dbutils_init import get_my_connection
import datetime
"""执行语句查询有结果返回结果没有返回0；增/删/改返回变更数据条数，没有返回0"""



class PsqLHelper(object):
    def __init__(self):
        self.db = get_my_connection()  # 从数据池中获取连接

    def __new__(cls, *args, **kwargs):
        if not hasattr(cls, 'inst'):  # 单例
            cls.inst = super(PsqLHelper, cls).__new__(cls, *args, **kwargs)
        return cls.inst

    # 封装执行命令
    def execute(self, sql, param=None, autoclose=False):
        """
        【主要判断是否有参数和是否执行完就释放连接】
        :param sql: 字符串类型，sql语句
        :param param: sql语句中要替换的参数"select %s from tab where id=%s" 其中的%s就是参数
        :param autoclose: 是否关闭连接
        :return: 返回连接conn和游标cursor
        """
        cursor, conn = self.db.getconn()  # 从连接池获取连接
        count = 0
        try:
            # count : 为改变的数据条数
            if param:
                count = cursor.execute(sql, param)
            else:
                count = cursor.execute(sql)
            conn.commit()
            if autoclose:
                self.close(cursor, conn)
        except Exception as e:
            pass
        return cursor, conn, count

    # 执行多条命令
    # def executemany(self, lis):
    #     """
    #     :param lis: 是一个列表，里面放的是每个sql的字典'[{"sql":"xxx","param":"xx"}....]'
    #     :return:
    #     """
    #     cursor, conn = self.db.getconn()
    #     try:
    #         for order in lis:
    #             sql = order['sql']
    #             param = order['param']
    #             if param:
    #                 cursor.execute(sql, param)
    #             else:
    #                 cursor.execute(sql)
    #         conn.commit()
    #         self.close(cursor, conn)
    #         return True
    #     except Exception as e:
    #         print(e)
    #         conn.rollback()
    #         self.close(cursor, conn)
    #         return False

    # 释放连接
    def close(self, cursor, conn):
        """释放连接归还给连接池"""
        cursor.close()
        conn.close()

    # 查询所有
    def selectall(self, sql, param=None):
        try:
            # 创建一个游标对象
            cursor,conn, count = self.execute(sql, param)
            # cursor = conn.cursor()
            columns = [desc[0] for desc in cursor.description]
            results = [dict(zip(columns, row)) for row in cursor.fetchall()]
            # [self.__dict_datetime_obj_to_str(row_dict) for row_dict in res]
            return count,results
        except Exception as e:
            print(e)
            self.close(cursor, conn)
            return count

    # 查询单条
    def selectone(self, sql, param=None):
        try:
            cursor, conn, count = self.execute(sql, param)
            res = cursor.fetchone()
            self.close(cursor, conn)
            return res
        except Exception as e:
            print("error_msg:", e.args)
            self.close(cursor, conn)
            return count

    # 增加0 = {str} "'tuple' object has no attribute 'items'"
    def insertone(self, sql, param):
        try:
            cursor, conn, count = self.execute(sql, param)
            # _id = cursor.lastrowid()  # 获取当前插入数据的主键id，该id应该为自动生成为好
            conn.commit()
            self.close(cursor, conn)
            return count
            # 防止表中没有id返回0
            # if _id == 0:
            #     return True
            # return _id
        except Exception as e:
            print(e)
            conn.rollback()
            self.close(cursor, conn)
            return count

    # 增加多行
    def insertmany(self, sql, param):
        """
        :param sql:
        :param param: 必须是元组或列表[(),()]或（（），（））
        :return:
        """
        cursor, conn, count = self.db.getconn()
        try:
            cursor.executemany(sql, param)
            conn.commit()
            return count
        except Exception as e:
            print(e)
            conn.rollback()
            self.close(cursor, conn)
            return count

    # 删除
    def delete(self, sql, param=None):
        try:
            cursor, conn, count = self.execute(sql, param)
            self.close(cursor, conn)
            return count
        except Exception as e:
            print(e)
            conn.rollback()
            self.close(cursor, conn)
            return count

    # 更新
    def update(self, sql, param=None):
        try:
            cursor, conn, count = self.execute(sql, param)
            conn.commit()
            self.close(cursor, conn)
            return count
        except Exception as e:
            print(e)
            conn.rollback()
            self.close(cursor, conn)
            return count

    @staticmethod
    def __dict_datetime_obj_to_str(result_dict):
        """把字典里面的datatime对象转成字符串，使json转换不出错"""
        if result_dict:
            result_replace = {k: v.__str__() for k, v in result_dict.items() if isinstance(v, datetime.datetime)}
            result_dict.update(result_replace)
        return result_dict

if __name__ == '__main__':
    db = PsqLHelper()
    # # 查询单条
    sql1 = 'select * from hs_recipel order by create_time desc limit 10'
    args = 'python'
    ret = db.selectall(sql=sql1)
    print(ret[1])

psql和mysql返回的值不一样，区别再与selectall方法，mysql返回值直接带有字段名，psql没有需要自己处理

def selectall(self, sql, param=None):
        try:
            # 创建一个游标对象
            cursor,conn, count = self.execute(sql, param)
            # cursor = conn.cursor()
            columns = [desc[0] for desc in cursor.description]
            results = [dict(zip(columns, row)) for row in cursor.fetchall()]
            # [self.__dict_datetime_obj_to_str(row_dict) for row_dict in res]
            return count,results
        except Exception as e:
            print(e)
            self.close(cursor, conn)
            return count
Python3配置MySQL数据库连接池
songlh1234的博客
11-19 3966
一、首先第一步，我们先来编写数据库配置文件，在test001keshanchu下创建目录和文件test_db\config.ini，内容如下 [DATABASE] host = 10.182.27.158 port = 3306 user = root passwd = 123456wt database = xttest_new dbchar = utf8 table = interface...
Python -mysql 连接池
yanyangjie的专栏
11-23 1000
参考廖雪峰网站 MySQL是Web世界中使用最广泛的数据库服务器。 SQLite的特点是轻量级、可嵌入，但不能承受高并发访问，适合桌面和移动应用。 MySQL是为服务器端设计的数据库，能承受高并发访问，同时占用的内存也远远大于SQLite。 此外，MySQL内部有多种数据库引擎，最常用的引擎是支持数据库事务的InnoDB。 1.数据库连接 2.数据库连池： python的数据
python mysql 连接池使用
加菲猫小站
01-13 471
[code="python"] import MySQLdb from DBUtils.PooledDB import PooledDB dbpool = PooledDB(creator=MySQLdb, maxusage=1000,host='host',user='root', passwd='pwd',db='test') conn = dbpool.connect...
mysql连接池
恒
09-02 262
先建表 create table users( id int not null auto_increment, name varchar(50) not null, primary key(id))engine=innodb default charset=utf8; 连接池 import time import pymysql import threading from DBUtils.PooledDB import PooledDB, SharedDBConnection class my
Python连接MySQL数据库连接池
Gscsd的博客
06-20 8061
QueuePool 是 SQLAlchemy 内置的一个连接池实现，它可以管理一个连接队列，确保每个连接在使用后被适当地关闭。它支持多种类型的连接池，并使用 threading模块实现线程安全，具有更高的性能和稳定性。SQLAlchemy 中的 QueuePool 和 DBUtils 中的 PooledDB 都是流行的 Python数据库连接池实现，它们具有相似的功能但具有一些区别。连接池的优点是可以在多个线程或进程之间共享，并且可以有效地管理连接数，而无需手动打开和关闭连接。
【python语言技术文档】python读取数据库数据 python查询数据库 python数据库连接
最新发布
09-24
以MySQL为例，我们首先需要通过pip安装MySQLDB库，然后在Python代码中导入并使用`connect()`方法建立数据库连接。连接数据库时需要提供主机名、用户名、密码和数据库名等信息，而`charset`参数则用于指定连接的字符...
python连接mysql数据库脚本工具
05-08
# 数据库连接参数 host = 'localhost' # MySQL服务器地址 port = 3306 # MySQL服务器端口 user = 'your_username' # 数据库用户名 password = 'your_password' # 数据库密码 db = 'your_database' # 数据库名 ...
python使用数据库连接池操作数据库
weixin_71894495的博客
06-24 436
本文分别介绍了pymysql和connector模块，两种数据库连接方式，从而实现通过提交sql语句来进行数据库的增删改查，作者推荐后者连接池进行连接数据库，更为稳定可靠。
python mysql pymysql数据库连接池源代码
09-28
在Python中，`pymysql`库提供了与MySQL数据库交互的能力，而为了提高性能和资源管理，通常会使用数据库连接池（Connection Pool）。本文将深入探讨Python中的`pymysql`库以及如何使用它来实现数据库连接池。 `...
Python实现连接postgresql数据库的方法分析
09-09
总的来说，`psycopg2`和`python3-postgresql`都是有效的工具，用于在Python中与PostgreSQL数据库交互。`psycopg2`更常用且功能强大，而`python3-postgresql`则提供了一种非阻塞的连接方式，适合某些特定场景。选择...
Python下mysql数据库连接池
qq_29744347的博客
04-07 3863
文章目录前言使用模块创建连接池取出连接连接放回池子 前言 参考我的文章 Python操作mysql 连接池能复用mysql连接，节约资源 使用模块 import mysql.connector.pooling 创建连接池 # mysql.connector.pooling.MySQLConnectionPool() # pool_size 池子连接数 config = { "host": "47.98.164.90", "port": "33
python MySQL数据库连接池（待整理）
qq_39586201的博客
10-20 515
python MySQL连接池
Python连接MySQL - 使用连接池
MarkAdc的博客
06-28 2万+
mysql连接池，非常好用，传授于你
python-mysql-连接池
sinat_15793123的博客
05-07 270
利用内部队列编写的简易的支持上下文的连接池，目前只支持多线程内的链接代码如下实现了 最大最小连接池的限制，链接回收，dml封装，动态维护链接等操作import MySQLdb import logging import Queue from threading import Thread from contextlib import contextmanager import time cla...
python mysql数据库连接池
工具人的博客
07-26 377
一、首先第一步，我们先来编写数据库配置文件，在test001keshanchu下创建目录和文件test_db\config.ini，内容如下 [DATABASE] host = 10.182.27.158 port = 3306 user = root passwd = 123456wt database = xttest_new dbchar = utf8 table = interface_test 二、第二步，我们写一个从config.ini配置文件中读取我们想要信息的readConfig.py文件
Python数据库连接池DBUtils
热门推荐
翟海飞
01-04 4万+
1 问题由来前一段时间用Mysqldb模块进行数据库的开发。共用一个数据库连接： import MySQLdb as mdb def create_single_conn(self): self._mysql_connection = mdb.connect( '%s' % conf.db['host'], '%s' % conf
Python使用Mysql连接池
Hi~ o(*￣▽￣*)ブ
08-17 1万+
0X00 为什么要用数据库连接池 平常可能习惯使用pymysql或者一些数据库连接包去跟数据库交互，代码可能是这样的： import pymysql config = { 'host': config_template['MYSQL']['HOST'], 'port': config_template['MYSQL']['PORT'], 'user': config...
python mysql连接池_连接池 – python中的MySQL连接池？
weixin_39610964的博客
11-29 282
我正在尝试使用Python处理大量数据并在MySQL中维护处理状态.但是,我很惊讶没有python-mysql的标准连接池(比如Java中的HikariCP).我最初是从PyMySQL开始的,在程序运行前几个小时之前一切都很棒.几个小时后,事情开始失败.我遇到了很多错误：pymysql.err.OperationalError: (2003, "Can't connect to MySQL ser...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

豆芽脚脚

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值