PGBouncer介绍及使用方式

PostgreSQL轻量级数据库连接池工具PGBouncer PGBouncer是一个轻量级的PostgreSQL数据库连接池,主要用于减少数据库服务器的连接压力,提高数据库的处理能力。它支持三种连接池模式:会话连接池、事务连接池和语句连接池,适用于不同的使用场景。PGBouncer的内存需求较低(默认为每个连接2KB),因为它不需要一次性接收完整的数据包。此外,PGBouncer不与单个后端服务器绑定,目标数据库可以位于不同的主机上。它支持在线重新配置和在线重启/升级,而不会断开客户端的连接。PGBouncer只支持协议V3版本,因此后端版本必须大于等于7.4。 阅读详情


  1. 什么是pgbouncer
  PGBouncer是一个轻量级的针对PostgreSQL的数据库连接池工具,能够给客户端提供一个统一的链接视图。

  PgBouncer的作用
    a.PgBouncer可以在后端数据库和前端应用间建立连接的桥梁,由PgBouncer去处理和后端数据库的连接关系。
    b.对客户端连接进行限制,预防过多或者恶意的连接请求。

  PgBouncer的特点
    a.内存消耗低(默认为2k/连接),因为Bouncer不需要每次都接受完整的数据包
    b.可以把不同的数据库连接到一个机器上,而对客户端保持透明
    c.支持在线的重新配置而无须重启
    d.仅支持V3协议,因此后端版本须>=7.4 (引自 pgsqldb中文站)

  2.如何安装
    我是在Ubuntu上安装的pgbouncer,很简单,通过apt-get install的方式就可以顺利的安装上了。安装完成后可以用dpkg -L "pgbouncer" 看到该pkg所包含的文件列表。
  1. xuepeng @ first : ~ >
  2. $ dpkg -L "pgbouncer"
  3. /.
  4. /usr
  5. /usr/share
  6. /usr/share/man
  7. /usr/share/man/man1
  8. /usr/share/man/man1/pgbouncer.1.gz
  9. /usr/share/man/man5
  10. /usr/share/man/man5/pgbouncer.5.gz
  11. /usr/share/man/man8
  12. /usr/share/man/man8/pgbouncer.8.gz
  13. /usr/share/doc
  14. /usr/share/doc/pgbouncer
  15. /usr/share/doc/pgbouncer/README
  16. /usr/share/doc/pgbouncer/AUTHORS
  17. /usr/share/doc/pgbouncer/pgbouncer.ini.example.gz
  18. /usr/share/doc/pgbouncer/README.Debian
  19. /usr/share/doc/pgbouncer/copyright
  20. /usr/share/doc/pgbouncer/NEWS.gz
  21. /usr/share/doc/pgbouncer/changelog.Debian.gz
  22. /usr/sbin
  23. /usr/sbin/pgbouncer
  24. /etc
  25. /etc/default
  26. /etc/default/pgbouncer
  27. /etc/init.d
  28. /etc/init.d/pgbouncer
  29. /etc/pgbouncer.ini
    man和doc的路径我们就不关注了,是pgbouncer的帮助和说明文件,使用man就可以看到了。运行是用到的只是/usr/sbin/pgbouncer和/etc/pgbouncer.ini两个文件。/etc/init.d/pgbouncer是OS启动时用的,先不考虑了。

   3. 如何配置
    man 5 pgbouncer可以看到manaul中提供的一个最小配置的例子如下:
  1.            [databases]
  2.            pg_template1 = host=127.0.0.1 dbname=template1
  3.            [pgbouncer]
  4.            pool_mode = session
  5.            listen_port = 6543
  6.            listen_addr = 127.0.0.1
  7.            auth_type = md5
  8.            auth_file = users.txt
  9.            logfile = pgbouncer.log
  10.            pidfile = pgbouncer.pid
  11.            admin_users = someuser
  12.            stats_users = stat_collector

    上面的配置说明了该pgbouncer创建了针对127.0.0.1上的template1的一个连接池,该连接池对调用方的呈现的数据库名称是pg_template1,它映射到了template1上。所有访问pbbouncer上的pg_template1的请求都会转到template1上完成。

    pool_mode 指明了连接池的模型,pgbouncer目前支持三种连接池模型。分别是session, transaction和statment三个级别。
    a. session. 会话级链接。只有与当客户端的会话结束时,pgbouncer才会收回已分配的链接
    b. transaction 事务级连接。当事务完成后,pgbouncer会回收已分配的链接。也就是说客户端只是在事务中才能独占此链接,非事务的对数据库的请求是没有独享的链接的。
    c. statement 语句级链接。任何对数据库的请求完成后,pgbouncer都会回收链接。此种模式下,客户端不能使用事务,否则会造成数据的不一致。
    pgbouncer的默认设置是session链接。

    listen_port和listen_addr是pgbouncer监听的地址和端口号。

    auth_type和auth_file是bppgbouncer用以完成客户端身份认证。auth_file中保存用户名和密码,根据验证方式(auth_type)的不同,auth_file的内容也有不同。
    md5: 基于md5的密码验证,auth_file中需要有普通文本和md5值两种形式的密码;
    crypt: 基于crypt的密码验证(man 3 crypt), auth_file必须包含文本密码;
    plain: 明文验证方式;
    trust: 不进行验证,但auth_file依然需要保存用户名;
    any: 也不进行验证,而且auth_file中不需要保存用户名了。但此种方式需要在 pg_template1中明确说明用户名进行真实数据库的登录。如: pg_template1 = host=127.0.0.1 user=exampleuser dbname=template1.否则会报错的。

    需要说明的是: auth_file中的用户名、密码都必须使用双引号,否则还是报错。
   
    logfile和pidfile分别保存log文件和pid文件的路径。
   
    admin_users:列出哪些用户可以登录pgbouncer进行管理,以逗号进行分隔
    stats_users:列出哪些用户可以登录pgbouncer进行只读操作,如可以列出服务器状态,访问链接等,但是不能执行reload。

    4. 配置实例
      了解了上述几个关键的配置项后,我们进行一个简单的配置实例的练习。
      假想场景如下:我们有两个PostgreSQL的DB,名称分别为main和pgD1,上面各有一个名称为xuepeng的DB,现在需要通过pgbouncer把两个DB管理起来。使得客户端可以通过
         psql -h 127.0.0.1 -p 6000 -U xuepeng main_xuepeng
         psql -h 127.0.0.1 -p 6000 -U xuepeng pgD1_xuepeng
      访问不同的真实DB. (由于这些程序都是在一台机子上运行,因此ip都是127.0.0.1, 有关如何在一台机器上配置不同的PostgreSQL实例,请看 在一台机器上运行多个PostgreSQL实例)

      首先修改pgbouncer.ini中的[databases]块,增加下面两行内容:
  1. main_xuepeng = host=127.0.0.1 port=5432 dbname=xuepeng
  2. pgD1_xuepeng = host=127.0.0.1 port=5433 dbname=xuepeng
      这样就表明main_xuepeng 是端口为5432的映射,pgD1_xuepeng是端口为5433的映射。

      然后修改auth_type的值为trust.(因为是本机测试用,就不使用验证了,生产环境不建议这么做。)
      接着创建/tmp/users.txt文件,并写入以下内容:
  1. "admin" "password"
  2. "readonly" "password"
  3. "xuepeng" "password"
      修改auth_file的值为/tmp/users.txt, admin_users的值为admin, stats_users的值为readonly.
      这样我们就完成了最简单版的配置,其它的参数暂不做调整。

    5. 启动运行
      启动pgbouncer: pgbouncer -v /etc/pgbouncer.ini
      初次使用以及检查问题时建议使用-v参数,该参数能使pgbouncer打出较详细的log,便于定位问题。实际使用时用-d参数,表明以后台程序的方式运行。
     连接main_xuepeng: psql -h 127.0.0.1 -p 6000 -U xuepeng main_xuepeng
     这时候就可以进入端口号为5432的PostgreSQL的db了。同样,使用 psql -h 127.0.0.1 -p 6000 -U xuepeng pdD1_xuepeng可以进入端口号为5433的PostgreSQL的DB实例。

   6. 如何管理pgbouncer
      pgbouncer其实有一个虚拟的db存在,名称就是“pgbouncer”,如果我们执行
      pgsql -h 127.0.0.1 -p 6000 -U admin pgbouncer
      就会进入到管理的终端。-U后面是用户名, “pgbouncer” 就是登录的db名称,当发现是这个名称时,pgbouncer认为用户是要对pgbouncer本身进行管理,就不会把去请求真实的DB了。

      通过admin登录后,show help就能看到能够进行的操作,如下:
  1. pgbouncer=# show help;
  2. NOTICE:  Console usage
  3. DETAIL:
  4.         SHOW [HELP|CONFIG|DATABASES|FDS|POOLS|CLIENTS|SERVERS|SOCKETS|LISTS|VERSION]
  5.         SET key = arg
  6.         RELOAD
  7.         PAUSE
  8.         SUSPEND
  9.         RESUME
  10.         SHUTDOWN
  11. SHOW
  12. pgbouncer=#
      能够用show命名列出当前的各种状态信息,也能够执行reload,重新读取配置文件的内容(该命令能够在配置文件改动后,不需要重启程序就能使配置项生效).

     如果是通过 pgsql -h 127.0.0.1 -p 6000 -U readonly pgbouncer 方式登录,在执行reload时就会提示“ERROR:  admin access needed”的错误信息了。

   7. 如何停止
     以admin登录pgbouncer, 执行shutdown即可。

    初次使用时,建议使用-v参数,并关注pgbouncer的log输入,能发现不少有意思的东西 :)


   8. 参考
     http://pgbouncer.projects.postgresql.org/doc/config.html
     https://developer.skype.com/SkypeGarage/DbProjects/PgBouncer


PostgreSQL系列- 6 - PgBouncer连接池 能够缓存和PostgreSQL的连接,当有连接请求进来的时候,直接分配空闲进程,而不需要PostgreSQL fork出新进程来建立连接,以节省创建新进程,创建连接的资源消耗 阅读详情

相关推荐

连接池PgBouncer部署与踩坑实践

尝试为GP部署连接池PgBouncer,并进行一番测试

真新镇的涅法雷姆 1317

pgBouncer初探

pgBouncer是一个轻型的pg连接池,可以很好的管理pg的连接(对客户端连接进行限制,预防过多恶意连接;pgbouncer的每个连接仅消耗2KB的内存资源)。 PgBouncer的优点 内存消耗低(默认为2k/连接),因为Bouncer不需要每次都接受完整的数据包 可以把不同的数据库连接到一个机器上,而对客户端保持透明 支持在线的重新配置而无须重启 pgbouncer 可以限制每一对...

Captains-Felix的专栏 5476

Pgbouncer最佳实践:系列四

作者:王志斌,曾获得中国PostgreSQL数据库管理工程师(PGCE),是PostgreSQL官方认证讲师,盘古云课堂特邀金牌讲师。 最后再来说一下关于Pgbouncer的部署形式,包括单应用场景、多应用场景、集群场景还有多实例场景,这些方式都是依据不同的业务场景,没有孰优孰劣,符合的才是对的。其中单应用和多应用场景来源于官方。 单应用场景: 单应用场景主要具体为短连接较多的场景,频繁进行数据库的连接操作,但操作时间较短,均为短连接,所以将pgbouncer于应用服务器部署在同一台服务器,减少应用服务器

PostgreSQL China 4587

PG轻量化连接池pgbouncer使用教程

POSTGRESQL轻量化连接池pgbouncer.读写分离的应用管理。

weixin_73350116的博客 1713

Pgbouncer最佳实践 之 部署篇

了解更多G...

Greenplum中文社区 683

Pgbouncer最佳实践:系列一

作者:王志斌,曾获得中国PostgreSQL数据库管理工程师(PGCE),是PostgreSQL官方认证讲师,盘古云课堂特邀金牌讲师。 PgBouncer作为PostgreSQL数据库的连接池中间件。与其他存在于PostgreSQL的连接池中间件不同,PgBouncer仅作为一个连接池和代理层为PostgreSQL和应用之间提供服务。 Pgbouncer具备例如连接池模式、连接类型、端口重用,应用场景以及用户认证、网络认证等多种重要特性,下面将逐一讲述,并期望为读者提供一份在实施过程中使用的配置指南。 数据

PostgreSQL China 4824

pgsql + pgbouncer高并发配置

pgbouncer 介绍 PGBouncer是一个轻量级的针对PostgreSQL的数据库连接池工具,能够给客户端提供一个统一的链接视图。 PgBouncer的作用      a.PgBouncer可以在后端数据库和前端应用间建立连接的桥梁,由PgBouncer去处理和后端数据库的连接关系。      b.对客户端连接进行限制,预防过多或者恶意的连接请求。  PgBouncer的特点

github_28024665的博客 3220

小程序 video 控制器外观调整_Kessil 360X Tuna Sun无线控制器使用分享

之前分享了Kessil 360X Tuna Sun开箱记录,时间关系,没来得及使用WiFi Dongle无线控制器。昨晚抽空实操了一下,做个操作记录,希望对大家有参考Kessil无线模块操作指南官方视频英文教程配中文字幕,非常详尽语速较快,重点位置可以暂停操作点击边框调出视频工具条1、拆包取控制器,保存二维码Kessil WiFi Dongle包装打开包装就能看到Kessil无线控制模...

weixin_39759060的博客 4734

pgBouncer管理和使用案例

[转]PostgreSQL数据库连接池Pgbouncer的搭建 最近有些项目我们是采用PostgreSQL进行后端数据库,由于要对客户端的连接使用类型和连接数进行控制,因此我们采用PgBouncer来进行实施。 PgBouncer相关的基本文档pgsqldb中文站已经有不少文档,这里我就不再作过多的说明,我将集中对其中的几个要点和我实践中遇到的问题和大家分享一下。 OK,肺话也不多少,开始正...

murkey的专栏 919

Python对接海康威视机器视觉工业相机

工业相机只允许单条连接,也就是说MVS如果连接了相机,python代码就无法获取数据,此时必须。相机工具类(读者直接复制)HKCamera_class.py。博主这里出现了一个警告:获取不到相机参数。四、使用Pycharm打开Python代码示例文件夹。三、找到MVS示例代码(代码在MVS的安装位置)二、解压并安装MVS客户端。一、下载MVS客户端。安装一下opencv。

Good Luck 2万+

人大金仓集群部署(主备)

4.2 上传安装包镜像和授权文件到install目录下并授权。1、复制系统脚本到/opt/kingbase目录下(主节点)4.2 修改cluster_install.sh。回车进行下一步,直到出现以下界面,回复Y键回车。三、安装kingbase客户端段(都要安装)install目录作为安装包具体存放目录。4.1 修改install.conf文件。2、复制授权文件到安装目录下(主节点)3、修改ssh参数(节点都要配置)5、安装kingbase客户端。二、基本环境配置(都要配置)6、数据库集群安装(主节点)

edutech_wang的博客 1997

postgreSQL连接池pgbouncer的使用

转载自: 这里  前端时间看了看服务器还有多余的内存,由于数据库和程序都在一个服务器上,就想看看有什么提升并发的方法。试用了下pgbouncer ,记录下。1.源码安装: https://github.com/downloads/libevent/libevent/libevent-2.0.21-stable.tar.gz$ cd libevent-2.0.21-stable $ ./confi

luojinbai的专栏 8957

YOLO26剪枝 lamp剪枝测试精度仅掉0.7个点,速度提高11.8fps!

针对没有如何去选择剪枝的内容LAMP是层自适应幅度调整剪枝,无需任何参数,通过算法内部自己计算每个层的重要程度进行剪枝。基于权重重要程度和该层权重大小关系,权重越大表明该层越重要的思想进行优化。这个跟我前面说的非结构化全局剪枝是一个解法(MP),也就是lamp是在我前面那个非结构化剪枝的基础上进行优化的。但是这个逐层进行非结构剪枝目前还没有一个清晰的概念,确定每个层要剪枝多少。LAMP得分是一个平方权重大小,由层中所有“幸存权重”的总和归一化。

m0_64661770的博客 677

postgres高可用学习篇二:通过pgbouncer连接池工具来管理postgres连接

安装pgbouncer yum -y install pgbouncer node1:编辑pgbouncer.ini配置文件 cat /etc/pgbouncer/pgbouncer.ini [databases] postgres = host=127.0.0.1 port=5432 dbname=postgres [pgbouncer] logf...

609

【异常】OpenClaw 上下文溢出问题(100% context used 309.9k/200k`)排查与解决

摘要:OpenClaw 运行出现"100% context used 309.9k/200k"报错,表示上下文窗口超出200k Token限制。解决方法包括:1) 重启服务或新建会话清空缓存;2) 修改配置文件提升context_window值;3) 长期优化如限制历史对话轮数、分批处理长文本。该问题通常由输入过长或多轮对话累积导致,需控制单次输入量在阈值内。

奶爸的编程之路,也就一周冷个三天 3240

Python爬虫:抓取餐饮平台顾客评分与评价的完整教程

本文介绍了如何使用Python爬虫技术抓取餐饮平台上的餐厅评分和评论数据。我们通过三种主要的抓取方法:静态网页抓取(requests)、动态网页抓取(Selenium)和API抓取,展示了如何抓取餐饮平台的数据。还介绍了如何使用pandas对抓取的数据进行存储、清洗、分析,并进行可视化和情感分析。通过本文的学习,您应该能够掌握如何使用Python爬虫抓取餐饮平台的评论数据,并将这些数据应用于市场分析、顾客反馈和服务优化等领域。

2201_76125261的博客 1144

OSX下安装PgBouncer

为什么80%的码农都做不了架构师?>>> ...

weixin_34112181的博客 121

全新DEIM有效涨点改进目录 | 本专栏持续更新500+篇内容 | 包含各种顶会顶刊卷积、注意力、特征融合模块、有效特征聚合提取模块,上采样模块、下采样模块,二次创新模块、独家创新等几百种创新点改进

🚀【CVPR2025DEIM改进专栏速览】🔥 专栏提供500+篇目标检测创新改进方案,涵盖卷积/注意力/特征融合等创新改进点,均源自顶会论文及实战经验。支持多领域应用(工业/医疗/遥感等),配套完整教程和答疑服务。亮点包括: 1️⃣ 持续更新SOTA模型改进方案 2️⃣ 小白友好型实验操作指南 3️⃣ 跨学科科研支持(已助非计算机专业发表论文) 4️⃣ 提供虚拟环境配置方案。 订阅可获完整项目代码及交流群服务,适合研究生科研论文改进需求。价格呈上涨趋势,早订更优惠!

Ai缝合怪、助力小伙伴高效发论文 2065

linux下的pgbouncer应用

pgbouncer是postgreSQL的轻量级的连接池 1、ession pooling/会话连接池 2、Transaction pooling/事务连接池 3、Statement pooling/语句连接池   pgbouncer安装   1、源码下载 [root@testsource]#wget https://github.com/downloads/libevent/li

奋斗吧,CQS! 435

Android实现自动输入文本效果 (附完整源码)

Android实现自动输入文本效果 (附完整源码)

希望我的博客,能帮上你解决学习中工作中所遇到的问题 417

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

pgbouncer介绍和原理

pgbouncer是一个轻量级postgres连接池,可以使postgres支持高并发的应用场景。在高并发应用场景下减少资源申请和释放开销,能更快的响应客户端请求。 安装pgbouncer,安装有两种方法,一种是二进制直接安装,这样就在网上找对到对应平台的指定版本。第二种是源码编译安装,下载指定版本的源码,然后configure,如果缺少哪些包可以安装(可能会缺少libevent和openssl...

a615549958的专栏 970

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

[转]PostgreSQL数据库连接池Pgbouncer的搭建

  作者:何伟平来源:http://www.pgsqldb.org/mwiki/index.php/Pgbouncer%E6%90%AD%E5%BB%BA%E6%95%B0%E6%8D%AE%E5%BA%93%E8%BF%9E%E6%8E%A5%E6%B1%A0    最近有些项目我们是采用PostgreSQL进行后端数据库,由于要对客户端的连接使用类型和连接数进行控制,因

heiyeluren的blog(黑夜路人的开源世界) 7644

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

上一篇: PHP中的加密模块使用
下一篇: 中国软件技术大会,比较失望
barfoo
博客等级 码龄20年 11粉丝 45原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值