PostgreSQL笔记7: 源码编译选项深度解析

CentOS 7.6下PostgreSQL-12.0源码编译与生产环境部署指南 PostgreSQL作为企业级开源关系型数据库,凭借其完善的ACID特性和高度可扩展性,在OLTP和数据分析场景中广泛应用。源码编译安装方式相比二进制包能实现深度性能调优,特别是在高并发写入场景下,通过定制WAL日志段大小、内存分配等核心参数可显著提升吞吐量。本指南以CentOS 7.6为例,详细演示从开发工具链准备、编译参数优化到systemd服务集成的完整流程,重点解析shared_buffers、work_mem等关键参数的配置原则,并给出独立WAL目录部署、pg_stat_statements监控等 阅读详情

概述

从源码编译 PostgreSQL 提供了最大的灵活性。通过 configure 脚本传入的众多编译选项,可以精确控制数据库的功能特性、性能表现以及调试能力。对于需要深入理解 PostgreSQL 内核、进行性能调优或源码级调试的开发者和 DBA 而言,掌握这些编译选项至关重要。

本文基于 PostgreSQL 官方文档,系统梳理源码编译过程中的关键选项,涵盖安装路径、功能特性、存储参数、开发调试以及性能优化等多个维度。

纲要

  • configure 脚本基础
  • 安装位置选项
    • --prefix
    • --bindir, --sysconfdir, --libdir
  • 功能特性选项
    • --enable-nls
    • --with-python, --with-tcl
    • --with-llvm
    • --with-lz4, --with-zstd
    • --with-openssl
    • --with-gssapi
    • --with-libxml
    • --with-icu
    • --without-readline, --without-zlib
  • 存储参数选项
    • --with-blocksize
    • --with-segsize
    • --with-wal-blocksize
  • 开发调试选项
    • --enable-debug
    • --enable-cassert
    • --enable-tap-tests
    • --enable-depend
    • --enable-dtrace
  • 编译器优化选项 (CFLAGS)
  • 性能优化技术: PGO (Profile-Guided Optimization)

configure 脚本基础

源码编译的第一步是运行 configure 脚本,它会检测系统环境并生成 Makefile。默认配置会安装所有文件到 /usr/local/pgsql 目录下。

./configure [options]

可以通过 ./configure --help 查看所有可用选项。完整的选项列表也收录在 PostgreSQL 官方文档的"安装过程"章节中。

安装位置选项

安装位置选项控制 make install 将文件放置到哪些目录。

选项说明默认值
--prefix=PREFIX所有文件的根安装目录/usr/local/pgsql
--bindir=DIRECTORY可执行程序目录EXEC-PREFIX/bin
--sysconfdir=DIRECTORY配置文件目录PREFIX/etc
--libdir=DIRECTORY库文件和动态模块目录EXEC-PREFIX/lib

对于大多数场景,仅指定 --prefix 即可。不建议随意修改子目录结构,否则可能破坏程序的可迁移性,导致模块无法找到依赖的库和头文件。

./configure --prefix=/usr/local/pgsql16

功能特性选项

功能特性选项控制编译时启用或禁用哪些可选功能。

本地化与多语言支持

  • --enable-nls: 启用本地化支持(Native Language Support),使 PostgreSQL 的提示信息和错误消息支持多种语言。
  • --with-icu: 启用 ICU(International Components for Unicode)支持,增强排序、字符串比较等国际化功能。

服务端编程语言

  • --with-python: 构建 PL/Python 服务端编程语言。
  • --with-tcl: 构建 PL/Tcl 服务端编程语言。

性能加速

  • --with-llvm: 启用 LLVM JIT(Just-In-Time)编译支持,用于加速某些表达式和函数的执行。该选项要求系统已安装 LLVM 开发库。

压缩算法

  • --with-lz4: 启用 LZ4 压缩算法支持。
  • --with-zstd: 启用 Zstandard 压缩算法支持。

安全与加密

  • --with-openssl: 启用 OpenSSL 支持,为数据库连接提供 SSL/TLS 加密传输。若不启用,客户端与服务器之间的数据传输为明文,存在被嗅探的风险。
  • --with-gssapi: 启用 GSSAPI 身份验证支持。

数据类型支持

  • --with-libxml: 启用 XML 数据类型支持。

交互增强

  • --without-readline: 禁用 GNU Readline 支持。禁用后将无法使用命令行历史记录(如上下键翻找命令)等交互功能。
  • --without-zlib: 禁用 Zlib 压缩支持。pg_dump 等工具的逻辑压缩功能将不可用。

存储参数选项

PostgreSQL 允许在编译时定义数据块大小、段文件大小和 WAL 块大小。这些参数一经编译即固定,无法在运行时更改。

选项说明默认值最大值
--with-blocksize=BLOCKSIZE数据块大小(单位: KB)8KB32KB
--with-segsize=SEGSIZE段文件大小(单位: GB)1GB—
--with-wal-blocksize=BLOCKSIZEWAL 日志块大小(单位: KB)8KB—

数据块大小 (--with-blocksize)

数据块是 PostgreSQL 读写数据的最小单位。增大块大小可提升 OLAP 类大查询的 I/O 效率,但可能对 OLTP 类短事务产生负面影响。

段文件大小 (--with-segsize)

当表大小超过段文件大小时,PostgreSQL 会将其拆分为多个段文件,文件名后缀为 .1、.2、.3 等。调整此值可在"大量小文件"与"少量大文件"之间取得平衡。

WAL 块大小 (--with-wal-blocksize)

控制预写日志(WAL)的块大小,默认 8KB。

开发调试选项

开发调试选项主要用于源码开发、调试测试和性能分析场景,不建议在生产环境中开启。

选项说明
--enable-debug编译所有程序和库时包含调试符号
--enable-cassert启用断言检查,用于捕获代码中的错误路径
--enable-tap-tests启用 TAP(Test Anything Protocol)测试框架支持
--enable-depend启用自动依赖追踪,修改头文件时 make 可自动重建受影响的目标
--enable-dtrace启用 DTrace / SystemTap 动态跟踪支持

调试符号与断言

--enable-debug 在可执行文件中保留调试符号信息,便于使用 GDB 等工具进行源码级调试。--enable-cassert 在代码中插入断言,用于在开发和测试阶段捕获不应发生的条件。两者均会轻微影响运行效率,且增大可执行文件体积。

./configure --prefix=/usr/local/pgsql_debug --enable-debug --enable-cassert

动态跟踪 (--enable-dtrace)

动态跟踪允许在不修改代码的情况下,跟踪数据库内部的函数调用、锁竞争、I/O 延迟等行为。Linux 下可使用 SystemTap 作为 DTrace 的等价实现。

启用 DTrace 支持后,源码中预置的探针(probes)将被编译进可执行文件:

./configure --enable-dtrace

内置探针涵盖事务生命周期、查询处理流程、检查点等多个维度。

编译器优化选项 (CFLAGS)

CFLAGS 环境变量控制 GCC 编译器的优化程度和调试信息生成。

CFLAGS 选项说明
-O0关闭所有优化,调试时可看到真实变量和调用栈
-Og启用不干扰调试的优化
-O2默认优化级别
-g生成调试信息
-g3生成最完整的调试信息,包含宏定义
-ggdb为 GDB 生成专用调试信息
-fno-omit-frame-pointer保留栈帧指针,使 GDB 的 backtrace 更准确
./configure --prefix=/usr/local/pgsql_debug --enable-debug CFLAGS="-O0 -g3 -ggdb -fno-omit-frame-pointer"

性能优化: PGO (Profile-Guided Optimization)

PGO(Profile-Guided Optimization)是一种编译器优化技术。其工作流程分为两步:

  1. 第一次编译: 使用 -fprofile-generate 编译,运行代表性工作负载收集运行时信息。
  2. 第二次编译: 使用 -fprofile-use 重新编译,编译器根据收集的 profile 数据生成更高效的代码。

有测试表明,在不修改任何代码的情况下,仅通过 PGO 即可在特定负载下获得 10% 甚至更高的性能提升。

常见编译选项组合

生产环境(稳定优先)

./configure --prefix=/usr/local/pgsql \
    --with-openssl \
    --with-lz4 \
    --with-zstd \
    --with-icu

开发调试环境(调试友好)

./configure --prefix=/usr/local/pgsql_debug \
    --enable-debug \
    --enable-cassert \
    --enable-tap-tests \
    --enable-depend \
    CFLAGS="-O0 -g3 -ggdb -fno-omit-frame-pointer"

性能分析环境(动态追踪)

./configure --prefix=/usr/local/pgsql_perf \
    --enable-dtrace \
    --with-llvm \
    CFLAGS="-O2 -g"

API 速览

configure 脚本

项目说明
所属PostgreSQL 源码构建系统
方法签名./configure [options] [VAR=value]
返回值0 成功,非 0 失败
环境变量CFLAGS, LDFLAGS, CPPFLAGS 等
示例: 查看所有可用选项
./configure --help
示例: 带环境变量的完整配置
CFLAGS="-O2 -g" \
LDFLAGS="-L/usr/local/lib" \
./configure --prefix=/usr/local/pgsql \
    --with-openssl \
    --with-libxml

完整 Demo: 从源码编译 PostgreSQL 调试版本

以下演示在 Ubuntu 22.04 环境下从源码编译 PostgreSQL 16 调试版本的完整流程。

环境准备

# 安装编译依赖
sudo apt-get update
sudo apt-get install -y \
    build-essential \
    libreadline-dev \
    zlib1g-dev \
    libssl-dev \
    libxml2-dev \
    liblz4-dev \
    libzstd-dev \
    libicu-dev \
    llvm-dev \
    clang \
    gdb

下载源码

# 下载 PostgreSQL 16 源码
wget https://ftp.postgresql.org/pub/source/v16.4/postgresql-16.4.tar.gz
tar -xzf postgresql-16.4.tar.gz
cd postgresql-16.4

配置与编译

# 配置调试版本
./configure --prefix=$(pwd)/install \
    --enable-debug \
    --enable-cassert \
    --enable-depend \
    CFLAGS="-O0 -g3 -ggdb -fno-omit-frame-pointer"

# 编译(使用多核加速)
make -j$(nproc)

# 运行回归测试(可选)
make check

# 安装到指定目录
make install

初始化和启动

# 创建数据目录
mkdir -p $(pwd)/install/data

# 初始化数据库集群
$(pwd)/install/bin/initdb -D $(pwd)/install/data

# 启动 PostgreSQL
$(pwd)/install/bin/pg_ctl -D $(pwd)/install/data -l logfile start

# 连接测试
$(pwd)/install/bin/psql -d postgres -c "SELECT version();"

代码调试

# 使用 GDB 附加到 PostgreSQL 进程
gdb -p $(cat $(pwd)/install/data/postmaster.pid)

Demo 技术点总结

技术点说明
--enable-debug生成调试符号,支持源码级断点调试
--enable-cassert启用断言检查,捕获代码逻辑错误
CFLAGS="-O0 -g3 -ggdb"关闭优化,生成完整调试信息
make -j$(nproc)并行编译,加速构建过程
make check运行回归测试,验证编译正确性
GDB 附加调试通过 postmaster.pid 获取进程 ID 进行调试

官方文档

参考链接

总结

源码编译 PostgreSQL 的核心价值在于其高度的定制化能力。通过 configure 脚本,开发者可以精确控制:

  1. 安装布局: 通过 --prefix 及子目录选项定制文件安装位置。
  2. 功能特性: 通过 --with-* 和 --enable-* 启用或禁用特定功能(加密、压缩、服务端语言、JIT 等)。
  3. 存储参数: 通过 --with-blocksize、--with-segsize、--with-wal-blocksize 在编译时固定数据块、段文件和 WAL 块的大小。
  4. 调试能力: 通过 --enable-debug、--enable-cassert、--enable-dtrace 构建调试友好版本。
  5. 编译器优化: 通过 CFLAGS 环境变量控制优化级别和调试信息生成。
  6. 高级性能优化: 通过 PGO 技术在不修改代码的前提下挖掘硬件潜力。

相较于 RPM/DEB 等预编译包,源码编译提供了更高的自由度,使开发者能够根据不同的应用场景生成不同风格的数据库版本。

PostgreSQL源码编译安装:从环境准备到生产部署的完整指南 在数据库部署领域,源码编译安装是一种提供高度定制化和性能优化的核心方法。其原理在于直接操作源代码,通过配置参数和编译选项,生成针对特定硬件和操作系统环境优化的二进制文件。这种技术价值体现在对数据库版本、功能模块、安装路径和性能特性的完全掌控,尤其适用于生产环境中对稳定性、性能和标准化有严格要求的场景。通过源码编译,可以启用针对特定CPU架构的指令集优化,精细控制数据目录和日志路径,并集成SSL加密、XML处理等高级功能。本文以PostgreSQL为例,详细解析了从环境准备、依赖解决、配置优化到服务部署的全流 阅读详情

相关推荐

PostGIS 3.7.0 源码编译安装:Windows 10 + PostgreSQL 13 环境 5 步配置指南

本文详细介绍了在Windows 10系统上,针对PostgreSQL 13环境,从源码编译安装PostGIS 3.7.0的完整步骤。通过5步配置指南,包括环境准备、源码获取与配置、编译与安装、数据库配置以及性能优化,帮助GIS工程师和数据库管理员实现深度定制和二次开发。

weixin_34384557的博客 319

PostgreSQL 18 主流程源码深度解析与实战应用

PostgreSQL 18 主流程采用模块化、解耦、智能优化等设计思想,实现了高性能、高可靠、高扩展性的数据库系统。通过逐步剖析源码、口诀速记、业务场景结合,开发者不仅能知其然,更能知其所以然,为实际业务落地和高阶应用奠定坚实基础。速记口诀总览认证查配置,解析树先行;优化看统计,计划选路径;执行器分节点,事务写日志;存储多样化,并发锁机制。如需深入源码学习与项目应用,建议结合官方文档与社区实践,持续关注 PostgreSQL 内核新特性与架构演进。

IT技术学习与工作笔记分享 1868

保姆级教程:在CentOS 7上源码编译安装PostgreSQL 17.4(含依赖包下载链接)

本文提供了一份详细的CentOS 7上源码编译安装PostgreSQL 17.4的保姆级教程,涵盖环境准备、依赖解决、源码编译、数据库初始化、服务管理及安全加固等全流程。特别针对Linux环境下常见问题提供深度避坑指南,适合开发者和运维工程师参考。

weixin_42648844的博客 380

PostgreSQL 安装背后的技术哲学:从源码编译到企业级部署的深度解析

本文深入解析PostgreSQL从源码编译到企业级部署的技术哲学,涵盖安装方式选择、性能优化策略及企业级架构设计。通过源码编译实现硬件级优化,探讨表空间规划、WAL日志配置等核心优化点,助力构建高性能数据库系统。特别适合需要深度定制PostgreSQL的技术团队参考。

e1f2g的博客 792

PostgreSQL 19 Beta 1 源码编译部署:Ubuntu 22.04 下 3 步性能优化配置

本文详细介绍了在Ubuntu 22.04系统上从源码编译部署PostgreSQL 19 Beta 1的完整流程,并重点分享了三个关键性能优化配置。通过内存参数调优、并行查询与JIT优化以及I/O与WAL优化,帮助开发者打造高性能数据库环境。文章还涵盖了安全配置、性能测试与监控等实用内容,是PostgreSQL管理员和开发者的必备指南。

weixin_34195142的博客 692

盘点天才少年稚晖君彭志辉的知识体系

一个杰出工程师的工作区间和装备

曲折旅程,艰难人生 2万+

Ubuntu 20.04 源码编译安装 PostgreSQL 15.7 实战指南

PostgreSQL 是一款支持 ACID、MVCC 和 JSONB 的开源关系型数据库,其核心价值在于强一致性、可扩展的扩展生态(如 pgvector、TimescaleDB)及企业级运维能力。理解其安装原理,关键在于掌握版本兼容性、系统级依赖(如 ICU、OpenSSL)、locale 配置与 systemd 服务集成机制。在 Ubuntu 20.04 这类 LTS 系统中,APT 默认提供的 PostgreSQL 12 已终止安全支持,而源码编译可精准控制 ICU 支持、LDAP 认证和 WAL 压缩

weixin_33951761的博客 402

为什么我的Win11家庭版找不到BitLocker?教你两种强制关闭加密的隐藏方法

本文解释了Win11家庭版为何缺少BitLocker功能,并提供了两种强制关闭加密的隐藏方法。通过注册表修改和PowerShell命令,用户可以调出隐藏的加密控制面板或直接操控加密引擎,解决家庭版设备加密的管理难题。

weixin_42535703的博客 1788

PostgreSQL 12.4 源码编译安装:CentOS 7 系统依赖全解析与 7 个关键参数详解

本文详细介绍了在CentOS 7系统上源码编译安装PostgreSQL 12.4的全过程,包括系统依赖解析、7个关键编译参数的深度剖析以及数据库初始化与配置。通过优化编译参数和系统配置,帮助开发者构建高性能、安全的PostgreSQL数据库环境,适用于企业级应用场景。

weixin_30388677的博客 369

华南理工大学电子与信息学院23年预推免复试面试经验贴

华南理工大学电子与信息学院23年预推免复试面试经验贴

Scut_Ty的博客 3300

数字麦克风PDM信号采集与STM32 I2S接口应用(二)

在使用STM32的数字麦克风I2S接口时,计算采样率让人头疼,芯片手册上没有明确的说法,而手册上的计算方法经过测试却和实验不符。借助搜索引擎,大部分资料都是来自于开发板卖家或开发板论坛,主要是咪头采集然后配置WM89系列解码芯片,然后配合FatFS、MP3解码等模式,主要是讲解I2S录音、存储、放音等。外文资料得到的也寥寥无几,也没有找到讲解STM32数字麦克风配置、计算的文档。加上网上资料转载、抄袭、浅尝辄止的笔记教程,这些更是让检索大海捞针,过程艰辛一言难尽,有些网文三言两语抑或作者都没有搞清楚随手一写

XIAOYOUDUODUO的博客 6057

Linux下PostgreSQL源码编译安装:从环境准备到性能调优全指南

数据库作为现代应用的核心组件,其选型与部署方式直接影响系统的性能与稳定性。PostgreSQL作为一款功能强大的开源关系型数据库,以其严格的标准遵从性和卓越的扩展性,在需要高数据一致性和复杂查询的场景中备受青睐。源码编译安装是深入掌控数据库部署的关键技术路径,它允许开发者根据特定硬件环境深度定制编译参数,从而最大化数据库服务器的性能潜力。通过精确选择安装路径、集成必要的扩展模块(如SSL加密、ICU国际化支持),并优化数据块大小等核心参数,可以构建出高度定制化的数据库实例。这一过程不仅适用于追求极致性能的生

weixin_30631587的博客 389

yolov5-6.0的稀疏化训练、结构化剪枝、微调

YOLOv5的BN剪枝、微调

qq_41920323的博客 4395

CentOS 7 源码编译 PostgreSQL 15.5 集成 Django 4.2 实战指南

PostgreSQL 是一款支持高级数据类型(如 JSONB、数组)、强一致性和行级安全的开源关系型数据库,其核心优势在于对复杂数据语义的原生表达能力与 MVCC 并发控制机制。相比 MySQL,PostgreSQL 在 Django 生态中能直接映射 JSONField 为 jsonb 类型并支持 GIN 索引、路径查询等特性,显著提升半结构化数据处理效率。在 CentOS 7 这类长期支持但软件基线陈旧的系统上,官方仓库仅提供过时的 PostgreSQL 9.2,无法满足 Django 4.2 对 ps

weixin_33552698的博客 333

紫光展锐面试——FPGA/IC设计面试面经案例总结

自我介绍;研究生的主要研究方向是什么?为什么想要应聘数字芯片相关的工作?简单介绍下数字IC设计流程。逻辑综合主要做什么?你有实际做过逻辑综合工作吗?你了解SS corner和FF corner吗?综合时应该使用哪个corner?综合时需要考虑hold吗?为什么?提高时钟频率对setup和hold有什么影响?为什么?hvt、rvt/svt、lvt有什么区别?c40、c50是指什么概念?有什么区别?你对EDA工具有过了解吗?

FPGA/MATLAB学习教程/源码/项目合作开发 1566

基于机器学习的网络安全态势感知模型研究与实现

基于机器学习的网络安全态势感知模型研究与实现 1. 背景介绍 1.1 网络安全态势感知的重要性 在当今互联网时代,网络安全已经成为一个至关重要的话题。随着网络攻击手段的不断升级和演变,传统的被动防御方式已经难以满足日益

AI大模型应用之禅 1585

保姆级教程:在CentOS 7上源码编译安装PostgreSQL 17.4,附依赖包下载与常见编译错误解决

本文提供在CentOS 7上源码编译安装PostgreSQL 17.4的详细教程,涵盖依赖包下载、编译优化、生产级配置及常见错误解决。通过系统化环境检测、深度参数调优和安全加固指南,帮助用户高效部署高性能PostgreSQL数据库实例。

weixin_30897233的博客 327

PCIe协议之 Equalization篇 之 谈谈几种模式

对于两端有能力最高支持 32 GT/s 及以上速率的设备,如果把目标速度设置为 8 GT/s 或 16 GT/s 速率,是不建议采用 Bypass-Equalization-to-Highest-Rate 模式的,即便采用了,也不会针对 8 GT/s 或 16 GT/s 的目标速率进行 EQ。对于支持 32 GT/s 及以上速率的设备,其可能根本无需工作在 8 GT/s 或 16 GT/s 速率,这时再针对 8 GT/s 或 16 GT/s 速率进行 EQ,多少有点浪费。

那么菜的博客 568

Zeek 的 PostgreSQL 协议分析器:postgresql.log 日志深度解析与源码级实现

Zeek 在 7.1 版本起内置了一个基于 Spicy 的 PostgreSQL 协议分析器,用于从 5432/tcp 端口捕获的流量中还原 PostgreSQL 会话的完整行为:登录用户与数据库、启动参数、SQL 查询、认证方式、错误信息以及返回行数。本文以 [postgresql.log 参考文档](https://link.gitcode.com/i/5e333bd1b177f3795ff1

gitblog_00479的博客 447

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

从源码到服务:在Linux上深度定制PostgreSQL 12.4的编译安装与安全配置

本文详细介绍了在Linux系统上从源码深度定制PostgreSQL 12.4的编译安装与安全配置方法。通过源码编译可实现性能优化、安全增强及功能模块的精确控制,特别适合金融等对安全性要求高的场景。文章涵盖环境准备、编译参数解析、安全加固实战及性能调优等内容,为运维工程师提供全面的部署指南。

weixin_30412167的博客 310

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

RDKit 安装完全指南:Conda、Pip、源码编译与 PostgreSQL 扩展部署

RDKit 是一套开源化学信息学工具包,覆盖分子描述符、指纹、子结构搜索、二维/三维构象与化学转化等能力。本文以官方安装文档为骨架,系统梳理四条主流的安装路径——Conda 跨平台安装、Pip 安装、Linux/OS X 发行版仓库安装、以及从源码构建(含 Windows),并针对每个关键构建开关结合仓库内 [CMakeLists.txt](https://link.gitcode.com/i/4

gitblog_01134的博客 420

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

PostgreSQL 16 源码编译安装:Ubuntu 22.04 系统 7 步完成,性能提升 15% 实测

本文详细介绍了在Ubuntu 22.04系统上通过源码编译安装PostgreSQL 16的7个步骤,包括环境准备、源码配置、编译优化、性能测试等关键环节。实测数据显示,优化后的PostgreSQL 16性能提升达15%,特别适合追求极致性能的数据库管理员和开发人员。文章还提供了详细的配置参数和性能对比数据,帮助用户充分发挥PostgreSQL的潜力。

weixin_34221654的博客 322

PostgreSQL源码编译安装深度指南:生产级配置与安全合规实践

PostgreSQL编译安装是数据库从可用走向高可靠、高安全、可审计的关键技术环节。其核心在于理解configure参数如何影响内核能力边界,掌握shared_buffers、wal_buffers等关键配置与硬件资源的量化关系,并实现SSL加密、SCRAM-SHA-256认证、systemd服务集成等企业级能力。该过程直接决定版本可控性、等保三级合规性及故障归因效率,广泛应用于金融核心系统、信创政务云与Kubernetes PG镜像构建等场景。本文聚焦PG15.4源码级部署,覆盖依赖校验、多版本隔离、LD

475

CentOS7下PostgreSQL 14.8源码编译安装全攻略:含性能优化配置

本文详细介绍了在CentOS 7操作系统上,从源码编译安装PostgreSQL 14.8数据库的完整流程与深度性能优化配置。内容涵盖环境依赖准备、源码编译参数详解、数据库初始化、核心配置文件(postgresql.conf与pg_hba.conf)的实战调优,以及集成systemd服务管理,旨在帮助系统管理员和开发者构建高性能、高可控性的PostgreSQL生产环境。

yhn456789的博客 596

PostgreSQL源码编译安装全攻略:从环境配置到生产部署

数据库系统的部署方式直接影响其性能、安全性与可控性。源码编译安装作为一种高级部署方式,允许开发者针对特定硬件架构进行深度优化,并启用定制化功能模块。其核心原理在于通过编译器(如GCC)直接构建二进制文件,绕开预编译包的通用性限制,从而实现对内存管理、CPU指令集(如AVX2)和扩展功能的精细控制。这种技术方案在需要极致性能调优、特定功能启用或离线环境部署的场景下价值显著。例如,通过调整内核参数(如shared_buffers)和编译选项,可以显著提升高并发下的I/O效率与查询性能。本文将聚焦于Postgre

weixin_33812433的博客 341
上一篇: PostgreSQL笔记6:三种主流安装方式详解(RPM / YUM / 源码编译)
下一篇: PostgreSQL笔记8: 基于二八法则的基础性能调优
Wang's Blog
博客等级 码龄12年 7440粉丝 2427原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Wang's Blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值