Postgresql增加zhparser扩展

PostgreSQL与Elasticsearch全文检索对决:从索引原理到选型实战 全文检索是搜索、日志分析等应用的核心能力,选择合适的检索引擎往往决定系统架构的演进方向。从底层机制来看,PostgreSQL基于GIN索引实现词元倒排匹配,依赖数据库事务保证强一致性;而Elasticsearch基于Lucene构建分布式倒排索引,通过分片并行查询支撑海量数据。两者在实时性、中文分词、相关性排序、水平扩展等维度差异显著:数据量在千万级以内且业务要求提交即可见,PG是轻量高效的方案;面对亿级数据、高并发及同义词/拼音等复杂检索需求,ES则具备天然优势。理解二者原理与应用边界,有助于避免“能搜就 阅读详情

概述

 zhparser 是一个支持中文全文检索的 extension,基于Simple Chinese Word Segmentation(SCWS) 上开发的

依赖

bzip2  gcc gcc-c++ make unzip zip vim pg开发包(postgresql12-devel)

SCWS安装

下载文件:http://www.xunsearch.com/scws/down/scws-1.2.2.tar.bz2

解压安装:

tar xvf scws-1.2.2.tar.bz2 
cd scws-1.2.2
./configure 
make install

zhparser安装

准备:

设置环境变量

PG_HOME=/opt/PostgreSQL/9.6

PG_BIN=/opt/PostgreSQL/9.6/bin

PATH=$PATH:$PG_BIN

下载zhparser:https://github.com/amutu/zhparser/archive/master.zip

解压并进入解压目录,执行命令:

SCWS_HOME=/usr/local make && make install

检查安装结果:

PostgreSQL全文检索实战:从GIN索引优化到中文分词避坑指南 本文深入探讨了PostgreSQL全文检索在生产环境中的实战优化,重点解析了GIN索引的参数调优策略,如fastupdate、fillfactor等,如何带来数量级的性能提升。同时,针对中文场景,详细介绍了zhparser插件的配置陷阱、完整的词性映射策略以及自定义词库的落地实践,帮助开发者构建高性能、高可用的全文检索服务。 阅读详情

相关推荐

PostgreSQL初体验:JSONB、pgvector与高可用实战

关系型数据库在数据管理领域始终扮演核心角色,而扩展能力决定其上限。PostgreSQL作为开源数据库的集大成者,以高度遵循SQL标准、支持JSONB二进制JSON存储、内置全文检索与pgvector向量检索等特性著称。其原理是通过插件化架构将关系模型与丰富的数据类型、索引算法深度融合,既保证ACID事务严谨性,又赋予开发者处理半结构化数据、地理信息、AI向量相似度搜索等复杂场景的能力。在业务选型或数据同步架构设计中,PostgreSQL凭借流复制高可用方案与成熟的逻辑复制工具,成为MySQL、SQL Ser

weixin_29895109的博客 264

Elasticsearch、Solr、MeiliSearch与PostgreSQL全文搜索实战对比与避坑指南

全文搜索是处理海量文本数据、实现高效模糊匹配和相关性排序的核心技术,其底层依赖于倒排索引机制。该机制通过建立词条到文档的映射,相比传统数据库的LIKE查询,能实现毫秒级检索响应。这项技术为现代应用提供了从电商商品搜索、内容平台推荐到日志分析等场景的关键支撑。在实际工程实践中,开发者常面临在Elasticsearch、Solr、MeiliSearch及数据库内置方案间的选型困惑。本文聚焦于倒排索引与中文分词等核心热词,通过对比这四种主流方案在Docker环境下的配置、API集成及生产级优化策略,旨在为面临搜索

weixin_33885676的博客 421

本地部署大模型+知识库实战指南:Dify+Ollama+PostgreSQL落地全流程

本地大模型与知识库系统是面向制造业、医疗、金融等强合规、低延迟场景的关键技术基础设施,其核心在于RAG(检索增强生成)架构的私有化实现。它通过将大语言模型、向量数据库与业务文档知识库深度耦合,在不依赖公网的前提下完成语义检索与精准问答。技术价值体现在数据不出内网、响应可控、满足等保与GDPR类合规要求;典型应用场景包括设备维修手册问答、医疗器械说明书检索、内部制度智能查询等。本文聚焦真实工程落地,覆盖dify本地部署教程、ragflow知识库搭建全流程、ollama部署本地大模型等高频需求,提供Window

aaa1231722的博客 447

Agent长期记忆架构:基于记忆锚点的项目快照方案

在大模型Agent开发中,‘长期记忆’并非简单扩大上下文或套用RAG,而是构建可版本化、可协作、可追溯的结构化知识资产。其核心原理在于将记忆解耦为带元数据的项目快照(Project Snapshot),通过唯一锚点(Anchor)实现确定性关联与精准引用,规避语义漂移与上下文污染。该技术显著提升Agent在微服务治理、跨系统协作、团队知识沉淀等工程场景中的稳定性与复用性,使LLM从‘概率猜测’转向‘确定性引用’——本文详解的正是这一轻量级、可插拔的记忆锚点协议及其在Claude Code与Codex中的落地

diaogan4202的博客 458

Django生产部署:Postgres+Nginx+Gunicorn在Ubuntu上的最佳实践

Django作为主流Python Web框架,其生产环境部署绝非简单运行即可,核心在于构建安全、稳定、可扩展的底层基础设施。理解WSGI服务器(如Gunicorn)与反向代理(如Nginx)的协同原理,掌握关系型数据库(特别是Postgres)在事务一致性、JSON支持与行级安全(RLS)方面的技术优势,是保障Web应用高可用的基础能力。该架构不仅提供SSL终止、静态资源卸载、请求限流等关键运维价值,更支撑Django 4.2+、DRF、Celery等上层生态的可靠运行。本文聚焦Ubuntu系统下Postg

weixin_30564785的博客 407

安装PostgreSQL和中文分词器Zhparser

PostgreSQL是一种强大的开源关系型数据库管理系统,而Zhparser是PostgreSQL的一个中文分词器扩展,用于支持中文全文搜索和分析。通过以上步骤,你已经成功安装了PostgreSQL和中文分词器Zhparser,并学会了如何使用Zhparser进行中文全文搜索和分析。安装和配置完成后,你现在可以在PostgreSQL数据库中使用Zhparser进行中文全文搜索和分析。安装完成后,Zhparser扩展将被编译并安装到PostgreSQL的扩展目录中。步骤3: 编译和安装Zhparser扩展。

XwlyVue的博客 881

PostgreSQL9.5 中文分词(zhparser)插件在windows上应用

通过对scws(简易中文分词系统)进行在windows上编译,并对zhparser进行编译后,提取应的成果文件,可部署至PostgreSQL9.5 安装目录中,重启服务后,即可完成zhparser插件的安装。本成果是在系统环境为win10、开发工具为vs2010的生产环境下完成。 解压后,在PostgreSQL9.5安装目录下,替换对应的文件即可。 生成的操作过程,可参见“PostgreSQL 中文分词zhparser插件在Windows上的部署应用”文章。

zhparser,postgresql中文分词

zhparser,postgresql中文分词

zhparser:zhparser是PostgreSQL扩展,用于中文全文搜索

zhparser:zhparser是PostgreSQL扩展,用于中文全文搜索

Postgresql中文分词扩展zhparser安装程序【windows&VS2008;环境】

使用方法:打开scws-1.2.3\win32里的解决方案文件,里面包括了scws和zhparser,另外一个是scws的php扩展不用编译 zhparser是Postgresql中进行中文分词的常用扩展,网上的相关资料很多,安装的教程也不少,但大多数是linux的,并没有windows的安装介绍。原因有两个方面,一个是本身像这种数据库服务器一般都是linux系统的,另外一个比较致命,zhparser本身并没提供windows环境下的编译工程,连依赖库scws的readme里也建议在linux环境下使用,或者用cygwin或mingw一类工具。对于博主这种只使用windows环境(其实Postgresql也是刚接触),连makefile也搞不明白的真是头大。好在万变不离其中,编译环境只是工具,只要搞清楚个中原理(看代码),移植到windows+VS的环境应该也不是难事(当然这个也只是在轻量级的库下面适用)。下面进入正题: 干货在这里 ① 编译scws:由于 zhparser是基于scws(scws是简易中文分词系统的缩写,它的原理其实很简单,基于词典,将文本中的内容按照词典进行分词,提取关键字等。)做的分词,因此先要编译scws,网上下载下来的源码有vs2008的版本,因此,直接编译,后来出现头文件无法加入的错误,将相关文件编码方式修改成unicode解决(利用notepad++ 编码->转换为UTF-8编码)。 ② 编译zhparser:由于zhparser只提供了linux下面的makefile文件,想着用Mingw去编译,后来因为postgresql所在目录有空格,导致编译过程也失败。只好到vs2008里自建一个工程,建好工程后,首先把scws的头文件和库文件加进去,然后把postgresql的头文件和库文件加进去,设置项目属性为生成dll文件。 ③ 扩展安装:编译成功以后,在postgresql下面运行:create extension zhparser; 提示找不到control文件,在下载的源码文件夹里找到该文件,放到指定目录,再次运行sql,提示找不到dll文件,将dll文件放到指定目录,再运行,提示找不到zhprs_start函数,看来是dll没有正常explort出函数,修改源代码中的相关函数声明,再次运行后,显示成功。但zhparser源文件下其实还有很多文件,包括一个词典文件和ini配制文件,还不知道应该放在何处。 ④ zhparser运行环境配制:运行测试sql语句,发现并没有实现分词,想起来应该是词典位置不正确,到zhparser源码中去搜寻,发现如下代码,看来是放到tsearch_data目录下面,用同样的方法找到ini文件的目录,将它们都放进去,再次运行测试代码,得到正确结果。 测试代码: REATE EXTENSION zhparser; -- make test configuration using parser CREATE TEXT SEARCH CONFIGURATION testzhcfg (PARSER = zhparser); ALTER TEXT SEARCH CONFIGURATION testzhcfg ADD MAPPING FOR n,v,a,i,e,l WITH simple; select to_tsvector('testzhcfg','南京市长江大桥');

从 0 到 1 构建 Graph RAG 系统:本地图谱 + 通义千问落地实践

本文介绍了一个基于知识图谱的检索增强生成系统(Graph RAG),该系统结合领域知识图谱、语义检索和大模型问答,旨在提供结构化、精准的技术问答服务。文章详细说明了项目背景、目标、核心技术架构以及实现方法,包括本地图谱构建、Neo4j数据库接入、语义检索和大模型集成等关键环节。该系统支持混合检索、多轮问答和知识图谱关联理解,能够有效减少大模型幻觉,提升问答的准确性和可解释性。文中还展示了核心代码结构和流程图,呈现了从文档加载到图谱构建再到问答生成的完整流程。该系统适用于需要处理复杂领域知识的研发和数据分析场

m0_58378112的博客 1404

231003-四步MacOS-iPadOS设置无线竖屏随航SideCar

新建虚拟屏幕参考文献。

专注机器学习之路 7494

Basilisk库教程

要在仿真中执行模块,其调度由Basilisk的[Process]和[Task]容器控制。BSK[Task]包含一系列模块,这些模块都以相同的更新频率执行。一个[Process]本质上是一个任务组,可以包含多个相关的任务。例如,在多星仿真中,你可以为每颗卫星创建一个[Process],以便将相关任务和嵌入式模块有序地组织起来。下图展示了一个示例布局,其中bskSat卫星的动力学被添加到与飞行软件(FSW)算法分开的进程中,这些算法在该卫星上执行。在每个进程中,设置了若干任务,这些任务以指定的频率进行评估。

weixin_57997461的博客 1139

OPTI Toolbox v2.28 安装与 3 个求解器补全:SCIP、SeDuMi、MOSEK 配置详解

本文详细介绍了OPTI Toolbox v2.28在MATLAB环境下的完整安装指南,包括SCIP、SeDuMi和MOSEK三个关键求解器的配置与优化技巧。通过分步指导和实战案例,帮助用户高效搭建强大的优化工具包,提升混合整数规划、二次约束二次规划等复杂问题的求解效率。

weixin_29039773的博客 352

【23】C++实战篇——C++报错:LNK2001:无法解析的外部符号 ,LNK2019: 无法解析的外部符号,原因分析及解决方法

该文分析了VS项目中出现的"无法解析的外部符号"LNK2001/LNK2019错误。问题表现为跨项目共享变量时,Projector项目无法解析Line项目中声明的外部变量ImgSavePath和ImgFormat。原因在于头文件声明了变量但未包含实现的源文件。解决方法是将getLine.cpp文件添加到Projector项目中。文章还总结了两种错误代码的区别:LNK2001通常对应变量缺失,LNK2019对应函数缺失。最后列出了具体的报错信息,包括无法解析的变量和函数符号。

程序员,他们想的是什么?他们想的永远都是技术,他们崇尚的也永远都是技术。 2010

Python对象的基本组成和内存示意图及引用的本质

在Python中,变量也称为:对象的引用(reference)。变量存储的就是对象的地址。变量不需要显式声明类型。根据变量引用的对象,Python解释器自动确定数据类型。一个内存块,拥有特定的值,支持特定类型的相关操作。变量位于:栈内存(压栈出栈等细节,后续再介绍)。⚠️Python是动态类型语言。变量通过地址引用了“对象”。

Calor13的博客 557

Cesium 实现动态加载气象数据:渲染成动态雨雪/云层效果(源码 + 原理)

本文介绍了在Cesium中实现动态天气效果的技术方案。核心思路是通过时间轴驱动多层数据动态切换,包括:1)时间维度处理,按序列加载不同气象图层;2)空间维度处理,将气象数据切分为瓦片;3)效果层实现,制作风场、降水等动态可视化效果。文章详细讲解了后端数据预处理(生成瓦片和风场JSON)、前端实现(双层雷达瓦片交替渐变、风场粒子系统)的具体方法,并提供了完整的代码示例。此外还探讨了雨雪粒子、云层效果等增强功能,以及工程化建议,为构建科学准确的动态天气可视化系统提供了实用解决方案。

专注AI大模型,软件混淆,授权 630

深度拆解 ‘High-Frequency Trading’ (HFT) 系统:解析如何在 100 纳秒内完成从网卡到 C++ 策略的响应

在100纳秒内完成从网卡到C++策略的响应,这是一项对技术栈每一个层面都进行极限优化的系统工程。它要求我们深入理解计算机体系结构、操作系统、网络协议和C++语言的底层机制。从物理距离的极致缩短,到高性能网卡和内核旁路技术,再到C++代码中每一个字节、每一个CPU周期的精打细算,HFT系统展现了人类对计算速度的永恒追求。这项技术不仅仅应用于金融交易,其背后的低延迟理念和实现方法,如DPDK、无锁编程、硬件加速等,正在逐渐渗透到其他对延迟敏感的领域,例如电信网络、边缘计算和工业自动化。

weixin_41455464的博客 1040

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

上一篇: kibana配置为systemctl
下一篇: openssh升级步骤
nmxiaocui
博客等级 码龄7年 2500粉丝 254原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值