Friso 中文分词器使用教程

Friso 中文分词器使用教程

friso High performance Chinese tokenizer with both GBK and UTF-8 charset support based on MMSEG algorithm developed by ANSI C. Completely based on modular implementation and can be easily embedded in other programs, like: MySQL, PostgreSQL, PHP, etc. friso 项目地址: https://gitcode.com/gh_mirrors/fr/friso

1. 项目目录结构及介绍

Friso 是一个开源的高性能中文分词器,其目录结构如下:

friso/
├── binding/           # 包含不同语言的绑定插件
├── dict/              # 存放词库文件
├── doc/               # 文档目录
├── src/               # 源代码目录
├── vendors/           # 第三方库或工具
├── .gitignore         # Git 忽略文件列表
├── CHANGES.md         # 项目变更记录
├── LICENSE.md         # 项目许可证信息
├── Makefile.am        # Makefile 配置文件
├── README.md          # 项目说明文件
├── autogen.sh         # 自动生成配置脚本
├── configure.ac       # 配置脚本
└── friso-help-doc.pdf # 帮助文档
  • binding/ 目录包含不同编程语言的绑定插件,例如 PHP、OCaml、Lua 等。
  • dict/ 目录存储了 Friso 使用的词库文件,包括中文词库、英文混合词库等。
  • doc/ 目录包含了项目的文档资料。
  • src/ 目录包含了 Friso 的源代码,包括分词算法的实现等。
  • vendors/ 目录存放了项目依赖的第三方库或工具。
  • .gitignore 文件指定了 Git 忽略的文件和目录。
  • CHANGES.md 记录了项目的更新和变更历史。
  • LICENSE.md 包含了项目的开源许可证信息。
  • Makefile.am 是用于构建项目的 Makefile 配置文件。
  • README.md 是项目的说明文件,介绍了项目的相关信息。
  • autogen.shconfigure.ac 用于自动生成构建系统的配置文件。
  • friso-help-doc.pdf 是项目的帮助文档。

2. 项目的启动文件介绍

Friso 的启动主要是通过 src/ 目录下的 friso 程序来完成的。在 Linux 系统中,可以通过以下步骤编译和运行 Friso:

  1. 进入 Friso 的根目录。
  2. 运行 make 命令编译源代码。
  3. 运行 ./src/friso -init ./friso.ini 命令初始化并启动 Friso。

启动后,Friso 会提供一个交互式界面,用户可以输入文本进行分词测试。

3. 项目的配置文件介绍

Friso 的配置主要是通过 friso.ini 文件来完成的。这个文件位于项目的根目录下,用户可以通过文本编辑器打开并修改配置。

以下是 friso.ini 的一些主要配置选项:

  • friso.charset:设置字符集编码,0 表示 UTF8,1 表示 GBK。
  • friso.lex_dir:词库目录的绝对路径,必须以 / 结尾。
  • friso.max_len:最大匹配长度。
  • friso.r_name:是否识别中文名。
  • friso.mix_len:中英文混合词的最大长度。
  • friso.lna_len:中文姓氏首字母的长度。
  • friso.add_syn:是否追加同义词。
  • friso.clr_stw:是否清除停止词。
  • friso.mode:分词模式,1 表示简易模式,2 表示复杂模式,3 表示检测模式。

用户可以根据自己的需求调整这些配置选项,以实现不同的分词效果。

friso High performance Chinese tokenizer with both GBK and UTF-8 charset support based on MMSEG algorithm developed by ANSI C. Completely based on modular implementation and can be easily embedded in other programs, like: MySQL, PostgreSQL, PHP, etc. friso 项目地址: https://gitcode.com/gh_mirrors/fr/friso

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梅骅屹

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值