Friso 中文分词器使用教程

Friso 中文分词器使用教程

friso High performance Chinese tokenizer with both GBK and UTF-8 charset support based on MMSEG algorithm developed by ANSI C. Completely based on modular implementation and can be easily embedded in other programs, like: MySQL, PostgreSQL, PHP, etc. 项目地址: https://gitcode.com/gh_mirrors/fr/friso

1. 项目目录结构及介绍

Friso 是一个开源的高性能中文分词器，其目录结构如下：

friso/
├── binding/           # 包含不同语言的绑定插件
├── dict/              # 存放词库文件
├── doc/               # 文档目录
├── src/               # 源代码目录
├── vendors/           # 第三方库或工具
├── .gitignore         # Git 忽略文件列表
├── CHANGES.md         # 项目变更记录
├── LICENSE.md         # 项目许可证信息
├── Makefile.am        # Makefile 配置文件
├── README.md          # 项目说明文件
├── autogen.sh         # 自动生成配置脚本
├── configure.ac       # 配置脚本
└── friso-help-doc.pdf # 帮助文档

• binding/ 目录包含不同编程语言的绑定插件，例如 PHP、OCaml、Lua 等。
• dict/ 目录存储了 Friso 使用的词库文件，包括中文词库、英文混合词库等。
• doc/ 目录包含了项目的文档资料。
• src/ 目录包含了 Friso 的源代码，包括分词算法的实现等。
• vendors/ 目录存放了项目依赖的第三方库或工具。
• .gitignore 文件指定了 Git 忽略的文件和目录。
• CHANGES.md 记录了项目的更新和变更历史。
• LICENSE.md 包含了项目的开源许可证信息。
• Makefile.am 是用于构建项目的 Makefile 配置文件。
• README.md 是项目的说明文件，介绍了项目的相关信息。
• autogen.sh 和 configure.ac 用于自动生成构建系统的配置文件。
• friso-help-doc.pdf 是项目的帮助文档。

2. 项目的启动文件介绍

Friso 的启动主要是通过 src/ 目录下的 friso 程序来完成的。在 Linux 系统中，可以通过以下步骤编译和运行 Friso：

1. 进入 Friso 的根目录。
2. 运行 make 命令编译源代码。
3. 运行 ./src/friso -init ./friso.ini 命令初始化并启动 Friso。

启动后，Friso 会提供一个交互式界面，用户可以输入文本进行分词测试。

3. 项目的配置文件介绍

Friso 的配置主要是通过 friso.ini 文件来完成的。这个文件位于项目的根目录下，用户可以通过文本编辑器打开并修改配置。

以下是 friso.ini 的一些主要配置选项：

• friso.charset：设置字符集编码，0 表示 UTF8，1 表示 GBK。
• friso.lex_dir：词库目录的绝对路径，必须以 / 结尾。
• friso.max_len：最大匹配长度。
• friso.r_name：是否识别中文名。
• friso.mix_len：中英文混合词的最大长度。
• friso.lna_len：中文姓氏首字母的长度。
• friso.add_syn：是否追加同义词。
• friso.clr_stw：是否清除停止词。
• friso.mode：分词模式，1 表示简易模式，2 表示复杂模式，3 表示检测模式。

用户可以根据自己的需求调整这些配置选项，以实现不同的分词效果。

friso High performance Chinese tokenizer with both GBK and UTF-8 charset support based on MMSEG algorithm developed by ANSI C. Completely based on modular implementation and can be easily embedded in other programs, like: MySQL, PostgreSQL, PHP, etc. 项目地址: https://gitcode.com/gh_mirrors/fr/friso