floret 项目使用与配置指南

floret 项目使用与配置指南

floret 🌸 fastText + Bloom embeddings for compact, full-coverage vectors with spaCy 项目地址: https://gitcode.com/gh_mirrors/fl/floret

1. 项目目录结构及介绍

floret 项目是基于 fastText 的一个扩展版本，它能够为任意单词生成紧凑的向量表示。以下是项目的目录结构及其简要介绍：

floret/
├── .github/           # 存放 GitHub Actions 工作流配置文件
│   └── workflows/
├── examples/          # 示例代码和notebook文件
├── python/            # Python 相关文件
├── src/               # 源代码目录
│   └── __init__.py
├── tests/             # 测试代码目录
├── .gitignore         # Git 忽略文件列表
├── CMakeLists.txt     # CMake 构建配置文件
├── LICENSE            # 项目许可证文件
├── MANIFEST.in        # Python 打包配置文件
├── Makefile           # Makefile 构建脚本
├── README.md          # 项目说明文档
├── floret.pc.in       # 项目配置文件模板
├── pyproject.toml     # Python 项目配置文件
├── requirements.txt   # Python 项目依赖文件
├── setup.cfg          # Python 打包配置文件
└── setup.py           # Python 打包脚本

2. 项目的启动文件介绍

项目的启动主要是通过命令行工具进行的。以下是主要的启动文件及其作用：

• Makefile: 用于编译 C++ 代码的 Makefile 文件。通过执行 make 命令，可以编译出主程序 floret。
• setup.py: Python 的打包脚本，用于安装 Python 包。可以通过 pip install . 命令安装。

编译后的 floret 可执行文件可以用于训练和生成单词向量。

3. 项目的配置文件介绍

项目的配置主要是通过命令行参数进行的。以下是一些主要的配置选项：

• -mode: 指定程序运行的模式，fasttext 是默认模式，floret 是启用紧凑向量表的模式。
• -hashCount: 在 floret 模式下，指定每个单词/子词的哈希次数（1-4）。
• -bucket: 指定哈希表的桶数，这决定了向量表的大小。
• -input: 指定输入文件，通常是包含文本数据的文件。
• -output: 指定输出文件，用于保存训练后的向量。

具体的配置参数可以通过 -h 或 --help 参数查看。

例如，以下是一个命令行示例，用于训练 CBOW 嵌入，使用 4-gram 和 5-gram 子词，每个条目 2 次哈希，以及一个包含 50K 条目的紧凑表：

floret cbow -dim 300 -minn 4 -maxn 5 -mode floret -hashCount 2 -bucket 50000 -input input.txt -output vectors

在配置项目时，确保根据实际需求调整参数，以获得最佳的训练效果。

floret 🌸 fastText + Bloom embeddings for compact, full-coverage vectors with spaCy 项目地址: https://gitcode.com/gh_mirrors/fl/floret