历史词向量工具集 histwords 使用教程

历史词向量工具集 histwords 使用教程

histwords Collection of tools for building diachronic/historical word vectors 项目地址: https://gitcode.com/gh_mirrors/hi/histwords

1. 项目目录结构及介绍

histwords 项目是一个用于构建历史词向量的工具集，其目录结构如下：

histwords/
├── coha/                   # 用于处理 COHA 语料库的代码
├── googlengram/            # 用于处理谷歌 n-gram 数据的代码
├── representations/        # 提供对历史词向量的高级接口，基于 Omer Levy 的 hyperwords 包
├── sgns/                   # 包含修改后的 Google word2vec 代码
├── statutils/              # 包含常用的统计任务辅助代码
├── vecanalysis/            # 包含评估和分析历史词向量的代码
├── example.py              # 展示如何计算两个词在不同时间点的相似度系列
├── example.sh              # 示例脚本，展示如何下载和使用嵌入向量
├── ioutils.py              # 输入输出工具代码
├── README.md               # 项目说明文件
├── license                 # 许可证文件
├── requirements.txt        # 项目依赖文件
├── setup.py                # 项目设置文件
└── viz/                    # 可视化代码

2. 项目的启动文件介绍

example.sh 脚本是一个示例启动文件，它展示了如何下载和使用嵌入向量。此脚本的执行不需要任何参数，它会自动执行以下步骤：

• 下载预训练的历史词向量数据。
• 解压下载的数据。
• 使用下载的数据进行一些基本的操作，例如加载向量、计算词向量之间的相似度等。

在终端中，可以通过以下命令运行此脚本：

sh example.sh

3. 项目的配置文件介绍

histwords 项目中的配置主要是通过代码中的默认设置来进行的。如果要自定义配置，可以在以下文件中进行修改：

• requirements.txt：此文件列出了项目依赖的 Python 包，如果需要添加或修改依赖，可以在该文件中进行调整。
• setup.py：此文件定义了项目的名称、版本、描述等信息，如果需要修改项目的基本信息，可以在此文件中进行更改。

对于具体的模型训练和数据分析，配置通常在 Python 脚本中进行，例如调整训练参数、选择不同的嵌入模型等。在 representations、sgns、vecanalysis 等目录下的 Python 文件中可以找到这些配置选项。

histwords Collection of tools for building diachronic/historical word vectors 项目地址: https://gitcode.com/gh_mirrors/hi/histwords