mstables 项目使用教程-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00026/article/details/142541162

mstables 项目使用教程

mstables MorningStar.com scraper that consolidates tens of thousands of financial records into a SQLite relational database. Class 'dataframes' easily converts the SQLite data into pandas DataFrames (see Jupyter notebook for examples) 项目地址: https://gitcode.com/gh_mirrors/ms/mstables

1. 项目的目录结构及介绍

mstables/
├── doc/
│   └── 文档文件
├── input/
│   └── 输入文件
├── db/
│   └── SQLite 数据库文件
├── .gitignore
├── LICENSE
├── README.md
├── data_overview.ipynb
├── dataframes.py
├── fetch.py
├── main.py
├── mstables_001.sqlite
├── parse.py
└── sample_rules_output.csv

目录结构介绍

doc/: 存放项目文档文件。
input/: 存放输入文件，如 API 配置文件等。
db/: 存放生成的 SQLite 数据库文件。
.gitignore: Git 忽略文件配置。
LICENSE: 项目许可证文件。
README.md: 项目说明文件。
data_overview.ipynb: Jupyter Notebook 文件，用于数据可视化和分析。
dataframes.py: 用于将 SQLite 数据转换为 pandas DataFrame 的模块。
fetch.py: 用于从 MorningStar.com 抓取数据的模块。
main.py: 项目的启动文件。
mstables_001.sqlite: 示例 SQLite 数据库文件。
parse.py: 用于解析抓取数据的模块。
sample_rules_output.csv: 示例规则输出文件。

2. 项目的启动文件介绍

main.py

main.py 是 mstables 项目的启动文件。它提供了一个命令行界面 (CLI)，允许用户创建和管理多个 SQLite 数据库文件，并从 MorningStar.com 下载最新的财务数据。

启动方式

在项目根目录下执行以下命令启动项目：

python main.py

启动后，用户将看到如下界面：

欢迎使用 mstables 数据抓取工具
请选择操作：
1. 创建初始 SQLite 数据库表
2. 下载最新数据
3. 其他操作（待更新）

用户可以根据提示选择相应的操作。

3. 项目的配置文件介绍

input/api.json

input/api.json 是项目的配置文件之一，用于存储 API 的 URL 列表。用户可以根据需要修改此文件中的 URL，以抓取不同的数据源。

配置文件示例

{
    "urls": [
        "https://morningstar.com/api/v1/financials/AAPL",
        "https://morningstar.com/api/v1/financials/MSFT",
        "https://morningstar.com/api/v1/financials/GOOGL"
    ]
}

用户可以根据需要添加或删除 URL，以抓取不同的财务数据。