Memo 项目使用教程

Memo 项目使用教程

1. 项目介绍

Memo 是一个用于记录和统计函数运行状态的 Python 装饰器库。它提供了多种装饰器，可以将函数的输入参数、输出结果以及运行时间等信息记录到文件、列表或通过 HTTP POST 请求发送到服务器。Memo 还支持并行化任务执行，适用于需要大规模数据处理和实验的场景。

2. 项目快速启动

安装

首先，通过 pip 安装 Memo 库：

pip install memo

基本使用

以下是一个简单的示例，展示了如何使用 memlist 和 memfile 装饰器来记录函数的运行结果和时间。

import numpy as np
from memo import memlist, memfile, grid, time_taken

# 创建一个空列表用于存储结果
data = []

# 定义一个函数，使用装饰器记录结果和时间
@memfile(filepath="results.jsonl")
@memlist(data=data)
@time_taken()
def birthday_experiment(class_size, n_sim):
    """模拟生日悖论，向量化处理以提高速度"""
    sims = np.random.randint(1, 365 + 1, (n_sim, class_size))
    sort_sims = np.sort(sims, axis=1)
    n_uniq = (sort_sims[:, 1:] != sort_sims[:, :-1]).sum(axis=1) + 1
    proba = np.mean(n_uniq == class_size)
    return {"est_proba": proba}

# 生成实验设置
for settings in grid(class_size=[5, 10, 20, 30], n_sim=[1000, 1_000_000]):
    birthday_experiment(**settings)

# 查看记录的结果
print(data)

3. 应用案例和最佳实践

案例1：实验结果记录

在科学计算和数据分析中，经常需要运行大量的实验并记录结果。Memo 提供了 memfile 装饰器，可以将每次实验的结果记录到文件中，便于后续分析。

@memfile(filepath="experiment_results.jsonl")
def run_experiment(param1, param2):
    # 实验代码
    result = param1 * param2
    return {"result": result}

# 运行多个实验
for p1, p2 in [(1, 2), (3, 4), (5, 6)]:
    run_experiment(p1, p2)

案例2：并行化任务执行

对于需要大规模并行处理的场景，Memo 提供了 Runner 类，可以方便地将任务并行化执行。

from memo import Runner

# 定义实验设置
settings = grid(param1=range(10), param2=[100, 200, 300])

# 使用 Runner 并行执行任务
runner = Runner(backend="threading", n_jobs=-1)
runner.run(func=run_experiment, settings=settings, progbar=True)

4. 典型生态项目

生态项目1：Joblib

Joblib 是一个用于并行计算的 Python 库，Memo 的 Runner 类使用了 Joblib 作为并行化任务执行的后端，提供了多种并行化策略（如 threading、multiprocessing 等）。

生态项目2：NumPy

NumPy 是 Python 中用于科学计算的基础库，Memo 的示例代码中大量使用了 NumPy 进行向量化计算，提高了代码的执行效率。

通过结合这些生态项目，Memo 可以更好地满足复杂数据处理和实验的需求。