使用DocETL Python API分析医疗转录文本的完整指南

使用DocETL Python API分析医疗转录文本的完整指南

docetl A system for agentic LLM-powered data processing and ETL 项目地址: https://gitcode.com/gh_mirrors/doc/docetl

前言

在医疗数据分析领域，从非结构化的医生-患者对话记录中提取有价值的信息是一项具有挑战性但极具价值的工作。DocETL项目提供了一套强大的Python API，可以帮助开发者高效地处理和分析这类医疗转录文本。本文将详细介绍如何使用DocETL Python API构建一个完整的医疗数据分析流水线。

准备工作

在开始之前，请确保已完成以下准备工作：

1. 环境配置：安装DocETL库及其依赖项
2. API密钥设置：配置必要的API访问权限
3. 数据准备：准备好医疗转录文本数据，建议使用JSON格式存储

核心概念解析

DocETL的核心思想是通过构建数据处理流水线(Pipeline)来实现复杂的数据转换和分析。一个典型的流水线包含以下几个关键组件：

• 数据集(Dataset)：定义输入数据的来源和格式
• 操作(Operations)：定义对数据执行的各种处理步骤
• 流水线步骤(PipelineStep)：将多个操作组合成一个逻辑处理单元
• 输出(Output)：定义处理结果的存储方式和位置

构建医疗分析流水线

我们将构建一个包含四个主要步骤的流水线，用于分析医疗转录文本中的药物信息：

1. 药物提取(MapOp)

这一步从每份转录文本中识别并列出所有提到的药物名称。我们使用自然语言处理技术来分析文本内容，提取药物相关信息。

MapOp(
    name="extract_medications",
    type="map",
    prompt="""
    分析以下医生与患者对话的转录文本：
    {{ input.src }}
    提取并列出转录中提到的所有药物。
    如果没有提到任何药物，则返回空列表。
    """,
    output={
        "schema": {
            "medication": "list[str]"
        }
    }
)

2. 数据展开(UnnestOp)

由于上一步提取的药物信息是一个列表，这一步将列表展开，使每个药物及其相关信息成为独立的记录。

UnnestOp(
    name="unnest_medications",
    type="unnest",
    unnest_key="medication"
)

3. 药物名称标准化(ResolveOp)

医疗文本中经常会出现同一种药物的不同名称（如商品名和通用名）。这一步通过语义相似度计算，将相似的药物名称标准化为统一的表示。

ResolveOp(
    name="resolve_medications",
    type="resolve",
    blocking_keys=["medication"],
    blocking_threshold=0.6162,
    comparison_prompt="""
    比较以下两个药物条目：
    条目1: {{ input1.medication }}
    条目2: {{ input2.medication }}
    这些药物是否可能是相同或密切相关的？
    """,
    embedding_model="text-embedding-3-small",
    output={
        "schema": {
            "medication": "str"
        }
    },
    resolution_prompt="""
    给定以下匹配的药物条目：
    {% for entry in inputs %}
    条目 {{ loop.index }}: {{ entry.medication }}
    {% endfor %}
    确定这组条目的最佳标准化药物名称。标准化名称应该是能够最好代表所有匹配条目的、广泛认可的标准化药物名称。
    """
)

4. 药物信息汇总(ReduceOp)

这一步针对每种标准化后的药物，汇总其在所有转录文本中提到的副作用和治疗用途。

ReduceOp(
    name="summarize_prescriptions",
    type="reduce",
    reduce_key=["medication"],
    prompt="""
    以下是医生与患者对话的一些转录文本：

    {% for value in inputs %}
    转录文本 {{ loop.index }}:
    {{ value.src }}
    {% endfor %}

    对于药物 {{ reduce_key }}，请根据以上所有转录文本提供以下信息：

    1. 副作用：总结 {{ reduce_key }} 的所有提到的副作用。
    2. 治疗用途：解释 {{ reduce_key }} 被处方或推荐的医疗状况或症状。

    确保您的总结：
    - 仅基于提供的转录文本中的信息
    - 仅关注 {{ reduce_key }}，不涉及其他药物
    - 包含来自所有转录文本的相关细节
    - 清晰简洁
    - 包含转录文本中的引用
    """,
    output={
        "schema": {
            "side_effects": "str",
            "uses": "str"
        }
    }
)

完整流水线配置

将上述组件组合成一个完整的流水线：

from docetl.api import Pipeline, Dataset, MapOp, UnnestOp, ResolveOp, ReduceOp, PipelineStep, PipelineOutput

# 定义数据集
dataset = Dataset(
    type="file",
    path="medical_transcripts.json"
)

# 定义操作序列
operations = [
    # 这里放置上面定义的四个操作
]

# 定义流水线步骤
step = PipelineStep(
    name="medical_info_extraction",
    input="transcripts",
    operations=[
        "extract_medications",
        "unnest_medications",
        "resolve_medications",
        "summarize_prescriptions"
    ]
)

# 定义输出
output = PipelineOutput(
    type="file",
    path="medication_summaries.json",
    intermediate_dir="intermediate_results"
)

# 定义系统提示（可选但推荐）
system_prompt = {
    "dataset_description": "医生就诊记录的转录文本集合",
    "persona": "分析患者症状和药物反应的医疗从业者"
}

# 创建流水线
pipeline = Pipeline(
    name="medical_transcript_analysis",
    datasets={"transcripts": dataset},
    operations=operations,
    steps=[step],
    output=output,
    default_model="gpt-4o-mini",
    system_prompt=system_prompt
)

# 运行流水线
cost = pipeline.run()
print(f"流水线执行完成。总成本: ${cost:.2f}")

执行与优化

执行流水线只需运行Python脚本即可。DocETL还提供了流水线优化功能，可以自动调整参数以获得更好的性能：

# 优化流水线配置
optimized_pipeline = pipeline.optimize()

# 运行优化后的流水线
cost = optimized_pipeline.run()
print(f"优化后的流水线执行完成。总成本: ${cost:.2f}")

实际应用建议

1. 数据采样：处理大型数据集时，可以先使用采样功能进行小规模测试
2. 提示工程：根据具体需求调整提示(prompt)内容，可以获得更精确的结果
3. 阈值调整：药物名称解析的blocking_threshold参数可以根据实际数据特点进行调整
4. 模型选择：根据任务复杂度和预算选择合适的模型

扩展应用

这个基础流水线可以扩展应用于多种医疗文本分析场景：

• 特定类型药物分析（如心血管药物）
• 疾病症状模式识别
• 治疗效果评估
• 药物相互作用分析

通过调整各步骤的提示内容和参数配置，可以针对不同的分析需求定制专属的医疗文本分析解决方案。

结语

DocETL的Python API为医疗文本分析提供了强大而灵活的工具。通过构建模块化的数据处理流水线，开发者可以高效地从非结构化的医疗转录文本中提取有价值的临床见解。本文介绍的药物分析案例只是众多可能应用中的一个示例，希望读者能够在此基础上开发出更多创新的医疗数据分析应用。

docetl A system for agentic LLM-powered data processing and ETL 项目地址: https://gitcode.com/gh_mirrors/doc/docetl