使用LangChain生成合成数据的实战指南_langchain 数据合成-优快云博客

本文链接：https://blog.youkuaiyun.com/eahba/article/details/145881379

使用LangChain生成合成数据的实战指南

技术背景介绍

合成数据是一种通过人工手段生成的数据集，不是从现实世界事件中直接收集而来的。这类数据可以用于模拟真实数据，适用于需要保护隐私或受限于现实数据收集的场景。

合成数据的优势：

隐私与安全：避免了真实个人数据泄露的风险。
数据扩增：为机器学习扩展数据集。
灵活性：创造特定或罕见情境。
成本效益：常常比现实数据收集更便宜。
法规遵循：帮助应对严格的数据保护法规。
模型鲁棒性：可能导致更好地泛化AI模型。
快速原型开发：无需真实数据即可快速测试。
可控实验：模拟特定条件。
数据获取：在没有真实数据时的替代。

然而，合成数据的使用需谨慎，因为它不一定总能捕捉到现实世界的复杂性。

核心原理解析

合成数据的生成通过定义数据模型和使用模板引导语言模型生成数据。在本教程中，我们将利用LangChain库来生成医疗账单记录的合成数据。LangChain允许我们定义数据结构，提供一些样本，并通过OpenAI的生成链生成合成数据。

代码实现演示

1. 设置环境

首先，安装LangChain库及其依赖。

%pip install --upgrade --quiet langchain langchain_experimental langchain-openai

2. 定义数据模型

定义一个数据类来描述每条数据记录的结构。

from langchain_core.pydantic_v1 import BaseModel

class MedicalBilling(BaseModel):
    patient_id: int
    patient_name: str
    diagnosis_code: str
    procedure_code: str
    total_charge: float
    insurance_claim_amount: float

3. 提供样本数据

这些示例将作为生成合成数据的种子。

examples = [
    {
        "example": """Patient ID: 123456, Patient Name: John Doe, Diagnosis Code: J20.9, Procedure Code: 99203, Total Charge: $500, Insurance Claim Amount: $350"""
    },
    {
        "example": """Patient ID: 789012, Patient Name: Johnson Smith, Diagnosis Code: M54.5, Procedure Code: 99213, Total Charge: $150, Insurance Claim Amount: $120"""
    },
    {
        "example": """Patient ID: 345678, Patient Name: Emily Stone, Diagnosis Code: E11.9, Procedure Code: 99214, Total Charge: $300, Insurance Claim Amount: $250"""
    },
]

4. 创建提示模板

from langchain.prompts import FewShotPromptTemplate, PromptTemplate

OPENAI_TEMPLATE = PromptTemplate(input_variables=["example"], template="{example}")

prompt_template = FewShotPromptTemplate(
    prefix="BEGIN\n",
    examples=examples,
    suffix="\nEND",
    input_variables=["subject", "extra"],
    example_prompt=OPENAI_TEMPLATE,
)

5. 生成合成数据

利用定义的模板和数据模型创建数据生成器。

from langchain_experimental.tabular_synthetic_data.openai import create_openai_data_generator
from langchain_openai import ChatOpenAI

# 使用稳定可靠的API服务
synthetic_data_generator = create_openai_data_generator(
    output_schema=MedicalBilling,
    llm=ChatOpenAI(temperature=1),
    prompt=prompt_template,
)

synthetic_results = synthetic_data_generator.generate(
    subject="medical_billing",
    extra="the name must be chosen at random. Make it something you wouldn't normally choose.",
    runs=10,
)

for record in synthetic_results:
    print(record)