使用Python将WeChat聊天记录转为LangChain消息格式

在AI模型的微调过程中，往往需要输入一些带有上下文的对话数据。然而，对于WeChat这样的流行聊天工具，直接导出聊天信息并不方便。本文将向您展示如何通过手动复制和粘贴聊天记录到文本文件，再利用自定义的加载器，将这些记录转换成LangChain所需的消息格式用于模型训练。此方法基于LangChain的Discord聊天加载器库，经过简单的修改可以适用于WeChat。

技术背景介绍

在进行大语言模型的微调和少样本学习时，拥有来自不同来源的对话数据可以提升模型的表现。在本案例中，目标是将WeChat聊天记录转换为LangChain框架所需的消息格式，进一步应用于AI模型的训练与推理。

核心原理解析

首先，通过WeChat桌面应用程序的复制功能，将所需聊天记录复制到一个文本文件中。接着，通过一个自定义的WeChat聊天加载器，解析文本文件内容，并将格式转换为LangChain消息对象。最后，将这些对象用作微调模型的输入。

代码实现演示

下面是具体的代码实现步骤：

1. 创建聊天记录文本文件

首先，从WeChat桌面应用程序中复制所需的消息，并粘贴到本地的文本文件中。例如：

女朋友 2023/09/16 2:51 PM
天气有点凉

男朋友 2023/09/16 2:51 PM
珍簟凉风著，瑶琴寄恨生。嵇君懒书札，底物慰秋情。

2. 定义WeChat聊天加载器

import logging
import re
from typing import Iterator, List
from langchain_community.chat_loaders import base as chat_loaders
from langchain_core.messages import BaseMessage, HumanMessage

logger = logging.getLogger()

class WeChatChatLoader(chat_loaders.BaseChatLoader):
    def __init__(self, path: str):
        self.path = path
        self._message_line_regex = re.compile(
            r"(?P<sender>.+?) (?P<timestamp>\d{4}/\d{2}/\d{2} \d{1,2}:\d{2} (?:AM|PM))"