[如何将Discord聊天记录转换为LangChain消息：分步指南]-优快云博客

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/142428728

# 如何将Discord聊天记录转换为LangChain消息：分步指南

在这篇文章中，我们将探讨如何将Discord聊天记录转换为LangChain消息格式。这一过程对于想要利用聊天记录进行机器学习、数据分析或聊天机器人开发的开发者非常有用。

## 引言

Discord是受欢迎的聊天平台，许多开发者希望将其聊天记录用于进一步的分析或AI模型训练。本文将指导您如何将Discord聊天记录转换为LangChain可以处理的消息格式。

## 主要内容

### 1. 创建消息转储

首先，从Discord应用中复制聊天记录并粘贴到本地的`.txt`文件中。以下是示例文本格式：

```plaintext
talkingtower — 08/15/2023 11:10 AM
Love music! Do you like jazz?
reporterbob — 08/15/2023 9:27 PM
Yes! Jazz is fantastic. Ever heard this one?

2. 定义聊天加载器

在开始之前，我们需要定义一个聊天加载器以处理文本文件中的内容。

import logging
import re
from typing import Iterator, List
from langchain_community.chat_loaders import base as chat_loaders
from langchain_core.messages import BaseMessage, HumanMessage

class DiscordChatLoader(chat_loaders.BaseChatLoader):
    def __init__(self, path: str):
        self.path = path
        self._message_line_regex = re.compile(
            r"(.+?) — (\w{3,9} \d{1,2}(?:st|nd|rd|th)?(?:, \d{4})? \d{1,2}:\d{2} (?:AM|PM)|Today at \d{1,2}:\d{2} (?:AM|PM)|Yesterday at \d{1,2}:\d{2} (?:AM|PM))",
            flags=re.DOTALL,
        )
    def _load_single_chat_session_from_txt(self, file_path: str) -> chat_loaders.ChatSession:
        with open(file_path, "r", encoding="utf-8") as file:
            lines = file.readlines()
        results: List[BaseMessage] = []
        current_sender = None
        current_timestamp = None
        current_content = []
        for line in lines:
            if re.match(r".+? — (\d{2}/\d{2}/\d{4} \d{1,2}:\d{2} (?:AM|PM)|Today at \d{1,2}:\d{2} (?:AM|PM)|Yesterday at \d{1,2}:\d{2} (?:AM|PM))", line):
                if current_sender and current_content:
                    results.append(HumanMessage(
                        content="".join(current_content).strip(),
                        additional_kwargs={"sender": current_sender, "events": [{"message_time": current_timestamp}]},
                    ))
                current_sender, current_timestamp = line.split(" — ")[:2]
                current_content = [line[len(current_sender) + len(current_timestamp) + 4 :].strip()]
            else:
                current_content.append("\n" + line.strip())
        if current_sender and current_content:
            results.append(HumanMessage(
                content="".join(current_content).strip(),
                additional_kwargs={"sender": current_sender, "events": [{"message_time": current_timestamp}]},
            ))
        return chat_loaders.ChatSession(messages=results)
    def lazy_load(self) -> Iterator[chat_loaders.ChatSession]:
        yield self._load_single_chat_session_from_txt(self.path)

3. 创建加载器实例

我们将指向之前创建的文本文件。

loader = DiscordChatLoader(path="./discord_chats.txt")

4. 加载消息

假设格式正确，加载器将把聊天记录转换为LangChain消息。

from typing import List
from langchain_community.chat_loaders.utils import (
    map_ai_messages,
    merge_chat_runs,
)
from langchain_core.chat_sessions import ChatSession

raw_messages = loader.lazy_load()
merged_messages = merge_chat_runs(raw_messages)
messages: List[ChatSession] = list(
    map_ai_messages(merged_messages, sender="talkingtower")
)

常见问题和解决方案

格式错误：确保粘贴的文件格式符合示例格式。
文件编码：保证文本文件编码为UTF-8。

总结和进一步学习资源

掌握如何将Discord聊天记录转化为LangChain消息后，您可以使用这些数据进行模型微调、输出生成或其他分析任务。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---