使用LangChain进行WhatsApp聊天记录加载和消息转换

在数字通信时代，我们经常需要分析和处理聊天记录。特别是在WhatsApp上，导出和处理对话以获取有价值的洞察力或用于训练AI模型非常重要。本文将详细介绍如何使用LangChain库的WhatsApp聊天加载器，将导出的WhatsApp对话转换为LangChain消息格式。

技术背景介绍

WhatsApp聊天记录通常以文本格式导出，其中包括对话的时间戳、发送者和消息内容。为了处理这些数据并将其应用于AI模型训练或分析，我们需要一种方法将其转换为标准的AI消息格式。LangChain库提供了WhatsAppChatLoader类，可以轻松实现这一转换。

核心原理解析

WhatsAppChatLoader通过读取导出的聊天记录文件，将每条消息映射为一个ChatSession，其中包括AI消息和用户消息。这种格式化的消息可以直接用于AI模型的输入，如fine-tuning或预测。

代码实现演示(重点)

首先，我们需要导出WhatsApp聊天记录，然后使用LangChain库进行转换。

第一步：创建消息导出

以下步骤演示如何导出WhatsApp聊天：

1. 打开目标对话。
2. 点击右上角三个点，选择“更多”。
3. 选择“导出聊天”，并选择“无媒体”。

保存后的文件格式如下：

%%writefile whatsapp_chat.txt
[8/15/23, 9:12:33 AM] Dr. Feather: ‎Messages and calls are end-to-end encrypted...
...

第二步：创建聊天加载器

使用LangChain库加载导出的聊天记录：

from langchain_community.chat_loaders.whatsapp import WhatsAppChatLoader

# 加载器配置
loader = WhatsAppChatLoader(
    path="./whatsapp_chat.txt",
)

第三步：加载消息

通过调用load()或lazy_load()方法来处理聊天记录：

from typing import List
from langchain_community.chat_loaders.utils import (
    map_ai_messages,
    merge_chat_runs,
)
from langchain_core.chat_sessions import ChatSession

# 原始消息加载
raw_messages = loader.lazy_load()
# 合并同一发送者的连续消息
merged_messages = merge_chat_runs(raw_messages)
# 将“Dr. Feather”消息转换为AI消息
messages: List[ChatSession] = list(
    map_ai_messages(merged_messages, sender="Dr. Feather")
)

后续步骤

转换后的消息可以用于模型fine-tuning、选择少样本示例或者直接用于预测：

from langchain_openai import ChatOpenAI

llm = ChatOpenAI()

# 使用转换后的消息进行预测
for chunk in llm.stream(messages[0]["messages"]):
    print(chunk.content, end="", flush=True)

应用场景分析

这种消息格式转换对于希望训练或优化AI聊天模型的研究者和开发者非常有用。它可以帮助快速预处理聊天数据，使其适合AI模型使用，并提高预测准确性。

实践建议

1. 确保导出对话的格式正确，以便于转换。
2. 在使用转换后的数据进行模型训练时，注意数据的质量和相关性。
3. 可以使用转换后的数据进行多种AI应用，如聊天机器人优化和用户行为分析。

如果遇到问题欢迎在评论区交流。
—END—