LLamaSharp项目中的ChatSession使用教程-优快云博客

LLamaSharp项目中的ChatSession使用教程

LLamaSharp Run LLaMA/GPT model easily and fast in C#!🤗 It's also easy to integrate LLamaSharp with semantic-kernel, unity, WPF and WebApp. 项目地址: https://gitcode.com/gh_mirrors/ll/LLamaSharp

概述

在LLamaSharp项目中，ChatSession是一个高级抽象层，它为开发者提供了便捷的聊天会话管理功能。本文将详细介绍ChatSession的核心概念、使用方法以及高级定制功能。

ChatSession基础概念

ChatSession模拟了类似ChatGPT的交互式聊天会话，它维护着对话的上下文和历史记录，能够根据用户的输入生成连贯的响应。与底层执行器(Executor)相比，ChatSession提供了更高级的抽象和更便捷的API。

基础使用方法

初始化会话

要创建ChatSession实例，首先需要准备一个执行器实例：

InteractiveExecutor ex = new(new LLamaModel(new ModelParams(modelPath)));
ChatSession session = new ChatSession(ex);

进行对话交互

ChatSession提供了两种主要的对话方式：

使用简单字符串输入：

string prompt = "什么是C#?";
await foreach (var text in session.ChatAsync(prompt, new InferenceParams() { 
    Temperature = 0.6f, 
    AntiPrompts = new List<string> { "用户:" } 
}))
{
    Console.Write(text);
}

使用ChatHistory对象（适用于需要导入历史对话的场景）

查看对话历史

可以通过History属性访问完整的对话记录：

foreach(var rec in session.History.Messages)
{
    Console.WriteLine($"{rec.AuthorRole}: {rec.Content}");
}

会话的保存与加载

在实际应用中，我们经常需要保存和恢复会话状态：

文件系统存储

string savePath = "会话保存目录";
session.SaveSession(savePath);  // 保存会话
session.LoadSession(savePath, loadTransforms:true);  // 加载会话

内存状态管理

var sessionState = session.GetSessionState();  // 获取会话状态
session.LoadSession(sessionState, loadTransforms:false);  // 从内存状态恢复

高级定制功能

ChatSession提供了三种可定制的转换器，让开发者可以精细控制对话流程。

输入转换器(Input Transform)

输入转换器用于预处理用户输入，需要实现ITextTransform接口：

public class MyInputTransform : ITextTransform
{
    public string Transform(string text)
    {
        return $"问题: {text}\n";
    }
}

// 添加到会话中
session.AddInputTransform(new MyInputTransform());

输出转换器(Output Transform)

输出转换器处理模型生成的响应流，需要实现ITextStreamTransform接口：

public class MyOutputTransform : ITextStreamTransform
{
    public IEnumerable<string> Transform(IEnumerable<string> tokens)
    {
        // 实现自定义处理逻辑
    }
    
    public IAsyncEnumerable<string> TransformAsync(IAsyncEnumerable<string> tokens)
    {
        throw new NotImplementedException();
    }
}

// 应用到会话
session.WithOutputTransform(new MyOutputTransform());

历史记录转换器(History Transform)

历史记录转换器控制对话历史与文本之间的转换：

public class MyHistoryTransform : IHistoryTransform
{
    public string HistoryToText(ChatHistory history)
    {
        // 自定义历史记录序列化逻辑
    }
    
    public ChatHistory TextToHistory(AuthorRole role, string text)
    {
        // 自定义文本反序列化为历史记录
    }
}

// 设置到会话
session.WithHistoryTransform(new MyHistoryTransform());