C#对接Ollama,调用大模型禁用思考模式

该文章已生成可运行项目,

当前很多大模型都支持思考模式,会在输出内容增加<think>标签,内容为大模型思考内容。
很多情况下,并不想要思考内容。就需要自己设置一下。

一、使用Ollama的Api设置

C# 类库使用OllamaSharp为例:

设置 Think属性为:false来禁用思考模式

var chatRequest = new ChatRequest
{
    Think = false,
};
var modelResponse = await ollama.ChatAsync(chatRequest).StreamToEndAsync();

二、使用prompt设置

通过在prompt结尾设置/no_think来禁用思考模式

            var promptBuilder = new StringBuilder();
            promptBuilder.AppendLine(@"你是一个知识检索系统,必须遵守以下规则:
1. 禁止行为:禁止联想、推测或添加任何外部知识
2. 免责声明:当参考内容不匹配时必须声明");
            promptBuilder.AppendLine($"/no_think");//禁止思考模式

            var chatRequest = new ChatRequest
            {
                Messages = new List<Message>()
                {
                    new Message { Role = ChatRole.System, Content = promptBuilder.ToString() },
                    new Message { Role = ChatRole.User, Content = query }
                }
            };
            var modelResponse = await ollama.ChatAsync(chatRequest).StreamToEndAsync();
            return modelResponse.Message.Content;

三、Ollama控制台中禁用

ollama run llama3.1:8b --think         #开启思考模式
ollama run llama3.1:8b --think=false   #禁用思考模式
本文章已经生成可运行项目
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值