C#开源项目：私有化部署LLama推理大模型

最新推荐文章于 2026-01-07 08:01:09 发布

原创最新推荐文章于 2026-01-07 08:01:09 发布 · 2.4k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#c# #llama #开发语言 #.netcore #asp.net #后端

.NetCore开源项目100例专栏收录该内容

401 篇文章

订阅专栏

本文介绍了Meta发布的LLama大模型的C#封装项目LLamaSharp，它支持多种平台并简化了C#开发。文章详细展示了如何安装、使用以及其提供的Web、WebAPI和控制台Demo。

Llama Factory

模型微调

LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调

推荐一个C#大模型推理开源项目，让你轻松驾驭私有化部署！

01 项目简介

LLama是Meta发布的一个免费开源的大模型，是一个有着上百亿数量级参数的大语言模型，支持CPU和GPU两种方式。

而LLamaSharp就是针对llama.cpp封装的C#版本，让方便我们基于C#开发应用，让我们不需要自己编译llama.cpp。它的性能接近llama.cpp，支持Windows、Linux和MAC。

02 项目结构

该项目提供了多种Web、WebAPI、控制台等多个Demo版本。

03 使用方法

1、安装依赖

Install-Package LLamaSharp

2、演示源码

using LLama.Common;
using LLama;

string modelPath = "..\\LLama.Unittest\\Models\\llama-2-7b-chat.Q4_0.gguf"; 
var prompt = " I want a C # function to do binary search of an array , please show me the code."; //提示词

// 加载模型
var parameters = new ModelParams(modelPath)
{
    ContextSize = 1024,
    Seed = 1337,
    GpuLayerCount = 5
};
using var model = LLamaWeights.LoadFromFile(parameters);

// 初始化聊天会话
using var context = model.CreateContext(parameters);
var ex = new InteractiveExecutor(context);
ChatSession session = new ChatSession(ex);

// 显示提示
Console.WriteLine();
Console.Write(prompt);

// 循环运行推理以与LLM聊天
while (prompt != "stop")
{
    foreach (var text in session.Chat(prompt, new InferenceParams() { Temperature = 0.6f, AntiPrompts = new List<string> { "User:" } }))
    {
        Console.Write(text);
    }
    prompt = Console.ReadLine();
}

// 保存会话
session.SaveSession("SavedSessionPath");

3、效果