缘友一世的博客

大模型与训练与微调

大模型微调方法对比研究

Dify 是一款开源的大语言模型（LLM）应用开发平台，旨在简化和加速生成式 AI 应用的创建与部署。其核心定位是结合 后端即服务（BaaS） 和 LLMOps 理念，通过低代码/无代码的可视化界面，降低开发者与非技术人员构建 AI 应用的门槛。核心定位与功能开源框架：Dify 并非单一的 AI 模型，而是一个应用开发框架，支持开发者快速搭建生产级的 AI 应用，如聊天助手、文本生成工具、智能代理（Agent）等。

深入学习者需要好好研究。体验人员体验体验得了，目前并没有你想的那么好用，而且你遇到的问题比你配置需要的环境还要多推荐有能力者可以研究【实战踩坑】我的OpenManus使用血泪史：常见问题解决方案与避坑指南。

auto Dev与Idea版本兼容情况。填写完成后，先点击应用，然后测试。

【代码】Deep Seek V3的使用。

新模型 GPT-4o，其中的「o」代表「omni」（即全面、全能的意思），这个模型同时具备文本、图片、视频和语音方面的能力。

【代码】windows使用Docker-Desktop部署lobe-chat。

矩阵乘法可以看作是若干对行和列的点积：可以在不同的 GPU 上计算独立的点积，也可以在不同的 GPU 上计算每个点积的一部分，然后相加得到结果。将模型按层分割，不同的层被分发到不同的GPU上运行。每个GPU上只有部分参数，因此每个部分的模型消耗GPU的显存成比例减少，Pytorch对于数据并行有很好的支持，数据并行也是最常用的GPU并行加速方法之一。许多现代模型（如Transformer）的计算瓶颈是将。

一个开源的大型语言模型服务提供类似 OpenAI 的 API 接口和聊天界面，可以非常方便地部署最新版本的 GPT 模型并通过接口使用。支持热加载模型文件，无需重新启动即可切换不同的模型。针对 LLM 用户友好的 WebUI，支持的 LLM 运行程序包括 Ollama、OpenAI 兼容的 API。

ChatGLM3本地部署运行（入门体验级）

1panel中open-webui镜像下载失败问题解决

【代码】1panel中拉取Ollama WebUI速度缓慢解决。