AGI的大荔枝-优快云博客

原创 LLM 安全大语言模型应用安全入门

第 60 层可能包含一个 John 的向量，其中包含括号注释，例如"（主角，男性，与 Cheryl 有婚姻关系，Donald 的表兄，来自明尼苏达，目前在 Boise ，试图找到他丢失的钱包）"。通过前文的介绍，我们了解了 LLM 的基本原理、GPT 的训练过程、LLM 的缺陷，以及与 LLM 应用安全相关的监管态度和常见的应用安全风险。假设我们采用强化词语接龙的特性的思路，让词语接龙的目标优先级高于内容围栏的优先级，则引出第一种构造越狱提示词的思路，前缀注入(prefix injection)。

2024-08-08 14:55:49 481

原创大模型私有化部署：手把手教你部署并使用清华智谱GLM大模型

部署一个自己的大模型，没事的时候玩两下，这可能是很多技术同学想做但又迟迟没下手的事情，没下手的原因很可能是成本太高，近万元的RTX3090显卡，想想都肉疼，又或者官方的部署说明过于简单，安装的时候总是遇到各种奇奇怪怪的问题，难以解决。本文就来分享下我的安装部署经验，包括本地和租用云服务器的方式，以及如何通过API调用大模型开发自己的AI应用，希望能解决一些下不去手的问题。

2024-08-08 14:55:13 3375 2

原创【LLM大模型】2024开源项目汇总_dify chat2sql

当大模型成本逐渐降低，可靠性提升后，这意味着越来越多的业务应用将会与 LLM 结合，为了让这种结合更加顺畅，需要有与现有来支撑 LLM 应用开发的快速开发对比说明可参考：开源的 LLM 应用开发平台。其直观的界面结合了 AI 工作流、RAG 、Agent、模型管理、可观测性功能等，让您可以快速从原型到生产。2.2 FastGPT：一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。

2024-08-08 14:54:13 2313

原创大型语言模型微调入门指南

你可以根据特定的用例，通过微调大型语言模型的方式定制现有通用模型。为了更高效地微调模型，你可以考虑使用 LoRA 或模型分片（使用FSDP等框架）等技术。Modal的Llama和Mistral微调模板实现了许多这类的技术，能够帮助你快速启动分布式训练任务。你可以通过在 Modal 上微调 Llama 2 或Mistral 等开源模型获得一个定制的模型，这样不仅成本和延迟低于现有 API 服务，而且还非常适合自己的需求。

2024-08-06 10:28:03 768

原创为什么一线大厂都在高薪抢 AI 产品经理？

不知道你是否听过“**移动互联网产品经理”**这个说法，当移动互联网成为整个互联网行业的基础建设，深入到各行各业，所有产品经理，其实都是移动互联网产品经理。而近些年，随着 AI 技术逐渐落地和市场认可度的不断提升，AI 产业岗位和泛 AI 产业岗位变得越来越走俏，很多产品经理希望借此风口转型成为“AI 产品经理”，进而拓宽自己的职业道路。最近，我身边不少产品经理，都会和我讨论 AI 相关的问题，比如：传统行业的产品经理是否适合转行做 AI 产品经理？如果转行的话，需要做哪些准备？

2024-08-06 10:27:17 662

原创一文搞定大语言模型（LLM）微调方法

众所周知，大语言模型(LLM)正在飞速发展，各行业都有了自己的大模型。其中，大模型微调技术在此过程中起到了非常关键的作用，它提升了模型的生成效率和适应性，使其能够在多样化的应用场景中发挥更大的价值。那么，今天这篇文章就带大家深入了解大模型微调。其中主要包括什么是大模型微调、什么时候需要大模型微调、大模型微调方法总结、大模型微调最佳实践等。在介绍大模型微调方法之前，首先带大家了解一下大语言模型的项目生命周期，它大致可以分为以下几个步骤，如下图所示：首先，明确项目目标。

2024-08-06 10:26:46 1025

原创 LLM的7种推理框架

我们如何在本地安全地运行私有的LLMs呢？开源模型为此提供了可能的解决方案。本文将介绍七种方法。这是一个Python库，可以简化本地运行LLM的过程。特点：Llama.cpp是一个基于C++的推理引擎，专门为Apple Silicon优化，可以运行Meta的Llama2模型。它针对GPU和CPU都做了推理优化。优点：性能高于基于Python的解决方案，支持在适度的硬件上运行大型模型，如Llama 7B，并提供绑定，可以用其他语言构建AI应用程序，同时通过Llama.cpp运行推理。

2024-07-29 14:44:24 780

原创小白也能看懂的AI大模型学习路线（附：全套学习资源

AI大模型，即大规模预训练模型，是指拥有数亿乃至数百亿参数的深度学习模型，如BERT、GPT-3等。这些模型通过在互联网规模的数据集上进行自我学习，能捕捉到语言、图像、声音等多模态数据的复杂特征，展现出了强大的语言理解、图像识别、创造性生成等能力。它们的创新之处在于跨任务的泛化能力和通过少量示例即可适应新任务的微调能力。

2024-07-29 14:43:07 420

原创 # LLM高效微调详解-从Adpter、PrefixTuning到LoRA_llm高效微调技术

目前NLP主流范式是在大量通用数据上进行预训练语言模型训练，然后再针对特定下游任务进行微调，达到领域适应（迁移学习）的目的。指令微调是预训练语言模型微调的主流范式，其目的是尽量让下游任务的形式尽量接近预训练任务。从而减少下游任务和预训练任务之间的Gap, 实现预训练语言模型适应下游任务，而非下游任务去适应模型指令微调的效果要优于基于Zero/Few-shot的提示词工程的上下文学习。但随着预训练语言模型进入LLM时代，其参数量愈发庞大。全量微调模型所有参数所需的显存早已水涨船高。

2024-07-29 14:42:35 348

原创大模型应用：一文搞懂Fine-tuning，模型微调有啥好处，从理论到实操_fine turning和p turning

我们前面几篇博文中出现的大模型，都是通用的大模型。但在更专业的领域，需要更专业的模型，这就需要用到模型微调的能力。从NLP范式发展的趋势来看，prompt+模型的方式已经成为主流，已经很成熟了，在进行模型微调之前最好确信自己需要这样做。

2024-07-26 15:34:29 501

原创巅峰对决：OpenAI与Google如何用大模型开创未来_大模型 openai 谷歌_大模型与open ai

当前，ChatGPT系列产品凭借其在听觉、视觉和语言处理领域的集成能力，以及**对物理世界的强大理解力、流畅的多模态交互功能，确立了其在行业中的领先地位。**GPT4技术整合到微软的Windows软件、Azure云服务以及工具中，进一步强化了其在技术特性和应用前景上的优势。Google的Gemini虽然在超长上下文理解与复杂数学逻辑问题解决方面有着出色的表现，但在多模态交互、训练成本和落地应用的实施中仍有提升空间。

2024-07-26 15:33:17 530

原创 Transformer模型全解析：从原理到实践，图解+手撕代码_transformer模型详解(1)

Transformer 通过其捕捉上下文和理解语言的能力，彻底改变了自然语言处理（NLP）领域。通过注意力机制、编码器-解码器架构和多头注意力，它们使得诸如机器翻译和情感分析等任务得以在前所未有的规模上实现。随着我们继续探索诸如 BERT 和 GPT 等模型，很明显，Transformer 处于语言理解和生成的前沿。它们对 NLP 的影响深远，而与 Transformer 一起的发现之旅将揭示出该领域更多令人瞩目的进展。

2024-07-26 15:32:46 1279

原创怎么成为大模型开发工程师？

利用工作之余的空闲时间，努力学习大模型知识吧。目前，这个行业对专业人才的需求量大，无论是大型企业还是中小型企业，都在迅速推进大模型应用的落地。但是，OpenAI 前段时间发布了重磅更新，使普通人和 AI 大模型交互的门槛进一步降低。GPT-4o 的发布可能会进一步拓展具备情绪表达的应用场景，并利用 AI 的千人千面能力真正实现个性化体验。紧接着在 Google I/O 大会，AI 被提及了 121 次。Google 宣称，在 Gemini 的支持下，Google 搜索将被彻底重塑。

2024-07-24 14:32:44 410

原创 Ollama：一个在本地部署、运行大型语言模型的工具

Ollama是一个专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计的工具。所谓自定义模型就是不适用Ollama官方模型库中的模型，理论可以使用其他各类经过转换处理的模型Ollama库中的模型可以通过提示进行自定义。# 设置温度参数# 设置SYSTEM 消息SYSTEM """作为AI智能助手，你将竭尽所能为员工提供严谨和有帮助的答复。"""Modelfile文档One-API是一个OpenAI接口管理 & 分发系统，支持各类大模型。这里使用Docker快速进行部署。拉取镜像。

2024-07-24 14:32:10 1124

原创（服务端篇）如何在本地私有化部署chatgpt？github上那些助力搭建私有chatgpt的项目_本地化部署coze

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。天道酬勤，你越努力，就会成为越优秀的自己。

2024-07-24 14:31:26 2108

原创 2024年度最佳大型语言模型(LLMs)汇总大全

LLM，或大型语言模型，是一种通用的人工智能文本生成器，是所有人工智能聊天机器人和人工智能写作生成器的后台系统。LLMs具有超级的自动完成能力。除去花哨的界面和其他变通方法，他们所做的更本任务是接受一个提示，并使用一串貌似合理的后续文本生成一个答案。建立在LLMs之上的聊天机器人不会寻找关键词，以便他们可以用固定答案回答，相反，他们会尽最大努力理解被问到的问题，并适当地回答。

2024-07-22 15:03:19 1238

原创大模型是什么？大模型可以在哪些场景应用落地？

大模型是什么？大模型是指模型具有庞大的参数规模和复杂程度的机器学习模型。在深度学习领域，大模型通常是指具有数百万到数十亿参数的神经网络模型。大模型是指模型具有庞大的参数规模和复杂程度的机器学习模型。在深度学习领域，大模型通常是指具有数百万到数十亿参数的神经网络模型。这些模型需要大量的计算资源和存储空间来训练和存储，并且往往需要进行分布式计算和特殊的硬件加速技术。大模型的设计和训练旨在提供更强大、更准确的模型性能，以应对更复杂、更庞大的数据集或任务。

2024-07-22 15:02:47 2068

原创零基础零成本，手把手部署一个属于你的私有大模型，训练自己私有大模型_自己训练大模型

看了那么多chatGPT的文章，作为一名不精通算法的开发，也对大模型心痒痒。但想要部署自己的大模型，且不说没有算法相关的经验了，光是大模型占用的算力资源，手头的个人电脑其实也很难独立部署。就算使用算法压缩后的大模型，部署在个人电脑上，还要忍受极端缓慢的计算速度以及与chatGPT相差甚远的模型效果。有什么办法能够部署属于我们自己的大模型呢？有编程基础：作为一个合格的程序员，这应该是必备素质。

2024-07-22 15:02:22 920

原创小白也能看懂的AI大模型学习路线（附：全套学习资源

AI大模型，即大规模预训练模型，是指拥有数亿乃至数百亿参数的深度学习模型，如BERT、GPT-3等。这些模型通过在互联网规模的数据集上进行自我学习，能捕捉到语言、图像、声音等多模态数据的复杂特征，展现出了强大的语言理解、图像识别、创造性生成等能力。它们的创新之处在于跨任务的泛化能力和通过少量示例即可适应新任务的微调能力。

2024-07-18 10:51:58 319

原创 AI大模型-关于推理、可解释性和 LLMs_ai 推理模型

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。-END-👉AGI大模型学习路线汇总👈大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

2024-07-18 10:51:17 326

原创转型AI产品经理，原来不需要学那么深的算法和数学模型

小白AI之路”第一篇文章已经快到尾声了，如果你坚持看到了这里，那大概率你对AI的理解和认知已经击败了你朋友圈里90%经常分享AI将改变世界取代人类的好友们。接下来我们的目标是从剩下的10%里往上爬，我也希望能够通过更有趣、更直观、更少数学的方式跟大家分享和学习AI相关知识。当然我也还是一个AI世界的小学生，也还在努力地学习和奔跑。如果大家觉得还算有那么一丢丢的收获并且身边也有朋友在关注和学习AI的话，请随肆无忌惮随意分享哈！

2024-07-16 10:37:28 500

原创用上AI教育大模型，孩子再也不用担心我高血压了 AI百业共生

不写作业“母慈子孝”，一写作业“鸡飞狗跳”。但凡家里有个孩子，辅导作业基本都是一场灾难，有不少家长自嘲到，在公司面对千万kpi风平浪静，一回家看到小祖宗立刻血压飙高。大吼大叫已经基本操作了，更有家长为了“逃避”辅导直接要求交警拘留。21年江苏一位爸爸躺在马路中间求交警拘留他，交警好奇上前询问，结果原因令人哭笑不得，男子因为他女儿把“800减700算成900”导致奔溃，寻求拘留所这一方净土。交警想到自家孩子表示：你想得美。你以为就普通家庭这样？

2024-07-16 10:36:51 762

原创【大模型LLM书籍推荐】从零开始大模型开发与微调：基于PyTorch与ChatGLM_llm大模型入门书籍

大模型是深度学习自然语言处理皇+冠上的一颗明珠，也是当前AI和NLP研究与产业中最重要的方向之一。本书使用PyTorch 2.0作为学习大模型的基本框架，以ChatGLM为例详细讲解大模型的基本理论、算法、程序实现、应用实战以及微调技术，为读者揭示大模型开发技术。😝有需要此本<>的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓。

2024-07-16 10:36:11 717

原创利用这些“大模型部署工具”轻松部署属于你自己的AIGC大模型吧！

该工具由Fitten与清华大学联合开发，当前支持4个语言大模型，具体包括：ChatGLM、盘古、ChatRWKV、LLaMA。该工具链支持多种硬件设备，除了支持主流的NVIDIA、AMD、Ascend硬件外，还支持天数智芯、中科海光和摩尔线程的硬件设备！该工具链主要通过动态swap机制和Transformer加速库来加速语言大模型部署。

2024-07-11 10:43:50 987

原创一文详解大模型微调常用方法_大模型微调数据集怎么标注

最近，深度学习的研究中出现了许多大型预训练模型，例如 GPT-3、ChatGPT、GPT4、ChatGLM-130B 等，这些模型可以在多种自然语言处理任务中取得优异的性能表现。而其中，ChatGPT 模型因为在对话生成方面的表现而备受瞩目，成为了自然语言处理领域的热门研究方向。然而，这些大型预训练模型的训练成本非常高昂，需要庞大的计算资源和大量的数据，一般人难以承受。这也导致了一些研究人员难以重复和验证先前的研究成果。

2024-07-11 10:43:17 1254

原创【微调大模型】如何利用开源大模型，微调出一个自己大模型_大模型训练和微调框架

最近对大模型这部分内容比较感兴趣，作者最早接触大模型是22年下半年的时候。当时觉得非常amazing，并认为这是一个颠覆性的工作，目前随着开源大模型的逐渐变多。我觉得我们得学习并了解这些基础知识，以便后续在工作中可以学习并使用。在深度学习中，微调是一种重要的技术，用于改进预训练模型的性能。除了微调ChatGPT之外，还有许多其他预训练模型可以进行微调。微调所有层：将预训练模型的所有层都参与微调，以适应新的任务。微调顶层：只微调预训练模型的顶层，以适应新的任务。冻结底层。

2024-07-11 10:42:42 652

原创私有化部署 Llama3 大模型, 支持 API 访问_ollama 利用api 接口开发web

通过 ollama 本地运行 Llama3 大模型其实对我们开发来说很有意义，你可以私有化放服务上了。然后通过 api 访问，来处理我们的业务，比如翻译多语言、总结文章、提取关键字等等。你也可以安装 enchanted 客户端去直接访问这个服务 api 使用。

2024-07-09 15:05:32 1403

原创一口气了解大模型相关通识，基础笔记！_大模型数据

，特指部分参数的微调方法，这种方法算力功耗比更高，也是目前最为常见的微调方法;除此之外，Fine-Tuning也可以代指全部微调方法，同时OpenAI中模型微调API的名称也是需要注意的是，OpenAI提供的在线微调方法也是一种高效微调方法，并不Fine-Tuning,是全量微调;微调， Fine-Tuning，一般指全参数的微调 (全量微调) ，指是一类较早诞生的微调方法，全参数微调需要消耗大量的算力，实际使用起来并不方便，因此不久之后又诞生了只围绕部分参数进行微调的高效微调方法;

2024-07-05 14:38:33 1332

原创中国大模型落地进展如何？

在ChatGPT爆发之后，国内外科技赛道都被掀起了巨大波澜，随后在国内这段时间里，大量的大模型争先恐后地出现。那么截止到现在，大模型在国内土壤落地得怎么样了？一起来看看本文的解读。距离ChatGPT爆发的那一天，已经过去8个月了。8个月的时间，中国诸多大模型拔地而起，以飞快的速度，不断向各个行业场景渗透。但就目前为止，并未出现真正被大模型颠覆的场景或行业。统计数据显示，在大模型落地应用中，一个值得被看见的问题是：如今在中国的土壤里，大模型的落地进展究竟如何？

2024-07-05 14:37:54 881

原创大模型LLM微调技术进展与热门方法汇总

是机器学习中的一项重要技术，旨在帮助我们降低成本，进一步提高模型的性能。具体来说，大模型微调指的是在现有预训练模型的基础上，根据特定任务数据进行微调，以适应任务的特定需求，以便我们更好地解决各种实际问题。目前较为流行的大模型微调技术是(Parameter-Efficient Fine Tuning)，只对部分的参数进行训练，主要有等方法。

2024-07-05 14:37:20 1264

原创大模型产品化，不过是三支舞

可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。另一种类似应用的产品化建设思路，是大入口+小收费窗口的互联网模式，即整体产品免费，但一些特定的功能可能需要开通会员或者使用代币。这种“类视频电话”的大模型产品模式，本质上是将不同的 AI 感知、理解、生成能力进行融合，就像胡旋舞会越转越快，随着大模型的不断发展，AI 技术也在越转越快，把不同模态下的信息收集能力与内容生成能力都卷进来。

2024-07-04 14:07:46 1064

原创 AI大模型入门基础教程（非常详细），AI大模型入门到精通，收藏这一篇就够了！

AI大模型，简而言之，是基于深度学习技术的庞大规模数据与计算能力孕育出的智能模型。这些模型的特别之处在于它们不仅参数量级的庞大，常常跨越亿计，而且在处理复杂度上也远超乎想象。正是这种规模和复杂性，使得它们在诸如自然语言理解、图像识别、语音识别等领域展现出卓越的准确性和泛化的处理能力，几乎可比拟的泛化应用范围。

2024-07-04 14:07:15 1561

原创 “我王多鱼投了！”疯狂烧钱的AI大模型公司如何赚钱？

AI大模型到底有多烧钱？或许最有发言权的就是OpenAI了，2022年其亏损大约翻了一番，达到约5.4亿美元。据悉，Altman曾私下建议，OpenAI可能会在未来几年尝试筹集多达1000亿美元的资金，以实现其开发足够先进的通用人工智能。国内的AI公司也不例外。不完全统计，国内头部AI公司智谱AI、百川智能、零一万物、MiniMax和月之暗面，从去年下半年至今已完成了总额超30亿美元的融资，当然，他们也公开表示，在通往AGI的路上，这些钱还远远不够。

2024-07-04 14:06:44 910

原创突破瓶颈：如何优化 LLMs 的落地成本和延迟

当一段代码缺乏清晰的结构、正确的模块划分和合理的逻辑顺序，而是充斥着大量的嵌套条件语句、无序的跳转、重复的代码块时，就被视为"意大利面式代码"。初次接触时，大语言模型（LLMs）可能令人感到无所适从，但归根结底，重要的是要记住我们打交道的仍是软件。这种架构使得我们能够在每次调用时，首先选取需要使用的特定任务提示词，而无需随附沉重的、消耗大量 tokens 的执行指令（execution instructions），从而平均减少了超过 60% 的 tokens 使用量。

2024-07-01 16:43:21 726

原创产品经理如何巧用提示词引导AI工具解决5类问题？

可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力：大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。第七阶段：以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。您能帮我理清思路吗？

2024-07-01 16:34:59 1148

原创学习AGI大模型在2024年到底有多重要？

随着科技的飞速发展，我们正处在一个智能化的时代。2024年，AGI（人工通用智能）大模型即将成为改变我们生活的重要力量。它不仅将引领科技产业的变革，还将为我们的日常生活带来巨大的影响。AGI大模型的重要性不仅体现在其技术本身，更体现在其对我们生活的深远影响。它将改变我们的工作方式，提升我们的生活质量，推动社会的发展。因此，学习AGI大模型，了解其背后的原理和应用，对于我们来说至关重要。在2024年，AGI大模型将成为科技发展的关键力量。它将引领我们进入一个全新的智能时代，为我们带来前所未有的便利和机遇。

2024-07-01 16:34:29 1385

原创 AI大模型：解锁未来职业竞争力的金钥匙

从日常的问答对话到复杂的编程辅助，乃至创意图像生成，AI大模型展现出超乎想象的能力，预示着“未来已来”，并成为互联网行业的新宠。大模型，即拥有庞大参数量和复杂度的机器学习模型，广泛应用于自然语言处理（NLP）、计算机视觉（CV）、科学计算和多模态处理等，如Open AI的GPT系列、腾讯的PCAM、华为的盘古气象模型及谷歌的Vision Transformer。即便已有编程经验，转向大模型仍极具价值。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。

2024-06-28 14:42:27 976

空空如也

空空如也