- 博客(139)
- 收藏
- 关注
RSS订阅原创 落地分享：来看 UFH AI 医疗大模型如何助力国际化诊疗场景
本次的行业落地分享的是来自自研的，该自研模型在临床应用中得到专家和临床医生的广泛好评。**和睦家医疗（UFH）**作为进入中国的首批外资医院，拥有深厚的国际化医疗发展历史和规模化外籍医疗团队，为全球各地患者提供多语言沟通及诊疗服务。据统计，医院内部英文医疗数据占比超过50%，西班牙语、法语等其他语言均有涉及。此外，医疗机构的英文病历还需要定期翻译为中文病历，提交给卫健部门进行定期审查，通过医疗文书准确传达病情、治疗方案和护理指导至关重要。在医疗场景下，通用翻译软件准确率较低，容易出现理解偏差。
2024-10-29 10:17:45
800
原创 一文详解大模型推理：从基础知识到 vLLM
希望第一个Token的时间（TTFT）非常短。如今，用户期望任何应用程序的响应时间理想情况下都要快于1秒。因此，用户等待开始接收第一个token的时间越短越好。这对于期望互动的聊天机器人尤为重要。TTFT的长度受许多因素影响，关键因素是预填充阶段的计算（提示的预处理）以及请求在用户请求接收后是否立即处理或是否需要在队列中等待。重要的是要注意，在没有负载的服务器上，TTFT可能与在负载很重的服务器上非常不同。
2024-10-29 10:01:19
1617
原创 斯坦福大学发布2024年人工智能指数报告（可下载）
而在美国，皮尤研究中心的报告显示，52%的美国人对人工智能的担忧远超过对其的期待，这一比例相较于2022年的38%有了显著增长。2023年，GitHub上的人工智能项目获得了更多的Stars（星标，主要用于衡量项目的受欢迎程度），数量从2022年的400万增加到1220万，增加了两倍多。2023年，出现了几个具有挑战性的新基准，包括用于编码的SWE-bench，用于图像生成的HEIM，用于一般推理的MMMU，用于道德推理的MoCa，用于基于智能体行为的AgentBench，以及用于幻觉的HaluEval。
2024-10-29 09:53:50
1308
原创 小白看得懂的 Transformer (图解)
它们都是有助于计算和理解注意力机制的抽象概念。请继续阅读下文的内容，你就会知道每个向量在计算注意力机制中到底扮演什么样的角色。计算自注意力的第二步是计算得分。假设我们在为这个例子中的第一个词“Thinking”计算自注意力向量，我们需要拿输入句子中的每个单词对“Thinking”打分。这些分数决定了在编码单词“Thinking”的过程中有多重视句子的其它部分。这些分数是通过打分单词（所有输入句子的单词）的键向量与“Thinking”的查询向量相点积来计算的。
2024-10-28 10:45:50
727
原创 大语言模型（LLM）评估综述
在这一部分，总结了LLMs在不同任务中的成功和失败案例。6.1 LLMs能够在哪些方面表现出色？LLMs在生成文本方面展现出熟练度，能够产生流畅且准确的语言表达。LLMs在语言理解方面表现出色，能够进行情感分析和文本分类等任务。LLMs具备强大的语境理解能力，能够生成与输入一致的连贯回答LLMs在多个自然语言处理任务中表现出令人称赞的性能，包括机器翻译、文本生成和问答任务。6.2 LLMs在什么情况下可能会失败？LLMs在生成过程中可能会表现出偏差和不准确性，导致产生有偏差的输出。
2024-10-28 10:23:32
1240
原创 继续预训练 LLM ——数据筛选的思路
继续预训练这篇笔记记录了来自论文 Efficient Continual Pre-training for Building Domain Specific Large Language Models 的另一个小技巧——数据筛选。作者仅通过 10% 的数据，训练了个金融领域的 LLM，其相较于不筛选时，F1 提高了 3 个点。
2024-10-28 10:12:24
1052
原创 构建AI大模型应用技术栈有哪些？
随着人工智能技术的飞速发展，AI大模型已经成为推动各行各业技术革新的关键力量。本文将深入探讨AI大模型的核心技术栈的构建，以及不同技术组件的关键作用。
2024-10-26 09:42:57
1393
原创 AI大模型（LLMs）五大热点研究方向分享！
近年来，人工智能大模型（LLMs）的研究不断深入，衍生出了多个热门方向，聚焦提升模型的性能、适应性与应用场景，推动了技术的突破与革新。今天为大家梳理一下AI顶会上的五大热门研究方向，希望为那些专注大模型方向的研究者带来一些灵感和参考。大模型虽然在生成文本上有着强大的能力，但单靠参数往往容易生成出一些“幻觉内容”，即缺乏真实依据的错误信息。检索增强生成（RAG）则通过结合信息检索，帮助大模型实时从外部知识库获取精确的信息，使生成的内容更加准确可靠。
2024-10-26 09:34:39
856
原创 用扣子模板，走AI捷径，这个双11，大模型要发威了？
很多商家，眼馋那些内容博主有免费流量，自己却没有做内容的能力，养一个人专门做内容，在目前降本增效的背景下，对商家来说也是不小的压力，**现在就可以通过扣子的图文创作助手，快速生成基础内容，它还能自动做好排版，自动发布到公众号的草稿箱，**你只需要发布就可以了，这就大大提高了内容创作的效率。难道不怕接客时胡说八道吗？所以，从现在开始，大家可以不用在远处观望AI大模型了，完全可以自己去扣子coze上体验一下模板，组一个自己的智能体，或是用于个人陪伴，或是用于企业营销，一定能让员工以一当十，效率倍增。
2024-10-26 09:29:42
813
原创 告别35岁危机！AI产品经理，0基础也能年薪40W+
过去几年，软件行业的技术发展相对平稳，等技术架构成为主流。然而，在产品设计和功能上，同质化现象严重，市场竞争也逐渐演变成残酷的价格战。。2024 年即将结束，各大公司都在紧锣密鼓地制定 2025 年的战略规划。从我个人参与公司战略规划的经验来看，今年对大模型技术的重视程度达到了前所未有的高度。大模型的出现，彻底改变了游戏规则。未来，。面对如此剧烈的行业变革，产品经理该如何应对？。我总结了一份，希望能帮助你更好地理解这个新兴职业：AI 技术的蓬勃发展，催生了大量的 AI 产品研发需求。。
2024-10-26 09:21:10
646
原创 掰开神经元，终于让大模型9.8大于9.11了：神秘创业公司，开源AI「洗脑」工具
自动生成的神经元描述往往很啰嗦，而且很多描述对用户来说可能没有意义。为了解决这个问题，研究者们用大约 1000 个手动标注的示例集对 GPT-4o-mini 进行了微调，让它能够判断哪些描述对用户来说是相关的，哪些是不相关的。为了让描述不那么啰嗦，该团队还使用了少量样本作为提示词，让 GPT-4o-mini 对每个神经元生成更简洁的描述，并将其展示给用户和 AI linter（AI linter 对较短的输入会处理得更好）。
2024-10-25 11:07:36
1115
原创 原创 | 大模型扫盲系列——初识大模型
作为相关从业人员，可以开发更高效，更稳定的训练算法，不断探索大模型的上限，作为普通人，我们更需要拥抱这个技术，至少在日常工作和生活中也能享受到其带来的巨大便利。**5）公司业务定制化大模型：**大模型具有通用性能力，但是在很多零样本的场景的表现依然比不上那个领域正在使用的产品，例如在某些垂直领域，包括工业领域，医药领域，管理领域等场景下进行专业问题，研究型问题的使用依然需要特定场景的数据进行微调，这种定制化的服务也能给企业带来巨大的效率提升和节省成本的收益，属于比较有前景的业务。
2024-10-25 10:57:21
845
原创 AI应用落地关键技术：AI Agent
根据丹尼尔·卡尼曼的著作《思考，快与慢》，人类的思维可以分为两大系统：系统1和系统2。系统1负责直觉式的快速思考，这种思考往往是无意识的；而系统2则擅长进行有意识的逻辑推理和主动控制。在探讨大型模型的思维能力时，我们首先可以观察到，这些大模型可能具备了类似人类的分析问题能力，它们能够理解、分析和解决复杂问题。进一步地，人类与动物的一个重要区别在于人类擅长创造和使用工具。
2024-10-25 10:45:00
783
原创 点到为止｜大模型微调的100个关键点
这篇文章介绍一下大模型的 sft 如何去做。相比较于之前介绍的 pretrain ，sft 实在没有太多的技术细节和琐碎工作需要科普。因此，我会默认读者们都知道 sft 是做什么的以及如何去做一些简单的 sft 微调工作，我主要是分享一些经验技巧和 debug 的分析思路。
2024-10-25 10:40:24
834
原创 备战AI岗位面试？这63个大模型深度学习问题你必须会答（14-27）
由Vaswani等人在2017年引入的Transformer架构，是一种深度学习模型，旨在比旧模型（如RNN和LSTM）更有效地处理序列数据。它使用一种称为“自注意力”的方法来一次性处理输入数据，而不是逐步处理。这允许Transformer更有效地理解数据中的长期模式。在大型语言模型（LLMs）中，Transformer是主要结构。它帮助这些模型处理大量文本，并通过对长期上下文中单词之间关系的分析，生成准确、有意义的响应。有关详细信息：Transformer的查询、键和值的所有信息。
2024-10-24 09:43:39
1126
原创 [LLM-合集-01] 行业大模型从训练到落地应用的过程
OpenAI发布ChatGPT之后，海内外厂商都加速布局基础大模型的研发和布局。 通过这种过程，原则上来说只要有细分领域数据，大模型就可以针对垂直领域做优化，赋能各行各业。国内，多家厂商陆续推出基础大模型并开始用于自身业务或寻找行业伙伴进行落地。未来，大模型厂商为各行业的AI基础能力供应方，赋能万物，拥有极大的空间。除了基础大模型，许多大模型厂商都致力于推出各类行业大模型。
2024-10-24 09:41:30
976
原创 零代码手搓Agent智能体，起飞了
这篇文章带大家一步步实践一下，Agent平台是 dify，开源，免费，一行命令即可安装。这次的Agent案例是大家比较关心的本地资料问答助手，就是大模型+本地知识库。这种模式应用特别广，小到帮你阅读论文、资料、代码，大到企业智能客服，取代传统搜索引擎首先，需要创建本地知识库上传本地资料点击，下一步。这一步其实是实现了一个简易版的搜索引擎，大家不需要太关心内部原理，按照默认设置就可以。简单解释下涉及的知识点设置好了之后，等待平台处理完成即可。一个本地知识库支持添加多个文档。
2024-10-24 09:35:27
938
原创 本地知识库+本地大模型，借助RAGFlow搭建医院医疗问诊助手，纯本地，超实用！
使用Huggingface上的开源医疗数据集，借助 RAGFlow 搭建自己的本地医疗问诊助手。**纯本地构建：本地知识库+本地向量化模型+本地大模型**原理：RAGFlow是一个基于对文档深入理解的开源 RAG（检索增强生成）引擎。它的作用是可以让用户创建自有知识库，根据设定的参数对知识库中的文件进行切块处理，用户向大模型提问时，RAGFlow先查找自有知识库中的切块内容，接着把查找到的知识库数据输入到对话大模型中再生成答案输出。
2024-10-24 09:30:28
1380
原创 大模型微调的7种方法，零基础入门大模型（非常详细）看一篇就够了！
本篇文章深入分析了大型模型微调的基本理念和多样化技术，细致介绍了LoRA、适配器调整(Adapter Tuning)、前缀调整(Prefix Tuning)等多个微调方法。详细讨论了每一种策略的基本原则、主要优点以及适宜应用场景，使得读者可以依据特定的应用要求和计算资源限制，挑选最适合的微调方案。
2024-10-23 14:02:20
1392
原创 零基础转行AI产品经理起薪30k不是梦！教你转行AI产品经理
AI产品经理是对AI技术应用和功能落地负责，并为公司带来商业价值的一群人，主要集中在。
2024-10-23 13:57:41
867
原创 AI产品经理职业发展路线图：从入门到精通
AI产品经理要具备技术理解能力，垂直场景认识积累，和一套完整的AI产品落地方法论。要完成一款落地的AI产品必须既懂技术边界，又懂需求边界。
2024-10-23 13:55:03
1081
原创 微软将推出10个自主AI Agent，称相当于增加187名全职员工产出
如今，我们每天都能看到各种 AI 新成果出炉，尤其是生成式 AI 和大模型领域，几乎每隔几天就有更强大的模型问世。然而在这样的大背景下，坐拥 ChatGPT、DALL-E 等流行应用（模型）的却仍未找到合适的商业盈利模式。不久前，就有知情人士透露“烧钱太狠”，今年或面临高达 50 亿美元的巨额亏损。因此，在 ToC 端（面向消费者）寻找“杀手级”应用困难重重的时刻，许多科技巨头都将目光放在了 ToB 端（面向企业），试图在企业 AI 市场找到能真正创造利润的商业模式。
2024-10-23 11:56:06
1424
原创 大模型LLM算法工程师技术面试指南
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。所有资料 ⚡️ ，朋友们如果有需要全套 《
2024-10-22 11:57:26
1164
原创 打造智能化问答体验：使用LLM和Kùzu构建自然语言接口
通过本文介绍的方法，您可以使用LLMs与Kùzu结合打造强大的自然语言查询接口。这不仅简化了数据检索过程，还为用户提供更友好的交互体验。Kùzu 官方文档Cypher 查询语言LangChain 开发者指南。
2024-10-22 11:50:35
1075
原创 如何调试你的LLM应用程序：从入门到精通
了解如何调试LLM应用程序对于开发人员至关重要。通过Verbose和Debug模式，可以在不同深度追踪应用程序执行。LangSmith Tracing的可视化功能更是提升了调试体验。
2024-10-22 11:47:29
854
原创 李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景
我们很多人都听说过数字孪生（digital twin），在英伟达等公司的大力推动下，这种高效运营工作流程的方法已经在很多工业场景中得到应用。但你听说过数字表亲（digital cousin）吗？近日，斯坦福大学李飞飞团队就做出了一个这样的研究，其可有效地将真实数据变成适用于机器人学习的模拟数据 —— 在降低真实转模拟成本的同时还能提升学习的泛化性能。简单来说，你只需拍一张照片，就能将照片中的物体变成虚拟版本，并且这个数字虚拟版本还不是照片中物体的一比一复刻，而是存在一定的变化。我们知道，在真实世界中训练机器
2024-10-22 11:05:55
1075
原创 在大模型RAG系统中应用知识图谱
在基于大模型的RAG应用中，可能会出现不同类型的问题，通过知识图谱的辅助可以在不同阶段增强RAG的效果，并具体说明在每个阶段如何改进答案和查询。知识图谱更类似于结构化数据存储，而不是仅仅是一个用于各种目的的结构化数据的一般存储，可以利用它在 RAG 系统中战略性地注入人类推理。
2024-10-21 15:29:55
1243
原创 Agent 应用于提示工程
如果Agent模仿了人类在现实世界中的操作方式，那么，能否应用于提示工程即Prompt Engingeering 呢？大型语言模型(LLM)是一种基于Transformer的模型，已经在一个巨大的语料库或文本数据集上进行了训练，包括了互联网上的大多数网页。在训练期间，需要花费大量的时间(和/或图形处理器)、能量和水(用于冷却) ，梯度下降法被用来优化模型的参数，以便它能够很好地预测训练数据。本质上，LLM 学习根据前面的词序预测最可能的下一个词。
2024-10-21 15:21:56
680
原创 大模型之“提示工程”的技术分类
尽管大模型非常强大，但仍然有着自身的局限。大模型可以生成看起来非常值得信赖的内容并引用外部资源，但是，大模型本身并不能直接访问互联网也不能访问互联网的资源。偏见往往会使大模型产生某些定型的内容。当被问到一个不知道答案的问题时，大模型有时会产生“幻觉”或者产生错误的信息, 很多时候，即使是最简单的数学或常识的问题, 大模型仍然要挣扎一番。另外，通过操纵提示词，以忽略开发人员的指令并生成特定的内容。所有资料 ⚡️ ，朋友们如果有需要全套 《》，
2024-10-21 15:14:48
1186
原创 大模型缺的脑子，终于在智能体上长好了
智能体是一种通用问题解决器，从软件工程的角度看来，智能体是一种基于大语言模型的，具备规划思考能力、记忆能力、使用工具函数的能力，能自主完成给定任务的计算机程序。大模型拥有接受输入，分析推理，继而输出的能力。但其无法像人脑一样，具备规划思考能力、记忆能力、工具使用能力。这极大地限制了大模型的应用落地——有脑子，但不多。随着 AI 技术的迅猛迭代，智能体技术也迎来了突破的契机，成为了补上大模型最后一块短板的关键技术。AI 从概念走向规模化落地，会不会就出现在智能体方向上？
2024-10-18 11:36:03
1001
原创 一文带你了解基于大模型的Agent
在当前信息时代，大型语言模型（Large Language Models，LLMs）的发展速度和影响力日益显著。大模型强大的推理以及生成能力成为了搭建智能体的最好的组件。本内容来源于Datawhale的开源的“生成大模型基础（so-large-lm）”，一个致力于探索和理解大型模型发展的前沿课程：https://github.com/datawhalechina/so-large-lm通过该开源课程，读者将能够获得对智能体较为全面的理解，掌握它们的设计原理、优势、应用场景以及当前的局限性。
2024-10-18 11:30:40
1108
原创 如何评估 RAG 应用的质量？最典型的方法论和评估工具都在这里了
本文主要复盘了当前比较主流的评估框架和方法论，并介绍了相关工具的使用。因为当前 LLM 的各类应用发展迅速，在评估 RAG 这个赛道上，各种方法和工具如雨后春笋一样不断涌现。虽然这些方法在大的框架上相似，但在具体实现方面，比如 prompt 的设计，仍处于百花齐放的状态。目前，我们还无法确定会有哪些工具能成为最后的王者，仍需时间的检验。期待在大浪淘沙后，开发者都能够找到最适合自己的工具。
2024-10-18 11:13:24
1269
原创 超全！一文详解大型语言模型的11种微调方法
本文从背景、来源、技术路线及性能等方面综述了11种在模型参数调优阶段进行的方法，其中前缀调优、提示调优和P-Tuning v2属于引入特定参数来减少算力消耗、提升训练速度；基于LoRA的各种方法的基本思想是添加新的旁路，对特定任务或特定数据进行微调。
2024-10-18 10:57:12
1283
原创 一文带你了解RAG(检索增强生成) | 概念理论介绍+ 代码实操（含源码）
RAG的全称是Retrieval-Augmented Generation，中文翻译为检索增强生成。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。
2024-10-17 11:03:07
1083
原创 GraphRAG：基于PolarDB+通义千问+LangChain的知识图谱+大模型最佳实践
本文介绍了如何使用PolarDB、通义千问和LangChain搭建GraphRAG系统，结合知识图谱和向量检索提升问答质量。通过实例展示了单独使用向量检索和图检索的局限性，并通过图+向量联合搜索增强了问答准确性。PolarDB支持AGE图引擎和pgvector插件，实现图数据和向量数据的统一存储与检索，提升了RAG系统的性能和效果。
2024-10-17 10:33:12
1111
原创 大模型（LLM）最新研究论文介绍（合集）
目录\1. CTRLA: 通过探针引导控制的自适应检索增强生成\2. 压缩大型语言模型：使用低秩和低精度分解方法\3. 通过LLM知识转移增强零样本面部表情识别\4. 大型语言模型（LLMs）：部署、代币经济学与可持续性\5. 审视大型语言模型提示策略以自动评估学习者创建的计算成果CTRLA: Adaptive Retrieval-Augmented Generation via Probe-Guided ControlHuanshuo Liu等，Noah’s Ark Lab, Huawei摘要：检索增强
2024-10-17 10:19:24
1583
原创 大模型应用开发：手把手教你部署并使用清华智谱GLM大模型
部署一个自己的大模型，没事的时候玩两下，这可能是很多技术同学想做但又迟迟没下手的事情，没下手的原因很可能是成本太高，近万元的RTX3090显卡，想想都肉疼，又或者官方的部署说明过于简单，安装的时候总是遇到各种奇奇怪怪的问题，难以解决。本文就来分享下我的安装部署经验，包括本地和租用云服务器的方式，以及如何通过API调用大模型开发自己的AI应用，希望能解决一些下不去手的问题。
2024-10-16 13:47:50
1085
原创 Sebastian Raschka 最新博客：从头开始用 Llama 2 构建 Llama 3.2
幸运的是，在设置模型类时，我们不需要做太多，只需将名称更新为 Llama3Model。
2024-10-16 13:40:48
1326
原创 2024大模型面试八股（含100道答案）
本文总结了100道大模型算法岗常见的（含答案），1、目前主流的开源模型体系有哪些？2、prefix LM 和 causal LM 区别是什么?prefix LM (前缀语言模型)：在输入序列的开头添加一个可学习的任务相关的前缀，然后使用这个前缀和输入序列一起生成输出。这种方法可以引导模型生成适应特定任务的输出。causal LM (因果语言模型)：也称为自回归语言模型，它根据之前生成的 token 预测下一个token。在生成文本时，模型只能根据已经生成的部分生成后续部分，不能访问未来的信息。
2024-10-16 13:34:03
1192
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人