- 博客(111)
- 收藏
- 关注
RSS订阅原创 智能背后的阴影：LLM安全风险
而黑盒攻击，与之相反，攻击者只能通过输入信息，获取输出来和模型进行交互，并不了解模型的底层机制，因此对于一些闭源的LLM如GPT系列也存在一定的威胁。从越狱提示长度方面来看，如图所示，越狱提示的平均token数量为555，是常规提示的平均token数量的1.5倍，并且随着时间推移呈现不断增加的趋势，大致上也随着ChatGPT的不断更新而增加；这些方法具有较高的隐蔽性和破坏性，例如给予提示的后门攻击可以注入有毒的提示来影响LLM的预测，而基于PEFT过程中的后门注入可以控制微调后的模型产生一些有害的行为。
2025-02-12 17:07:24
1463
原创 吴恩达：《State of AI report》展现2024的主要趋势和突破（三）
万字长文，2024AI行业的科研角力©作者|Zhongmei来源|神州问学前言吴恩达的网站在十月中旬发表了一篇名为《A Year of Contending Forces》的文章，该文章是围绕着一个名为《State of AI Report - 2024》的年度报告的总结和点评。该报告由Nathan Benaich和Air Street Capital团队制作，这是该报告的第七年，新报告记录了过去一年推动AI发展的强相互作用力：开源与专有技术、公共与私人融资、创新与谨慎，汇聚了来自于2024年的研究论文、新
2025-02-12 17:06:39
864
原创 新型LLM优化技术削减内存成本高达75%
Universal Transformer Memroy通过使用神经注意力内存模型（NAMMs），即简单的神经网络，来优化提示，决定是“记住”还是“忘记”LLM内存中存储的每个token。研究人员表示：“即使在这些分布外的设置中，NAMMs通过丢弃诸如冗余视频帧和次优动作等token，保留了其优势，使其新的基础模型能够专注于最相关的信息以提高性能。研究人员表明：“这一新能力使得Transformer能够舍弃无用或冗余的细节，专注于最关键的信息，这对于需要长上下文推理的任务来说是至关重要的。
2025-02-12 17:03:27
615
原创 知识炼金术：让KG与LLM催化智能未来
对于给定的应用问题，我们可以应用知识图谱来进行基于知识的搜索，寻找潜在的目标和未见数据，同时使用LLMs来进行基于数据/文本的推理，看看可以得出哪些新的数据/目标项。做图谱其实就是做数据，其实就是对错综复杂的文档的数据进行有效的加工、处理、整合（数据定义、数据挖掘、数据清洗、数据评估的过程），使其转化为简单、清晰的“实体,关系,实体”的三元组。KG-to-text的生成将知识图谱和文本连接起来，大大改善了KG在更现实的NLG场景中的适用性，包括讲故事和基于知识的对话。将相关的知识子图引入到LLM的输入中。
2025-02-12 17:02:24
1090
原创 稀疏计算的软硬件协同：FPGA有力推动硬件发展
但是稀疏计算方面，GPU的架构通常不能在模型的稀疏性和准确度上保持平衡，相比之下，FPGA (可编程逻辑阵列) 平台因其灵活性能够更好地支持非结构化稀疏、块稀疏等稀疏化模式，并通过改进内存带宽利用和编译效率来克服当前硬件的局限性。FlightLLM 的矩阵计算引擎 MPE 通过硬件/软件协同设计，引入了可配置稀疏 DSP 链（CSD-Chain），利用定制化的 FPGA DSP48 核心，不仅减少了硬件开销，还灵活支持包括 N:M 稀疏模式在内的各种稀疏计算运算，从而克服了低计算效率的挑战。
2025-02-12 16:59:15
995
原创 “白菜价”的GraphRAG来了，成本降低1000倍！
LazyGraphRAG的最大亮点在于其数据索引阶段的创新。相比传统的广度优先搜索，LazyGraphRAG能够更加高效地找到最佳匹配的文本块，同时考虑整个数据集的广度，极大地提高了查询的效率。尽管GraphRAG在许多场景中表现出色，但在处理全局数据查询时，其成本问题一直受到诟病，尤其是在大规模AI模型中，查询的延迟和准确性也成为了瓶颈。在高预算下，LazyGraphRAG的胜率持续上升，尤其在全局查询上，其表现超越了其他所有方法，显示了LazyGraphRAG在成本和质量方面的强大可扩展性。
2025-02-12 16:44:43
612
原创 如何复刻o1模型的深度思考
当然o1模型本身在处理复杂问题是有更好的能力不单纯是CoT的功劳，o1模型在预训练之初就是在大量的文本数据集上进行的，o1模型具有广泛的世界知识，但是对于实际应用来说他的成本则是比较高昂的，而o1-mini则是在预训练期间针对STEM推理进行了优化，在使用与o1相同的高计算强化学习（RL）进行训练之后o1-mini在许多推理任务上实现了相当的性能，成本效率也有了很大的提升，但是o1-mini在非STEM的事实知识任务上表现较差。而因为草莓模型的推理能力的提升能够准确的回答，所以被称为草莓模型。
2025-02-12 16:43:44
540
原创 ChatGPT macOS 桌面应用让你的编程体验更上一层楼
在这之后不久，微软发布了名为 Omniparser 的项目，这是一款可以解析屏幕的 AI 代理工具 —— 该项目的推出可能预示着未来微软会利用 AI 能力来控制用户桌面的能力，其中最有可能的就是通过集成在 Windows 操作系统中的 Copilot 来实现。提示词：这是一个文档型的 macOS 桌面应用模板，我想利用这个模板开发一个标准功能的文本编辑器，在应用界面的顶部需要有一个功能菜单条，在菜单条中包含典型的功能，比如：文字加粗、斜体、下划线、左对齐、居中对齐、右对齐、有序列表、无序列表等等。
2025-02-12 16:42:55
1351
原创 AgileGen智能体：生成式软件开发新纪元
基于用户的单行需求描述（“开发一个可定制虚拟运动场的应用程序”），AgileGen利用记忆池机制推荐了类似需求的场景作为参考，在场景设计模块中生成运动场的布局配置和自定义选项，例如场地大小调整、颜色切换。AgileGen通过场景设计模块生成了卡片布局和点击交互功能的核心代码，快速原型设计模块提供了初始UI设计，并通过一致性因子确保功能逻辑与需求描述一致，并根据用户反馈优化了卡片排列方式和音频加载速度。通过这种方式，AgileGen不仅实现了需求的动态优化，还构建了一个可持续进化的用户协作生态。
2024-12-05 14:45:17
923
原创 中美之外，谁还能在AI竞争中占领制高点？迪拜与新加坡的契机
作为全球重要的金融中心，新加坡通过与全球科技巨头的合作，不仅推动了本土技术的创新，还借助其与东南亚以及全球其他国家的紧密联系，成为AI技术与资本流动的桥梁。两国在许多领域表现出“互补”的特点。中美两国无疑是目前全球AI技术发展的领导者，但随着AI技术的进步与应用场景的不断拓展，越来越多的国家和地区展现出了在AI领域竞争的潜力。迪拜和新加坡正是这种趋势中的代表性国家，它们并非仅仅是在和中美竞争，而是通过独特的政策和资源配置，寻求与全球AI发展格局中的“强国”进行合作，力图在全球AI产业链中占领制高点。
2024-12-05 14:44:12
835
原创 Blackwell与FP4精度：AI量化浪潮中推动端侧发展的“双子星”
例如，学术界在发表新型量化算法，验证计算效率提升时，由于缺少能与之适配的硬件，通常会使用硬件语言和 FPGA 自行编写量化算子，与不采用量化的模型进行性能比较，以验证量化算法是有效的，但实验室环境不代表实际环境，因此无法在实际的生产环境中进行部署和应用。模型量化使得大模型的训练和推理变得更加高效。而且，单个硬件设备对量化算法的支持十分有限，不同的硬件设备对于量化算法的支持程度也存在差异，这就使得学术界开发的量化算法在实际应用中需要针对不同的硬件设备进行大量的适配和优化工作，增加了推广的难度。
2024-12-04 16:28:34
2033
原创 OpenAI：AGI共5层，我们现在在第2层
AGI的五层架构为AI的发展设定了清晰的蓝图，从“聊天机器人”到“组织”，每一层级都代表了技术的突破与智能水平的跃升。在迈向AGI的过程中，科学家和公众需共同关注其发展，积极应对AI带来的伦理、安全和治理问题，探索在社会效益最大化的前提下，迎接智能新时代的机遇与挑战。创新者型AI的出现将极大加速人类的创新速度，充当“新发现者”的角色，提出新的科学假设，并帮助设计和验证实验。他们对世界有广泛而普遍的理解，可以自己进行一定程度的思考和推理，允许在无人监督的情况下进行现实世界的行动。
2024-12-04 16:27:09
3419
原创 吴恩达：《State of AI report》展现2024的主要趋势和突破（二）
万字长文，2024AI行业的科研角力©作者|Zhongmei来源|神州问学前言吴恩达的网站在十月中旬发表了一篇名为《A Year of Contending Forces》的文章，该文章是围绕着一个名为《State of AI Report - 2024》的年度报告的总结和点评。该报告由Nathan Benaich和Air Street Capital团队制作，这是该报告的第七年，新报告记录了过去一年推动AI发展的强相互作用力：开源与专有技术、公共与私人融资、创新与谨慎，汇聚了来自于2024年的研究论文、新
2024-12-04 16:26:21
1988
原创 OpenAI 推出了 Canvas 和 SearchGPT
通过 ChatGPT Search 的浏览器插件可以完全接管 Google Chrome 浏览器的搜索地址栏，在过去，您在 Chrome 的搜索地址栏中输入搜索关键词会打开默认的搜索引擎来显示搜索结果，但通过 ChatGPT Search 插件，在搜索地址栏中输入的搜索关键词会直接在 ChatGPT 的 web 应用中以搜索的形式显示关键词相关的主题和回答。那么作为一款带有搜索能力的 GPT，在界面设计语言方面，OpenAI 也做出了相应的调整，在新建对话中，提示词文本框上移到屏幕的中央。
2024-12-04 16:25:09
1433
原创 吴恩达：《State of AI report》展现2024的主要趋势和突破（一）
万字长文，2024AI行业的科研角力©作者|Zhongmei来源|神州问学前言吴恩达的网站上周发表了一篇名为《A Year of Contending Forces》的文章，该文章是围绕着一个名为《State of AI Report - 2024》的年度报告的总结和点评。该报告由Nathan Benaich和Air Street Capital团队制作，这是该报告的第七年，新报告记录了过去一年推动AI发展的强相互作用力：开源与专有技术、公共与私人融资、创新与谨慎，汇聚了来自于2024年的研究论文、新闻文章
2024-12-04 16:22:02
1698
原创 英伟达 GPU 架构：演进与模型推理速度的深度关联
H200 的显存从 H100 的 80GB 提升到了 141GB，更大的显存容量可以容纳更大规模的模型和数据，减少数据在内存和硬盘之间的交换次数，从而提高推理速度。当然也并不是所有的场景都适合NVLink的，PCIe的GPU的优势主要体现在其出色的灵活性和实用性，对于工作负载小、追求GPU数量平活配置的场景，PCIe版的GPU无疑是个更好的选择，而对于GPU间互联带宽有着极高需求的大规模AI模型的训练任务，SXM版的GPU凭借其无可匹敌的NVLink宽带和极致的性能则成为首要选择。然而，竞争也将促进合作。
2024-11-01 15:30:29
1852
原创 模型剪枝，如何把模型的使用成本降下来？
传统的剪枝方法通常采用全局统一的稀疏率，忽略了不同层的重要性差异，可能导致关键层被过度剪枝，影响模型的整体性能。通过减少模型的参数量，剪枝不仅能显著降低计算资源的需求，还能提高模型的运行效率，使模型更适合部署在资源受限的环境中，如移动设备和嵌入式系统。的研究进展，展示了通过自动化和精细化的剪枝策略，可以在保持模型性能的同时，大幅降低模型的计算和存储成本。未来，随着剪枝技术的不断发展和成熟，我们有望看到更加高效、低成本的模型应用，为人工智能的普及和发展注入新的活力。据估计，GPT-3的训练成本在。
2024-11-01 15:29:29
833
原创 AI Agent智能数字员工解决案例
大模型不仅可以通过丰富的语义理解能力，提升对业务场景的适应性，还能生成高质量的自动化流程，减少企业对人工操作的依赖。接下来，系统会将客户的请求自动录入到相应的业务系统中，例如，运营商将宽带迁移请求录入工单系统，金融机构则将贷款申请及身份证信息录入信贷系统，而电商则处理换货申请。早期的数字员工主要依赖于预设的规则和流程，但随着大模型技术的不断进步，智能体现在能够自主识别任务、动态调整执行策略，并在实际应用中展示出更高的灵活性和智能化水平。其次，由于团队规模庞大，需要数百名员工，这使得人力成本大幅增加。
2024-10-25 17:20:47
1413
原创 MemoRAG：重新定义长期记忆的AI问答模型
尽管项目仍处于初期阶段，MemoRAG 已通过项目代码实现了快速部署，并支持中文语料处理，未来将持续优化模型的轻量化、记忆机制的多样性以及应用广泛性，推动 AI 问答技术的进一步发展。”时，可能只能给出一个模糊的概述，但通过快速查阅相关章节，可以找到具体的细节，从而归纳出一个完整的答案。右侧图展示了MemoRAG通过构建覆盖整个数据库的全局记忆，在接收到查询后，首先回忆出相关线索，从而检索到更有用的信息，提供更加准确和全面的答案。通过增加 beacon_ratio 参数，模型可以处理更长的上下文。
2024-10-25 17:20:06
1313
原创 探秘AIPC软件：云端和本地如何奏响混合乐章
在撰写文档方面，无论是撰写文章、报告还是邮件，用户只需输入主题和关键要点，豆包就能先为用户提供大纲，供用户参考及修改，再根据改好的大纲生成文档，帮助用户更高效地完成任务。华为的昇腾系列 AI 芯片，如昇腾 910B 等，具备强大的算力和能效比，配合其 CANN 等计算加速框架，为端侧大模型的应用和部署提供了完整的解决方案。在模型推理时，用户还可以根据实际需求对模型的配置进行调整，例如调整模型的参数、选择不同的模型版本等，以获得更符合自己需求的结果。Ollama 是一个通用的模型调用框架，具有很强的适应性。
2024-10-09 15:23:11
1289
原创 RAG测评关键指标
因此，检索器必须确保找到的资料高度相关，避免噪声和无关信息的干扰，否则会直接影响到生成环节的表现。你有一个很聪明的助手（相当于大型语言模型，LLM），但他也不是万能的，需要查阅外部信息来给出最好的答案。像 GPT-4 或 GPT-1o 这样的高级模型，通常能提供较高的生成质量，确保答案的准确性和连贯性。”），结合刚刚找到的资料，生成一个完整、准确的回答告诉你。4. 引文精度（citation precision）：与特定主题相关的文献数量与检索到的内容的比例，接近于上下文有效率的概念。
2024-10-09 15:22:02
1273
原创 李沐：如果有什么事这一辈子总要试下的，就趁早
“We're building something big ... stay tuned. Talk to me if you want to work on scalable foundation models.”“我们正在建造一个大项目……请继续关注。如果你想在可扩展基础模型上工作，请告诉我。”©作者|Zhongmei来源|神州问学去年二月，“参数服务器之父“Alex Smol教授和当时的亚马逊首席科学家李沐从亚马逊云科技（AWS）离职，创办了一家名为Boson.ai的人工智能公司。当时公司官网都在建设
2024-09-29 16:14:23
1130
原创 黑神话热潮，能引发GPU狂欢的才是杀手级应用
黑神话：悟空》作为一个国产 IP 和国产游戏，会带动大量的中国玩家尝试，一些轻度游戏用户以及之前不是很活跃的游戏存量用户也加入进来，从而对中国游戏终端市场的换机起到一定的拉动作用。而随着时间的推移，其热度依旧不减，据 VG Insights 的最新数据显示，《黑神话：悟空》在 Steam 平台的销量已达 1890 万份，总收入超过 9.05 亿美元（约合人民币 64.48 亿），甚至有突破 1900 万份，收入达 64.9 亿元的趋势。另一方面，产业也期待着更多新软件的爆发，以带动硬件市场的持续繁荣。
2024-09-29 16:13:46
633
原创 数据先行 -- Scale AI如何通过AI数据服务成为独角兽
Scale AI 主要服务于政府和企业客户，特别是那些需要复杂云服务的公司，而 Hive 则聚焦于市场、约会应用程序以及其他B2C和点对点导向的公司，推广其预构建的AI模型。众多知名企业，如 Lyft、Toyota、Airbnb 和通用汽车，依赖 Scale AI 的数据引擎来获取精确的标注数据，以推动他们的 AI 项目的成功。Scale AI的主要目标是通过自动化工具和人力审核相结合的方式，为企业提供精准的数据标注服务，从而提高人工智能模型的准确性和性能。数据标注结合人工智能技术和人机交互进行高效处理。
2024-09-27 17:23:53
2304
1
原创 解析 Llama-Factory：从微调到推理的架构
此外，Llama-Factory 配备了用户友好的 LlamaBoard Web 界面，降低了使用门槛，使得即便是没有深厚编程背景的用户，也能轻松进行模型微调和推理操作。这不仅减少了模型的内存占用，还提升了微调和推理的速度。这些技术在不显著影响模型性能的前提下，提升了推理速度，使得 Llama-Factory 能够在资源有限的环境中，仍然保持高效的推理能力。随着技术的不断发展和应用场景的扩展，Llama-Factory 有望在未来的 AI 生态中占据重要的位置，推动整个行业的创新与进步。
2024-09-27 17:22:10
1363
原创 RAG领域出现技术创新，或将引领AI搜索重大变革？
通过引入用户中心化的多智能体系统，PersonaRAG有效地增强了检索增强生成模型的个性化和精确性，并提供了一种有效的解决方案。通过个性化和动态调整，让搜索结果不再仅仅是关键词匹配的列表，而是为用户量身定制的信息体验，提升了智能搜索的精准度和用户满意度。具体来说，RAG流程是根据用户的查询，从海量的文档或者数据中检索出相关的信息片段。然后用大模型生成有用的回答。PersonaRAG更像一个经验丰富的出色导游，能够在与游客的交谈当中调整旅游路线，并且记住游客的兴趣和喜好，为后续旅程提供定制方案。
2024-09-27 17:21:14
905
原创 使用 LlamaIndex 进行 CRAG 开发用来强化检索增强生成
我从论文《Corrective Retrieval Augmented》中截取了如下的示意图，在该示意图中描绘了如何构建一个检索评估器来评估检索到的文档与输入的问题的相关性。该评估器是“检索增强生成”（Retrieval-Augmented Generation，RAG）的关键组成部分，通过审查和评估检索到的文档的相关性和可靠性，帮助生成有价值的信息。检索评估器涉及到一种算法，该算法确保检索到的信息的细化，优化关键信息的提取并最大限度地减少非必要信息被检索到，从而提高检索到的数据的利用率。
2024-09-27 17:19:25
1185
原创 LLM如何结合知识图谱进行RAG
知识图谱这个术语最早是由谷歌在2021年的5月提出，作为器增强搜索的结果，向用户提供更多的上下文信息，知识图谱旨在理解实体之间的关系，并直接提供查询的答案。除此之外基础的RAG因为是基于相似度进行查询的，所以很难处理需要汇总整个数据集的信息才能得到的答案，比如“数据中的前五个主题是什么”这种类似的查询，因为基础的RAG基于数据集内的文本内容的向量搜索，所以最终往往很难查询到正确的信息，，但是借助GraphRAG则可以回答这类问题，如在这次的实验中。在这个实验中，分别基于RAG和GraphRAG进行提问。
2024-09-27 17:15:47
829
原创 商汤SenseNova 5.5大模型的应用实践
2024世界人工智能大会（WAIC）期间，作为全球医疗大模型创新先行者，商汤科技与瑞金医院深度合作，构建了全院智慧影像云平台，实现了影像数据的互联互通及多项智能化功能，如移动阅片、远程会诊、AI辅助诊疗等，为医院提供了现代化智慧医疗的坚实基础。日日新5.5 Lite是商汤公司专为端侧模型进行升级而推出的模型，在提高模型精度的同时，成功降低了首包延迟40%，推理效率也提升了15%，性能指标更优，推理速度更快，端侧模型矩阵更完善。在多模态融合方面，实现从图文到视频的全面突破，带来更加身临其境的人机交互体验。
2024-09-27 17:14:33
906
原创 AI驱动的智能运维：行业案例与挑战解析
与传统运维方法相比，这些新概念在管理和维护AI产品时，更强调了动态模型管理、自动化故障检测和智能化问题解决，不断深刻改变了构建和维护AI应用的方式，推动了运维工具和实践的全面进化。AI系统虽然可以处理常规的操作，但对于一些突发的、复杂的或需要高度判断力的问题，仍需依赖于运维人员的经验和智慧。它通过智能分析和优化建议，提高系统和流程的整体效率。AI运维这个概念不可否认是相当美好的，他的优点也显而易见：解放我们的双手和大脑，也就是解放人力，就这一个优点就是非常大的，而且这也应该是AI在绝大多数应用领域的优点。
2024-09-27 17:09:50
1295
原创 给RAG开药方：亚马逊发布RAGChecker，专治AI回答不准
作为一位开发者，RAGChecker是不可或缺的得力助手，它的出现，不仅为生成式AI的应用打开了新的大门，也为未来AI技术的发展指明了方向，现在的RAG系统不再完全是一个黑匣子，开发者可以从中剖析具体问题具体分析。更强的自适应能力：未来的RAGChecker可能会具备更强的自适应能力，能够根据不同的应用场景自动调整优化策略，为不同领域的开发者提供量身定制的解决方案。上下文精确率衡量的是检索到的信息中有多少是与问题直接相关的，上下文精确率越高，生成器使用的信息质量越好，生成的答案也更有可能准确。
2024-09-12 10:24:25
1113
原创 为什么AI PC需要NPU？
此外，在医疗保健领域，NPU能够处理复杂的医疗数据，帮助实现更早、更精确的诊断，并支持个性化治疗方案的制定，为患者提供更好的医疗服务。NPU 架构设计的核心特点在于集成了大量的计算单元阵列，如 Intel NPU 的神经计算引擎和 AMD XDNA 的 AI 引擎块，这些单元内置向量和标量处理器，并利用片上内存和定制数据流，避免了数据频繁利用总线在CPU、GPU以及内存中交换，实现高效、低功耗的 AI 计算。相较于传统的CPU和GPU，NPU在执行复杂神经网络任务时具有更高的效率和更低的功耗。
2024-09-12 10:15:58
1456
原创 大模型时代，传统程序员还需要写代码吗？
最后，我认为在角色转化的过程中最后等待我们的，并且难度很高的内容就是需要深入学习AI的底层原理，尤其是大模型的架构。我们在实现大多数模块需求的时候，通过是针对这个模块进行CRUD（增删查改）的代码编写，这个代码通过会加入一些异常判断或者实体类转化等操作，所以无法避免还是会产生一些重复的工作量，这个不需要脑力的重复操作也可以交给AI完成。可以看出其完整的编写关于用户标签的业务模块的代码，虽然业务逻辑很简单，但是我们可以在提示词中告诉他更多业务相关的判断逻辑，那么他就可以生成复杂的业务逻辑代码。
2024-09-10 11:41:20
1181
原创 AI模型“减肥”风潮：量化究竟带来了什么？
量化技术通过降低模型的计算需求和存储空间，使得在资源受限的环境中，复杂的神经网络也能高效运行。大模型在NLP和CV领域的广泛应用中展现了强大的能力，但随着模型规模的扩大，对计算和存储资源的需求也急剧增加，特别是在资源受限的设备上面临挑战。从智能量化算法的开发到自适应量化策略的引入，再到与其他优化技术的结合，未来的量化技术将更加智能化和高效，为AI技术的发展提供强有力的技术支持。通过量化技术，如INT8量化和FP4量化，可以有效降低内存需求，同时保持模型的推理性能，使得模型在这些设备上能够以较高的效率运行。
2024-09-10 11:40:28
1145
原创 100%结构化输出——OpenAI新功能大幅增强工具调用
例如，在客户信息录入阶段，模型会按照我们定义的格式输出客户详情，后续步骤可以直接使用这些信息，无需额外的格式转换，极大提高了系统的效率和稳定性。说完了好处和优点，如果我们换一个角度来看OpenAI的此次更新，作为AI龙头的OpenAI在GPT爆火后的近两年时间内，模型迭代速度和模型能力增长都十分迅速，反观这次大动干戈的从JSON格式化来规范模型输出，而没有从模型自身审视输出不规范的问题，这何尝不是一种“雕花”工作呢？尽管模型的性能显著提升，在基准测试中达到93%的准确性，但模型的固有不确定性仍然存在。
2024-09-03 14:57:14
1961
原创 AI模型训练中的双剑侠dd：GPU和CPU的分工
速度与力量：GPU和CPU在AI世界中的完美配合©作者|Zhongmei来源|神州问学引言在现代计算设备中共同发挥作用的两个核心组件是 CPU（中央处理单元）和 GPU（图形处理单元）。两者的分工合作对于执行各种任务和提供卓越性能至关重要，所以了解CPU 和 GPU的角色、关键差异，探索他们协同工作的方式，对于任何希望优化计算性能的人来说也是必不可少的。无论你是技术爱好者、游戏玩家、数据科学家还是普通用户，掌握这些组件的知识可以帮助你在选择满足特定需求的设备时做出明智的决定。什么是 CPU？CPU（Cent
2024-09-03 14:53:31
1245
原创 Relevance AI：打造一个AI智能体营销团队
例如，挖掘到的新客户可以被交给 AI 客服回答用户的提问，让AI运营撰写引人入胜的文案和吸引眼球的海报，或者让 AI 产品经理进行深入的市场分析，掌握行业最新动态，再由AI数据分析师找到哪些产品是明星产品应该增加推广力度。技术的进步需要经过时间的沉淀和不断的改进，每一次的错误和失败，都是积累经验的过程，一步一步走向真实世界的需求。如今，大语言模型的出现，为AI智能体带来新的曙光。此外，还可以通过自动化数据分析和用户分析，评估内容的质量和用户的反馈，创造更符合用户兴趣的内容，以达到提升营销效果的目标。
2024-08-29 10:19:09
1233
原创 以小搏大：Salesforce 十亿参数模型表现超过ChatGPT
提示要求模型生成一组具有实际应用场景的查询和对应的函数调用答案，这些查询不仅要涵盖基本的功能调用，还应包含多个平行的查询，这些查询可以使用相同的函数但具有不同的参数，或者使用不同的函数来完成不同的任务。xLAM-1B模型的成功挑战了当前对大模型的崇拜，尤其是在功能调用任务中的卓越表现，吸引了业界的广泛关注。通过创新的架构设计、高效的数据生成与训练方法、精细化的微调策略以及对参数的高效利用，xLAM-1B不仅在功能调用任务中表现卓越，还以较小的资源消耗实现了与大模型相当甚至更优的性能。
2024-08-29 10:18:30
1216
原创 ToB福音？专业场景数据生成的“大杀器”接连发布
当然也有不使用种子数据的自动化流程，AgentInstruct就能够在不依赖额外种子提示的情况下，自主生成新数据，通过分析原始文档，生成与种子数据相似的内容，并结合流程验证和数据过滤，确保生成的数据质量。在本文中，我们将深入探讨数据生成模型的最新进展，对应的生成要点和技巧，以及在不同领域的应用潜力。对于这种无能为力的问题，对于函数调用类的数据相对容易生成，生成了对应的问题-工具-答案对之后，把所使用的工具以及同类的其他工具从工具列表中移除并修改答案回复，则可生成这类无法回答的问题。
2024-08-27 10:29:43
1235
原创 人工数据的没落：APIGen的崛起
由于APIGen所生成的数据集经过了严格的格式检查、实际函数执行和语义验证，确保了数据的可靠性和准确性，进而提高了模型在现实场景中的表现。在这种情况下，AI生成的数据成为一种宝贵的资源，它能够模拟和生成多样化的新场景数据，这些数据在传统数据集中可能难以找到。通过这种方式，AI生成的数据不仅填补了数据的空白，还能推动模型在更广泛的应用场景中展现出更好的性能和更大的潜力。APIGen通过高度自动化的生成过程，能够迅速产生大量的、多样化的数据集，这些数据集质量高，适应性强，能够有效支持复杂的API调用场景。
2024-08-27 10:28:41
842
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人