DeepMind新成果被批像广告?AlphaProteo可高效设计靶蛋白结合物,亲和力提高300倍

qcc514x-qcc304x调试笔记 qcc514x-qcc304x调试笔记-1-QCC514x系列 qcc514x-qcc304x调试笔记-2-开发环境搭建 qcc514x-qcc304x调试笔记-3-如何修改蓝牙名称 qcc514x-qcc304x调试笔记-4-如何修改蓝牙地址 qcc514x-qcc304x调试笔记-5-如何区分左右耳 qcc514x-qcc304x调试笔记-6-PIO相关操作 ... 阅读详情

AlphaFold 在蛋白质预测领域一骑绝尘,AlphaFold 3 更是突破限制,实现了所有生命分子的预测,其发布时便有声音称,AlphaFold 3 的结构化预测与生成将加速 AIDD (Artificial Intelligence-driven Drug Design,AI 驱动药物设计) 的发展。

如今,DeepMind 面向 AI 药物设计再开一枪——发布用于新型蛋白质设计的 AlphaProteo。

这个 Alpha 家族新成员同样展现出了划时代的能力提升,在实验测试的 7 种靶蛋白上,AlphaProteo 不仅实现了更高的实验成功率,其结合亲和力也比现有最佳方法高出 3 到 300 倍。 同时,研究人员还将其应用于癌症和糖尿病并发症相关的靶蛋白 VEGF-A 上,完成了 AI 工具在 VEGF-A 蛋白结合体设计上的零突破。

一轮中通量筛选即可生成「即用型」蛋白质结合剂

当地时间 9 月 5 日,DeepMind 研究人员提出了用于蛋白质设计的机器学习模型 AlphaProteo,该模型可以设计出高成功率、高亲和力、无需复杂人工干预的靶蛋白结合剂。AlphaProteo 只需要通过一轮中等通量筛选,无需进一步优化,即可为许多研究应用生成「即用型」蛋白质结合剂。

模型结构:结合生成模型与过滤器,可高效生成靶蛋白结合物

AlphaProteo 包含 2 个组件,如下图所示。

一个生成模型 (Generator) , 在蛋白质数据库 (PDB) 的结构和序列数据、以及 AlphaFold 预测结构的蒸馏集 (distillation set) 上进行训练,学习分子之间的结合方式;一个过滤器 (Filter), 用于对生成的设计进行评分,以预测结合物是否能在实验中与靶蛋白成功结合。

在这里插入图片描述

AlphaProteo 框架

具体而言,为了设计靶蛋白结合物,研究人员先输入靶蛋白的结构,并选择靶蛋白表位的「热点」残基,推测首选结合位置,生成模型会输出针对靶蛋白的候选结合物结构和序列,过滤器 (Filter) 在实验测试 (Experiment) 前将这些预测的结合剂 (Predicted binders) 筛选为一个较小的集合,在计算机模拟基准测试中,该生成模型的表现优于现有最佳方法。

实验结论:超越最佳现有方案,具备高成功率和强亲和力

研究人员用 AlphaProteo 设计了 8 种不同结构靶蛋白的结合剂,并对它们进行实验测试。其中,有 2 种与感染有关的病毒蛋白 BHRF1 和 SARS-CoV-2 刺突蛋白受体结合域 SC2RBD,以及 5 种与癌症、炎症和自身免疫性疾病有关的蛋白 IL-7Rɑ、PD-L1、TrkA、IL-17A 和 VEGF-A,1 种与自身免疫性疾病如类风湿性关节炎相关的蛋白质 TNF。

如下图所示,AlphaProteo 生成的 7 个靶蛋白结合剂能够在实验测试时与目标蛋白紧密结合, 但它无法针对第 8 个靶点 TNF 设计成功的结合物。

在这里插入图片描述

AlphaProteo 生成的靶蛋白结合剂预测结构图

  • 蓝色表示结合剂,黄色表示蛋白质靶点,深黄色是预期的结合区域

进一步地,如下图所示,研究人员将 AlphaProteo 与其他设计方法 (Other design methods) 比较,对比体外成功率。结果发现,在湿实验室中测试中,9%-88% 候选结合物能够与靶蛋白成功结合,这比其他方法高出 5-100 倍。

其中,对于病毒蛋白 BHRF1,AlphaProteo 生成的候选分子与靶蛋白的结合成功率达到 88%,结合强度是现有最佳设计方法的 10 倍;对于蛋白质 TrkA,新结合剂比先前针对该蛋白经过多轮实验优化的最佳设计结合剂更强。

在这里插入图片描述

与其他设计方法相比,AlphaProteo 对 7 种靶蛋白的体外成功率

此外,研究人员还探索了在未经实验优化的情况下,与其他设计方法相比,AlphaProteo 设计的结合物对靶蛋白的最佳亲和力。结果发现,相比于现有最佳方法设计的结合物,AlphaProteo 生成结合物的结合亲和力更高,大约高出 3-300 倍。

  • 亲和力越大,结合越紧密

在这里插入图片描述

最佳亲和力测试

研究人员进一步探索了 SC2RBD 和 VEGF-A 蛋白更强结合剂与 AlphaProteo 设计的结合剂之间的相似性,结果证实,这些更强结合剂的结合相互作用与 AlphaProteo 预测的结合物类似,这说明 AlphaProteo 具备可靠性。

此外,研究人员还证实这些结合剂具有实际的生物学功能,例如,一些 SC2RBD 结合剂被证明可以防止 SARS-CoV-2 及其变体感染细胞。更重要的是,AlphaProteo 具有广泛的适用性,无需经过高通量筛选或亲和力优化实验,可以大大减少设计蛋白质结合剂的初始实验时间。

与欧洲最大的生物医学研究实验室通力合作

在首批测试新蛋白质设计系统 AlphaProteo 的实验中,有 3 个团队来自弗朗西斯·克里克研究所 (The Francis Crick Institute)。

弗朗西斯·克里克研究所位于英国伦敦,是目前欧洲最大的生物医学研究实验室,也是英国的研究中心。由英国国家医学研究所 (National Institute for Medical Research,简称 NIMR) 联合英国癌症研究中心 (Cancer Research UK) 耗资约 7 亿英镑,共同发起成立。

在这里插入图片描述

截至目前,克里克研究所拥有 2 千多名研究人员和 100 多个研究小组。此外,该研究所是由世界领先的 6 个生物医学研究机构合作建立的独特伙伴关系,包括医学研究理事会、癌症研究英国、威康基金会、伦敦大学学院、伦敦帝国学院和伦敦国王学院。

弗朗西斯·克里克研究所官网地址:
https://www.crick.ac.uk/

Deepmind 最新成果褒贬不一

研究意义 vs. 是否开源

虽然 AlphaProteo 在实际研究中的高价值有目共睹,但众多网友更关心的是这个工具是否开源。一位网友表示「它是开源的吗?不是的话就太没意思了」。

在这里插入图片描述

而另外一些网友则表示,AlphaProteo 对于挽救生命的意义更大于它是否开源, 并对其发展潜力表示看好。

在这里插入图片描述

在这里插入图片描述

方法论细节太少,不像论文,更像广告

DeepMind 团队为该模型撰写了一份论文,但其中涉及到模型方法细节非常少,甚至可以说几乎没有细节。一位来自全球领先制药和健康护理公司的科学家连发三条动态表示「这份白皮书的方法细节太少了」、「这感觉更像是一个广告,而不是一个合适的出版物」,并对论文中相同的图例指标进行质疑。

在这里插入图片描述

另一位来自麻省理工的生物学博士不仅再次重申了 Science 开源的意义,也对 DeepMind 此举进行抨击,「Deepmind 做得太过分了,我很想知道它是如何工作的。」

在这里插入图片描述

DeepMind 开辟新战场,与 AlphaFold 相辅相成

DeepMind 面向生物医药行业的「升级打怪」已经开辟了新战场,能否成为加速 AI 药物设计落地的强心针呢?

众所周知,AlphaFold 3 已经能够以超高精度预测所有生命分子(蛋白质、DNA、RNA、配体等)的结构和相互作用,关于其未来迭代方向,有业内人士预测,可能会在动力学信息预测方面有所提高与改善。而此番发布的 AlphaProteo 在一定程度上是能够与 AlphaFold 相辅相成,互相促进。

一方面, 蛋白质设计需要从功能出发,设计全新或改良的蛋白质结构,以实现特定的生物或化学功能,所以非常依赖于对蛋白质结构与功能关系的理解。另一方面, 蛋白质预测则能够提供关键的结构信息,指导设计。同时,设计出的蛋白质也能够帮助改进预测模型,增强蛋白质折叠、动力学等方面的预测准确性。

DeepMind 在 AlphaProteo 的介绍中提到,这一创新可能会加速人们对生物过程的理解,并有助于新药的发现,生物传感器的发展等等。未来,公司将与科学界合作,利用 AlphaProteo 解决影响深远的生物学问题,并了解其局限性。同时,DeepMind 也一直在与 Isomorphic Labs 共同探索其药物设计应用。

Isomorphic Labs 脱胎于 DeepMind,聚焦于 AI 医药领域,使命是利用人工智能和机器学习方法来加速和改善药物发现过程,以便为人类一些最具破坏性的疾病找到治疗方法。

从某种程度上看,Isomorphic Labs 也是 DeepMind 面向 AI 医药领域的触角,能够在第一时间将其最新成果有针对性地在药物设计应用上进行落地探索。该团队也出现在了 AlphaFold 3 的研究中,期待其在 DeepMind 的加持下,能够为 AI 药物设计的落地带来好消息。

最后推荐一个学术分享活动!

Meet AI4S 第三期直播邀请到了上海交通大学自然科学研究院 & 上海国家应用数学中心博士后周子宜。9 月 25 日,周子宜博士将以线上直播的形式为大家分享蛋白质语言模型的小样本学习方法,探讨 AI 辅助下定向进化的新思路。点击即可预约观看直播!

https://hdxu.cn/6Bjom

图形推理2-四大类六提示 图形推理笔记2 阅读详情

相关推荐

ArcGIS Pro新手避坑:从OpenStreetMap导入路网到创建拓扑关系全流程

本文详细解析了ArcGIS Pro中从OpenStreetMap导入路网数据到创建拓扑关系的全流程,涵盖OSM数据特性、几何完整性检查、属性强化及拓扑关系构建等关键步骤。特别针对路网数据预处理、网络数据集配置和常见问题提供了实用解决方案,帮助GIS新手高效完成网络分析任务。

weixin_33670786的博客 514

传神论文中心|第25期人工智能领域论文推荐

这一策略不仅优化了问题解决路径,还有效提升了最终答案的准确性。尤其值得关注的是,使用 Llama3-8b 模型在 GSM8K 数据集上实现了 21.05% 的性能提升,为未来在复杂推理任务中的应用提供了有力的理论支持和实践方案。传神社区注意到这篇文章中有以下亮点:该综述全面探讨了大语言模型代理在软件工程中的应用,从需求工程到测试生成,再到软件维护,提供了广泛的视角。这篇文章为研究者和从业者提供了一个全面的框架,展示了 LLM 在各个软件开发环节中的潜力,并为未来基于 AI 的软件开发工具的发展指明了方向。

OpenCSG的博客 862

帆软报表JS导出避坑指南:如何正确处理sessionid和参数传递

本文深入探讨了帆软报表中通过JavaScript实现一键导出的关键技术,重点解析了如何正确获取并传递sessionid以确保会话不丢失,以及如何构造包含必要参数的导出URL。文章详细对比了预览后导出与直接URL导出两种方式的差异,并提供了从参数拼接、前端触发下载到高级场景(如SPA集成)的完整避坑指南,帮助开发者构建稳定可靠的自定义导出功能。

weixin_42522857的博客 162

抓住「AI+生物医药」黄金时期,盘点2024年最值得关注的颠覆性成果

此外,AI 还可优化细胞分化过程、推动细胞大模型的研发…:美国俄亥俄州立大学、微软研究院、加州大学欧文分校、伦斯勒理工学院等发布了迄今最大、最具多样性的适用于机器学习的生物学图像数据集 TreeOfLife-10M,并开发了生命之树的基础模型 BioCLIP,该模型充分利用 TreeOfLife-10M 中植物、动物和真菌的多样化生物图像,在多种细粒度生物学分类任务中,其表现显著优于现有方法。它可以根据化学分子的结构,对该分子的气味进行描述,在 53% 的化学分子、55% 的气味描述词判断中优于人类。

HyperAI超神经 1771

Openwork 入门指南:开源 AI 桌面助手快速上手

Openwork是一款开源的AI桌面代理工具,提供类似Claude Cowork的免费替代方案。它支持本地运行,确保隐私安全,并能高效处理文件整理、文档读写等任务。支持多种AI模型,通过MIT许可完全免费。安装简单,仅需运行命令行或下载桌面版,需配置API Key后即可使用。操作直观,支持多步骤规划和权限控制,适合自动化重复工作。目前主要支持macOS,未来将扩展至Windows/Linux。建议从简单任务入手,逐步掌握这一高效的数字助手工具。

3802

基于结构的虚拟筛选模型 gnina 从源码编译

所需要的软件安装包: 安装 CUDA 装的时候看着点,第二个要你装驱动的选择,回答N,不装。 sudo sh cuda_10.0.130_410.48_linux.run sudo vim ~/.bashrc 在 ~/.bashrc 文件最后加上 export PATH=/usr/bin:/usr/local/cuda-10.0/bin${PATH} export LD_LIBRARY_PATH=/usr/local/cuda-10.0/lib64:${LD_LIBRARY_PATH} source ~

周迪新的博客 3188

多国政策/科研突破/先锋人物/企业布局……一文看尽2024年AI4S行业大事

回顾 2024 年,AI for Science 硕果累累,尤其是临近年终的诺贝尔奖颁布,令其完成了一次「破圈」,这一重量级奖项的青睐使得公众看到了 AI4S 的价值。然而,随着人工智能技术的迅猛发展,AI 正在深刻影响各学科的研究方式与方向,成为数据推理的新范式。该机构由科学信息通信部长官和泰斋大学校长担任联席主席,以及 AI 领域的 23 名顶级专家、韩国各政府部门的 7 位官员,共 32人 组成,并分为 AI 半导体、技术研发、法律与制度、伦理安全、人才培育、 AI 生物等 6 大部门。

HyperAI超神经 2131

项目管理 Agent:进度追踪与风险预警 Harness

我们先从LangChain的Agent定义说起:Agent是一个能感知环境、自主决策、调用工具、执行动作、迭代反思的智能实体。而「项目管理全自主Agent」,就是把Agent的核心能力和项目管理的五大过程组(启动、规划、执行、监控、收尾)深度结合,聚焦执行监控阶段的两个核心痛点:进度偏差自动化计算、风险信号自动化识别与预警的专门化Agent。全感知(Omnisensing):能从。

AI架构师小马 516

科技早报 | OpenAI 搜索引擎 SearchGPT 初期反馈褒贬不一;阿里云通义千问 Github 页面 404;Google 释出 Android 15 源代码 | 最新快讯

该模型标志着数字诊疗技术在医疗领域的又一突破,为脑血管病的规范化诊疗、个性化治疗和临床研究带来新的范式。该模型基于海量脑血管病临床医学数据构建,经过AI工程师和脑血管病专家半年时间的精心调训,具备卓越的专业概念理解、复杂推理和逻辑判断能力,能够为医生提供精准的医疗指导和个性化治疗方案,有效提升诊疗规范化水平,改善患者预后。9月5日消息,在2024 Inclusion·外滩大会上,MiniMax创始人、CEO闫俊杰参与圆桌讨论时表示,当下在大模型发展上他更加关注的问题是,如何通过技术的优化来拓展AI的边界。

www3300300的专栏 1400

药物相关 PK(药代动力) 、PD(药效)指标知识

PK代表药物的药代动力学,指的是药物在体内的吸收、分布、代谢和排泄等过程,包括药物的药代动力学参数如Cmax(最大血药浓度)、Tmax(最大血药浓度出现的时间)、t1/2(半衰期)、AUC(药物曲线下面积)等。PD代表药物的药效学,指的是药物与生物体相互作用所产生的药理效应,包括药物的药效学参数如EC50(半数最大有效浓度)、ED50(半数最大效应剂量)、Emax(最大效应)等。PD(Pharmacodynamics)则研究药物的药效学特性,如药物的作用机制、效力、最大疗效、最小毒性等。

weixin_42357472的博客 2万+

汽车电子RTOS--AUTOSAR OS

AUTOSAR OS(AUTomotive Open System ARchitecture Operating System)是AUTOSAR(汽车开放系统架构)标准中的一个重要组件,它是一个专门为汽车电子控制单元(ECU)设计的实时操作系统(RTOS)。AUTOSAR OS旨在提供一个标准化的软件平台,以促进不同供应商和汽车制造商之间的组件复用和协同开发,提高软件质量和降低成本。

MHD0815的博客 1798

signature=fedb52cdaa1a8c0f80b11375a0fa940b,MacSphere: Identification of Environmental Alphaproteobac...

Abstract:Microbial metagenomics is the exploration of taxonomical diversity of microbial communities in environmental habitats using large, exhaustive DNA sequence datasets. However, due to inherent l...

weixin_42357916的博客 261

在 RAP 里把编号这件事做得既优雅又合规:Early Numbering 与 Late Numbering 的落地指南

本文探讨了 SAP RAP 框架中的三种主键编号策略及其适用场景。文章首先指出传统 ABAP 应用中主键处理的局限性,详细分析了早期编号(外部/内部)和延迟编号的差异,强调延迟编号在避免业务断号方面的优势。通过 Partner 业务对象案例,文章演示了延迟编号的实现方法,包括行为定义配置、保存类实现和编号分配逻辑。同时指出测试中常见的校验陷阱,并提醒生产环境应避免简单的 MAX+1 方案,建议采用原子取号机制确保并发安全。全文从业务合规性和技术实现两个维度,为 RAP 应用的编号策略选择提供了实用指导。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1846

AI安全与超级智能融资热潮

AI初创公司融资活跃,尤其是专注于安全性和超级智能的公司,如Ilya Sutskever的SSI成功融资10亿美元,反映了市场对AI安全性的高度关注。大型语言模型(LLM)和AI工具的性能和成本持续优化,OpenAI计划推出每月2000美元的高级LLM订阅服务,DeepMind的AlphaProteo在蛋白质设计领域取得突破,展示了AI在复杂科学问题中的应用潜力。AI硬件和基础设施领域的竞争日益激烈,Elon Musk的xAI推出全球最强大的AI训练集群,Alibaba发布新的视频分析AI模型,而Intel

2501_90976089的博客 380

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

DeepMind 的 AlphaProteo:利用机器学习彻底改变蛋白质设计

细胞中的蛋白质与数十种不同的伙伴相互作用,这些相互作用会改变它们的功能,当失调时,会导致病理(从癌症到自身免疫性疾病)。(PDB)中的大量蛋白质数据和 AlphaFold 中的 1 亿多条预测结构的训练,已经了解了分子相互结合的无数种方式。给定目标分子的结构和该分子上的一组首选结合位置,AlphaProteo 会生成一个候选蛋白质,该蛋白质在这些位置与目标结合。例如,关节蛋白是在实验室中创建的另一种蛋白质,将其注射到患者体内,以非常精确地阻断导致疾病的蛋白质(例如,用抗体。

ms44的专栏 1531

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

视频隐私脱敏工程化:CSRT/KCF追踪算法在本地推理中的实现与边界

在短视频内容合规审查中,动态遮挡(Dynamic Masking)是高频且高耗时的环节。传统手动关键帧打码不仅效率低下,且在目标快速移动或遮挡时极易出现遮罩漂移。本文从计算机视觉工程角度,解析基于CSRT与KCF算法的目标追踪方案在视频隐私处理中的技术路径、性能权衡及落地实践。

Mysssone的博客 226

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

6 款电商 AI 图片生成软件实测|国内 + 跨境卖家工具清单

电商 AI 作图工具已经从 "能不能用" 进入了 "好不好用" 的阶段。对于绝大多数卖家而言,现在的 AI 工具已经可以覆盖 60%-80% 的基础商品图需求,显著降低拍摄和设计成本。选择工具的核心逻辑不是 "哪款最强",而是 "哪款最适配你的品类、平台规模和团队能力"。垂直电商工具胜在工作流效率,通用生图工具强在创意上限,模板类工具赢在上手速度。建议根据自身业务阶段,搭配 1-2 款主力工具 + 1 款辅助工具,形成适合自己的视觉生产流程。

Mardi_Ladin的博客 400

我用 GPUWorks 在 M1 Pro 上搭了个发票识别原型

公司里经常要看电子发票。我想先做个小原型:把 PDF 发给一个自己部署的图文模型,让它提取发票类型、日期、交易双方和金额,再把结果交给同事核对。这个原型不用先接财务系统,先看看从部署到调用要走多少步,模型返回的内容能不能帮上忙。

鸽芷咕的博客 2万+

您您这可以把问小白的多个会话比如说。左侧的多个会话一次性导出吗?不是单条会话里面的多次会对话。AI导出鸭

第三层是格式编译层。这个决策背后的判断很清晰:一个批量导出工具的价值,不在于“试三次”,而在于你真正用它处理了几十份技术文档、访谈记录或课程讲义之后,它是否值得留在你的工作流里。问小白的会话列表通过分页接口加载,AI导出鸭 在页面运行时建立旁路监听,捕获每一次分页请求返回的完整对话清单,包括会话 ID、标题、时间戳和隐藏的元数据字段。让AI导出回归优雅——这句话说的是:导出不该是体力活,而应该是一次完整的、可预期的文件交付。注意:这里的“批量”指的是左侧列表里的多个独立会话,不是一条会话内的多轮对话。

laoyunsi的博客 246

【从零理解 Spring AI · 12】MCP 的两种角色:做客户端还是做服务端

上一篇讲了 MCP 的概念:标准协议、三大角色、M+N 替代 M×N。

nice_lcj520的博客 502

河道漂浮物目标检测数据集

目标检测,yolo,河道漂浮物目标检测数据集

DL_data_set的博客 202

AI Agent之核心框架

A: 显式 Thought 有三类价值:可解释性(便于人类审计)、可调试性(定位哪一步选错工具)、学习信号(可做监督微调或评估中间步骤质量)。ReAct 把推理与 可执行行动 绑定,每一步行动后都有 真实 Observation 反馈,从而用工具结果约束生成,降低闭卷幻觉。做完不等于结束——还要 评估做得好不好,把 教训 记下来,下次 带着教训重试,反思作为 记忆,影响后续尝试的策略。工作流程:Action → Evaluation → Reflection → Retry。A: 普通 CoT 只在。

剑雨巍巍的博客 199

AI 应用开发工程师技术实践:大模型接入、通用组件封装与性能优化

本文提出AI应用从PoC到生产的核心挑战:模型调用的持续可用、可控与可优化。通过构建统一LLM网关实现多供应商路由与故障转移,封装对话、工具调用与RAG组件以解耦业务逻辑,结合前缀缓存、批处理与流式背压治理等性能优化手段,形成“接通→接稳→接快”的工程路径,最终以工程化能力决定AI应用的生产可用性。

2301_79189962的博客 558

AI前沿日报 · 2026-11-04 | 祛魅时刻:Astra“纯读权重“神话的崩塌

①Astra"裸权重通吃"被spaCy创始人Honnibal精准祛魅——仅1/3实验真裸读,数学能力提升依赖Python+50次迭代;②Simon Willison用Qwen 3.8-27B端侧复现权重空间编程;③Nvidia开源Auto-Ontology自动知识图谱;④$800开源全域抓取机器人Stringman;⑤OpenAI悄然重开Codex训练开关引信任危机;⑥DeepMind发布Gemini 4 Argon机器人基础模型;⑦美国科技巨头隐性AI债务达3.2万亿美元,6个月增90%。

johnsong2009的博客 574

大模型 Embedding 与向量相似度详解

Embedding 解决的问题:计算机不懂文字,但懂数字│▼文本 → 向量(1024维浮点数数组)│▼相似度解决的问题:怎么判断两个向量(文本)有多接近│▼余弦相似度:看向量方向的夹角,越接近0°越相似│▼最终效果:语义搜索——理解意思,而非字面匹配一句话总结:Embedding 把文字变成数字,余弦相似度比较数字的方向,两者结合实现了"理解语义"的搜索。

T3165919332的博客 90

GPT-1 架构和计算细节

下面配合框图,对 GPT-1 的每个组件做公式展开 + 数值实例(配置:12 层 × 768,12 头,FFN 3072,词表 40478,共 117M 参数)。GPT-1 把翻译模型的编码器-解码器砍掉一半,只留解码器,然后以"预测下一个词"为目标在 BooksCorpus 上预训练。与 2017 原版的四个架构差异(框图中标 ★):h0=E[token]+Epos[position],E∈R40478×768, Epos∈R512×768h^0 = E[\text{token}] + E_{pos}[\

eloudy的专栏 278
上一篇: 学术分享|无惧数据匮乏!上海交大博士后周子宜详解蛋白质语言模型的小样本学习方法 FSFP
下一篇: 一键部署Phi 3.5 mini+vision!多模态阅读基准数据集MRR-Benchmark上线,含550个问答对
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值