【论文解读】基于图的自监督学习联合嵌入预测架构

原创 已于 2023-08-25 18:38:21 修改 · 1.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#学习 #架构

于 2023-08-25 16:26:46 首次发布
本文介绍了一种名为I-JEPA的自监督学习方法，通过在表示空间中预测目标块，无需依赖手工数据增强，有效提升了图像表示的语义水平。实验表明I-JEPA在各类视觉任务中表现出色，且具有高度可扩展性。

一、简要介绍

本文演示了一种学习高度语义的图像表示的方法，而不依赖于手工制作的数据增强。论文介绍了基于图像的联合嵌入预测架构（I-JEPA），这是一种用于从图像中进行自监督学习的非生成性方法。I-JEPA背后的idea很简单：从单个上下文块中，预测同一图像中不同目标块的表示。指导I-JEPA产生语义表示的核心设计选择是掩膜策略；具体来说，(a)预测图像中的几个目标块，(b)采样足够大规模的样本目标块（占图像的15%-20%），(c)使用足够丰富的（空间分布）上下文块，是至关重要的。根据经验，当与视觉transformer结合时，论文发现I-JEPA具有高度的可缩放性。例如，论文在ImageNet上使用32个A</

最低0.47元/天 解锁文章
博客
启信宝《2025全国采购地图》：藏在县城的“隐形冠军”，撑起你的购物车
11-20 486
今年"双十一"凸显县域产业带正从幕后走向台前。启信宝《2025全国采购地图》显示，湖南平江辣条、河南柘城培育钻石、山东曹县汉服等县域产业集群正成为中国制造新引擎。其中，平江已形成完整辣条产业链，柘城培育钻石产能占全球70%，曹县汉服通过知识产权创新应对山寨挑战。这些县域产业带正从单纯成本优势向供应链、技术、品牌等综合优势转型，威海渔具、许昌假发等更多"隐形冠军"正在浮现，共同支撑起中国经济的产业深度和发展韧性。
博客
论文解读-对话中的多模态情感识别综述
11-19 1298
本调查对MERC领域进行了结构化的回顾，比较了代表性方法，并突出了关键的开放研究问题。作者希望它能作为实用参考，支持未来开发稳健且包容的情感识别系统。
博客
论文解读 - 大型多模态模型中现实世界个性化基准测试
11-12 1566
本文中，论文提出了MDI基准测试，这是一种评估大型多模态模型（LMMs）在多维度场景中解决实际人类需求能力的工具。该基准测试包含超过500张图像和1200个相关需求，涵盖了人类生活的六大方面。此外，论文引入了年龄分层和基于老年人、中年人及年轻人需求的抽样问题，以确保评估的全面性。
博客
让大模型一键“读懂”全球文档，合合信息携手火山引擎打造AI智能体新范式
11-11 342
摘要：中国信通院数据显示国内已发布大模型超1500个，推动技术落地成为行业关键。合合信息与火山引擎合作推出升级版"大模型加速器"，通过高效文档解析技术解决企业非结构化数据处理难题，支持99.99%的复杂文档解析。平台提供分层服务方案：HiAgent面向企业定制化需求，Coze降低开发者门槛。支持多种部署方式，推动AI在医疗、金融等领域的应用落地，加速大模型从实验室走向实际生产。
博客
启信宝获得法博会“行业洞见奖”，相关服务即将登陆“深律通”
11-05 200
2025深圳法律服务博览会成功举办，聚焦"法律创新护航科技与产业创新"主题。合合信息旗下启信宝凭借法律科技创新应用，获深圳市律师协会颁发的"行业洞见奖"。该产品将通过"深律通"APP向全市律师开放，提供企业多维数据查询及智能风险分析服务，助力法律行业数字化转型。启信宝整合商业大数据，开发股权穿透、关联图谱等功能，显著提升律师尽调、风险评估效率，并探索AI技术在法律场景的深度应用。
博客
合合信息与上海交通大学开展课题合作研究，共探智能文档图像处理前沿技术
10-27 392
计算机视觉领域迎来新突破，合合信息与上海交通大学联合举办的首届VQualA视觉质量评估研讨会及文档图像质量评估竞赛在ICCV2025期间举行。会议聚焦智能文档图像处理技术标准化评估，吸引了全球上百名选手参与。竞赛中，DeQA-Doc团队的多模态大模型方案表现优异，成功将图像质量评估技术延伸至文档图像领域。面对数字化时代文档图像质量评估的挑战，此次活动旨在推动AI技术与产业应用的深度融合。
博客
多模态文本智能大模型前沿技术与应用论坛在上海召开，合合信息推出多模态文本智能技术方案
10-21 564
第八届中国模式识别与计算机视觉学术会议（PRCV2025）聚焦多模态文本智能大模型发展，探讨前沿技术与应用。专家提出"多模态思维链"技术提升跨模态推理能力，OCR幻觉缓解方案优化文本感知。合合信息推出"多模态文本智能技术"方案，通过空间位置理解实现多模态信息立体化处理，已在金融、医药等领域应用。该技术突破传统文档处理局限，构建"感知-认知-决策"新范式，推动AI从工具向业务伙伴进化。小红书、甲骨文研究等案例展示了技术在实际场景中的创新应用价值。
博客
启信宝电影行业洞察：广东蝉联“双冠王”，票房与企业数量全国第一
10-20 441
2024年中国电影市场呈现两极分化：观影人次下滑23.1%，但电影企业数量五年翻三番。行业正从规模扩张转向结构升级，资源加速向头部企业和核心区域聚集。动画电影头部效应显著，彩条屋等三家头部公司占据80%市场份额。广东成为最大票仓和产业聚集地，影院数量占全国17%。AI技术快速渗透电影产业，相关企业六年增长4.3倍，应用覆盖制作全流程。行业正经历深度调整，向工业化、智能化方向发展。
博客
合合信息获首批“个人信息保护合规审计自审计能力评价”最高等级认证
09-25 288
在国家施行《个人信息保护合规审计管理办法》背景下，合合信息凭借完善的数据安全管理体系，荣获首批"个人信息保护合规审计自审计能力（规范级）"评价证书，这是评审活动中的最高等级认证。
博客
合合信息获2025年中国网络安全创新创业大赛奖项，打造多模态AI鉴伪方案
09-17 287
合合信息自研产品“基于多模态一致性检验的图像智能鉴伪系统FidOK”从上百家参赛企业中脱颖而出，荣获大赛奖项，为AI时代下的图像安全保驾护航。
博客
扫描全能王“翻页自动拍”功能上线，AI扫描提升教师教学材料电子化效率
09-10 419
扫描全能王推出"翻页自动拍"功能，助力教师节教学资料电子化。该功能通过AI技术自动捕捉翻页动作，准确率达97%，较传统扫描方式节省20%时间，可智能去除手指、阴影等干扰因素，实现连续拍摄并生成高清电子文档。该功能适用于教育、法律、医学等多领域，配合教师认证权益计划，帮助教师从繁琐的文档处理中解放，专注教学工作。
博客
合合信息参编《数据产业图谱（2025）》，助力绘制中国数字经济发展新蓝图
09-02 388
合合信息作为核心参编单位，凭借启信产业大脑的产业链数据库（覆盖32个行业、5500万企业主体）提供重要支撑。图谱揭示数据应用领域企业占比最高（24%），并指出数据资源企业加速增长、产业集中度提升等趋势。合合信息新推出的智能产业研究分析功能，通过自动化产业图谱构建和洞察分析，为政企机构提供更强大的决策支持，助力数字经济发展。
博客
RAGFlow+TextIn：RAG实战教程！1分钟实现解析性能提升
08-25 1280
针对原生解析器在复杂文档处理中的不足（如表格识别错误、阅读顺序错乱等问题），提出采用商业化解析工具TextInxParse的解决方案。文章详细对比了开源与商业化解析工具的优劣，并提供了两种集成方案：通过API直接上传解析结果，或修改RAGFlow源码实现深度集成。重点展示了如何通过代码修改替换原生解析模块，实现表格精准识别、多栏文档顺序还原等能力提升。实际测试表明，该方法显著提高了知识库构建质量，为后续检索和生成环节奠定了更好的基础。文末还探讨了切片策略等进一步优化RAG系统性能的可能性。
博客
启信宝宠物行业报告：6年增10倍！超400万家企业抢滩千亿“毛孩子经济”
08-20 551
2025年亚洲宠物展揭示千亿级"毛孩子经济"新趋势。数据显示，中国宠物市场规模2024年达3880亿元，预计2025年突破4500亿，相关企业6年增长10倍至409.9万家。宠物医疗获53%融资占比，成为资本新宠。区域布局呈现特色：海南领跑新兴消费，山东稳坐"宠物粮仓"。新型服务快速崛起，宠物摄影和运输企业分别增长14倍和25倍。
博客
合合信息智能审核白皮书上线，AI破解审核业务“数据孤岛”难题
08-08 657
合合信息发布智能审核白皮书，针对金融、财务、供应链等场景推出AI智能审核解决方案。传统人工审核面临效率低、成本高、错误率高等问题，尤其在跨境金融等复杂场景中，多系统数据孤岛和复杂版式文档处理困难。合合信息的AI系统支持多版式文档解析、跨系统数据比对，在财务场景实现全流程自动化，账单识别准确率达98%以上。其标准化产品TextInDocFlow提供一站式智能文档处理，支持API等多种集成方式。
博客
告别碎片化输入：TextIn xParse如何为RAG打造「零损耗」知识管道
08-06 1155
TextInxParse智能文档解析引擎是提升RAG系统效能的关键工具。它通过深度结构化解析，精准还原PDF、Word等文档的标题层级、表格数据、跨页内容等复杂元素，输出标准化的Markdown/JSON格式。相比传统OCR，该工具能显著提升检索效率30%以上，确保答案准确性，并完整保留关键信息。其核心优势包括：行业领先的表格识别能力（支持合并单元格、跨页表格等）、多语言支持、图像处理功能，以及开发者友好的API集成。典型应用场景涵盖金融报表解析、学术内容重建、医疗数据处理等领域。通过提供结构化数据输入，T
博客
参会邀请！2025世界人工智能大会&合合信息技术交流日报名启动！
07-18 465
2025世界人工智能大会即将开幕，合合信息邀请您一起参与KOL深度技术交流活动。本次活动不仅可以带您逛展2025世界人工智能大会，在合合信息展台体验AI黑科技，还可以与行业顶尖技术专家面对面交流，共同探讨当下热门AI安全话题。即可报名，报名成功后我们会有专人联系。不仅可以收获WAIC单日门票一张，还可以get合合信息精美伴手礼哦，期待现场与你相见！详细活动安排请戳下图，点击。
博客
文档抽取进入「说人话」时代：用Prompt就能提取发票、合同、简历的关键信息
07-09 2069
根据《福布斯》技术委员会的研究，企业仍封存于非结构化文档中，全球企业每年都要因手动处理发票、合同、报告产生代价高昂的效率损耗。在此情况下，成为一项极其重要的基础能力，它将PDF扫描件、医疗影像报告、物流单据等“不可用数据”实时转化为可计算、可分析的燃料，重构数据价值链：例如，：改变人工核验方式，自动从身份证、收入证明、银行流水、税单中提取关键信息（姓名、ID、收入、支出、账户信息），加速审批流程。
博客
扫描全能王联合上海电影博物馆发起特色探馆活动，AI助力存档百年光影
07-02 392
本次探馆活动设置了多个打卡点，参与者可以用扫描全能王扫描《上海电影制片厂生产手册》、电影海报、宣传单等众多见证中国电影历史发展的珍贵文档，不仅可以了解电影背后的时代精神和民族文化，助力电影文化传承，还可以用AI扫描技术构建起关于电影的私人记忆库，在日常生活中随时搜索扫描文档中的关键内容，真正把电影知识“带回家”。与最新的科技手段结合，激发创意火花，探索电影博物的无限可能，是上海电影博物馆开馆12年来一直坚持的事情，本次借助扫描技术的创意观展路线，让电影的精神走进观众的日常生活，传播真善美的力量。
博客
搭建Coze扣子文档智能问答Bot工作流，保姆级教程来了！
07-02 1684
在信息爆炸的今天，我们常常被淹没在各种文档之中——产品手册、技术白皮书、合同条款、内部报告……快速精准地从文档中提取所需信息，是提升日常工作效率的关键。这时，可靠的就能成为我们的得力助手。文档智能问答机器人能够将静态文档转化为动态知识库，比起原先埋头文档中靠自己阅读记忆，现在我们只需向Bot提问，它就能快速定位并输出文档中相关的精确答案或关键段落。： 面对冗长的合同，直接询问“付款周期是多久？”或“违约责任条款有哪些？”，Bot能迅速给出答案，省去逐页查找的麻烦。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值