yifangyun_360的博客

先说数据集RAGtrans，首先，从维基百科中收集了79K个英文句子作为源句子，并为每个源句子提供了相关文档（包括中文、德文、法文和捷克文），这些文档来自维基百科的不同页面，包含知识密集型的语义。我们今天围绕文档多模态看了两个问题，一个是多模态模型LVLMs用于文档理解的几个问题，看看目前的几个研究点，一个是RAG用于翻译任务的思路。我们今天来看看文档多模态的几个调研结论，说两个问题，一个是多模态模型LVLMs用于文档理解的几个问题，看看目前的几个研究点，一个是RAG用于翻译任务的思路。

同时，针对企业移动业务安全，提供零信任安全办公平台、移动应用安全空间管控平台、API服务安全防护等服务，通过从端到资源的全链路安全防护，集成多层次的防护机制和策略，保障企业在移动办公环境中的数据安全。上线三六零天御云商店，整合汇聚丰富的产品、品牌及销售资源，为开发者及企业打造集资源共享、灵活拓展、创新协作的一体化移动智能业务云平台，赋能合作伙伴一起为开发者提供优质便捷、安全可靠的云服务产品和解决方案，充分践行“数转智改”理念，向数智化变革纵深推进。的赋能下协同创新，推动了行业大模型应用落地，积极践行。

仿照人脑的多功能分区和协同机理，360打磨了6个相互协作分区的专家模型，分别是：安全分析大模型、威胁狩猎大模型、响应处理大模型、代码漏洞大模型、安全知识大模型和内容安全大模型。360在人工智能、大数据、云计算等方面的技术，配合360多年打磨出的优质安全数据，持续为国家、政府、企业以及个人用户提供坚实可靠的安全服务。360数智化集团首席产品官（CPO）何帆受邀出席，在以“AI赋能安全”为主题的圆桌讨论上分享了360在安全领域的实践经验和在AI赋能安全方面的新解法，并引导各位嘉宾开展讨论。

依托现代产业学院提供的创新平台与创新资源，校企三方将围绕智慧校园、数字安全、人工智能、应急响应等多方面开展合作，致力于促进科教融汇、产教融合与高质量卓越人才培育，为关键技术攻关、新型数字城市建设、数字徐州产业升级提供充分助力。在致辞中谈到，近年来，360基于近20年在安全和AI领域的经验沉淀，和全国多所院校开展了实战型人才培养方面的合作，深度参与教学活动，引入企业项目进行校内实训，承担数字安全领域师资培训，承办国家级技能大赛，并参与编写国家相关专业领域的实训教学标准，不断探索人才培养的新模式。

关于OCR任务这块，可以看看《CC-OCR: A Comprehensive and Challenging OCR Benchmark for Evaluating Large Multimodal Models in Literacy》，https://arxiv.org/pdf/2412.02210，有效评估大型多模态模型（LMMs）在复杂视觉和文本理解任务中的表现，特别是在自然语言指令下的文档图像识别任务。在训练上，首先对视觉编码器进行纯文本识别任务的预训练，使用一个较小的解码器来传递梯度。

ISO/IEC人工智能管理体系认证是全球首部可认证的人工智能国际管理体系标准，本次认证的通过，不仅彰显了360在数字安全领域对人工智能技术应用的领先实践，也意味着安全大模型加持下的360全线安全产品的质量、安全性及合规性均达到国际标准要求，得到权威有效保证。360安全大模型以自研大语言模型为基础，独创“类脑分区协同（CoE）”架构，发掘了攻击检测、运营处置、追踪溯源、安全知识管理、邮件深度检测等多个场景，并在政府、金融、央企、运营商、教育、医疗等关键基础设施行业落地使用。

近日，中国信息通信研究院“数字安全护航计划”正式发布第二期《数字安全护航技术能力全景图》（以下简称全景图），360成功入选16项一级目录、80项二级目录，全方位展现了在安全领域的战略布局和场景化安全能力！《数字安全护航技术能力全景图》每年更新两期，旨在集结行业力量，绘制一幅详尽、实用的数字安全技术能力全景图，为助推中国数字经济高质量发展，助力数字中国建设提供有力支持。未来，360将继续推进数字安全与人工智能融合发展，为数字中国建设、数字经济发展保驾护航。等核心领域展现出强大的技术实力，还实现了。

近日，在2025中国信通院ICT深度观察报告会—数字生态治理分论坛上，360数字安全集团凭借ISC学院创新平台，成功入选“磐安”教育领域应用优秀案例，彰显了360数字安全集团在网络安全和AI人才培养方面的创新引领实力。然而，相关安全人才供需失衡问题日益突出，现有高校网络安全人才培育机制存在诸多不完善，导致高端型、复合型、实战型网络安全人才匮乏。在城市社会化服务合作方面，360打造城市安全运营体系，将所培育的战略型人才、尖端型人才、实战型人才投入到城市安全服务的真实场景中，推动城市安全建设和数智化发展。

其中，在技术方案上，主要的数据来源是《实用数控机床故障诊断及维修技术500例》这个PDF文档，对文档里的每一条故障描述进行拆解和分类（CNN），构建出了5中三元式推理规则，分别为：故障现象和故障现象之间存在并发症，故障前执行的操作间接导致的故障现象，某故障原因导致的故障现象，报警信息伴随的故障现象，故障部位常见的故障现象。我们今天来看两个方案，一个是基于朴素知识图谱方案进行故障分析，一个是基于Graph RAG进行故障分析的简单方案，后者显得更粗暴。是指示LLM推理并生成答案的提示。

未来，360数字安全集团将深入参与香港网络安全专业协会的各项活动和议题，积极发挥在数字安全和人工智能领域的前沿技术与丰富经验，助力协会开展相关工作，加强与政府部门、公营机构、中资企业等的服务合作，携手推动网络安全技术和服务的创新发展，构建牢固的网络空间安全防线，为香港数字经济的繁荣发展提供坚实保障。期间，香港网络安全专业协会正式成立，，360提出用AI重塑安全，推出360安全大模型并赋能全线安全产品矩阵，解决传统安全和大模型安全问题，驱动企业数字安全体系提质增效。香港网络安全专业协会理事成员单位。

此次体系建造过程中，360将安全大模型的能力以“数字专家”的崭新身份接入安全运营环境，与本地安全人员、云端安全专家展开深度交互，并设立内部事件发现组、安全分析组、安全处置组等，及时解决用户面临的各类安全问题，提升整体安全运营效果和效率。在上述思路下，360数字安全集团以该证券公司安全合规要求为基础，以业务安全需求为主导，基于“安全即服务”理念，将360的国家级安全能力赋能给客户，并在360安全大模型的加持下，帮助其构建起金融安全智能化防御新体系，保障业务持续稳定运行。2024年以来，包含。

360作为安全行业的领军企业，在上述方面已经具备自己的独特优势，并提出用AI重塑安全，率先推出360安全大模型，以自研大语言模型为基础，独创“类脑分区协同（CoE）”架构，从攻击检测、运营处置、追踪溯源、安全知识管理、邮件深度监测等场景切入，推动数字安全运营从辅助驾驶走向自动驾驶。打造安全大模型，需要“从实践中来，到实践中去”，首先，要有做大模型的丰富经验，深入掌握模型的基层技术；论坛上，“磐安”优秀案例征集结果正式发布，360安全大模型凭借领先的技术优势和创新实力，入选“AI+数字安全应用优秀案例”。

通过这两阶段的微调策略，我们有效提升了基座模型在运维领域的知识掌握与问题解答能力，不仅增强了其记忆深度，还显著优化了模型对关键信息的关注水平，为运维场景下的实际应用提供了强有力的技术支撑。这不仅限制了领域模型的微调与优化，还导致模型在生成和执行运维相关任务时缺乏足够的上下文支持和数据指导，进一步放大了对提示词设计和指令精准性的依赖。：针对问答内容的语义相关性进行校验，过滤掉问题与答案之间逻辑关联性较低或不相关的数据，保证数据的语义合理性与一致性，从而提高模型对实际问题的回答精准度。

大模型的商业化落地是行业发展的关键，需要行业同仁共同努力，紧盯核心客户群体，聚焦真实业务痛点，并找准业务环节的小切口。”他认为，大模型的落地需要与行业深度结合，这不仅是技术层面的融合，更是对行业痛点的深刻理解和解决方案的精准提供。他还进一步分享了360集团与企业合作，将大模型技术融入核心业务的六项关键建议：从“人人AI”，鼓励企业内部广泛采用AI技术，到“面对复杂场景，实现多智能体配合，调用多模型能力”，提倡在复杂场景下利用多模型协作，有效实现业务流程全链条自动化处置，实现AI + 企业IT的融合。

尤其是包括其他国家的网军、黑产、灰产的组织者甚至犯罪分子等也可以利用大模型，提升找漏洞、写攻击代码的能力，因此未来网络安全可能会从人与人的对抗，变成机器与人的对抗，再发展为机器与机器的对抗。大模型内容安全护栏“360智盾”；据了解，作为兼具数字安全和AI双重能力的科技企业，360很早开始关注大模型安全风险，并推出一系列有针对性的创新技术，包括开发了国内首个安全大模型，通过“以模制模”理念，利用AI大模型来检测和防范大模型可能出现的安全风险，既解决传统网络安全问题，又为攻克AI安全新挑战提供了可行性方案。

基于大模型与多模态风险内容识别能力，360智盾打造了全流程、多种类、多模态、场景化的内容安全体系，能够全面把控大模型内容安全，支持100多类风险内容的识别过滤，支持文本、音频、图片、视频等多种模态的风险防护，并通过平台定制化场景风控策略，满足不同场景的风控需求。大模型安全联盟汇聚了多元力量，旨在打造资源共享、共创共赢的大模型安全生态集群，共同推动大模型安全标准的制定、安全技术的创新和安全能力的提升，打造大模型安全发展的新范式。联盟旨在通过共享资源、联合研发等形式，打造更加安全、可信的人工智能生态。

2024年9月13日，OpenAI发布o1模型，并在ChatGPT和API接口渠道上推出该系列的预览版本OpenAI o1-preview，OpenAI o1包括三个型号，除o1-preview之外还将有o1和o1-mini。2022年11月30日，OpenAI正式发布了ChatGPT，与InstructGPT是姐妹模型，能够对话的GPT版本，是在GPT-3基础上的3.5版本，所以，大家开始用ChatGPT进行对话、写代码等等。2023年，3月15日，OpenAI正式推出GPT-4，支持多模态；

在安全大模型加持下，360终端安全管理系统、360抗攻击能力评估系统、360数据安全分类分级系统、360高级持续性威胁预警系统、360企业安全浏览器、360智驾卫士、360连接云等多款产品入选各领域代表厂商，充分展现了破解传统安全和人工智能安全问题的创新解法。近日，ISC.AI 2024数字安全创新能力百强颁奖典礼在京圆满落幕，360凭借领先的技术实力和创新优势入围12大技术创新领域，并获评数字安全和人工智能双领域年度创新力十强大奖！本次在多个领域的入选，是对360在数字安全和人工智能领域探索实践的肯定。

5、关于大模型自我纠错相关论文的精选集合，LLM-Self-Correction-Papers，涵盖内在自我纠错、外部工具辅助纠错、信息检索辅助纠错等， https://github.com/ryokamoi/llm-self-correction-papers，目前OpenaiO1这些，以及很多RAG的工作，都会使用Reflection的机制，所以这块的一些技术综合总结；但这一块其实很不可控，此外，对于复杂的多跳问题，Auto-RAG会启动更多的迭代次数，以便逐步收集和整合跨多个步骤的知识。

当然，目前OpenaiO1这些，以及很多RAG的工作，都会使用Reflection的机制，所以这块的一些技术综合总结，可以看LLM-Self-Correction-Papers，大模型自我纠错相关论文，涵盖内在自我纠错、外部工具辅助纠错、信息检索辅助纠错等， https://github.com/ryokamoi/llm-self-correction-papers，这个主要来自于综述《When Can LLMs Actually Correct Their Own Mistakes?

周鸿祎认为，一方面，GPT等通用大模型也遇到了挑战——越来越多的知识在互联网上是找不到的，例如铝业的生产或如何制造航空发动机，这些知识藏在很多企业或专家的脑子里；周鸿祎的演讲题目为“大模型时代的产业创新与变革机会”，他指出，依靠卷算力、卷数据、卷参数，模型向着万亿参数发展，相当于造“原子弹”的AGI之路与多数企业无关。2024（第二十二届）中国企业领袖年会上，周鸿祎提出了AI时代的三大建议，包括人人AI、企业办公和营销场景AI化，以及选择业务场景打造专业大模型和Agent数字员工。

BDM从模型结构上是一种类似ControlNet的分支网络思路，以不同的网络分支学习不同语言的数据，因此从原理上BDM不仅可以实现原生中文图像生成，也可以实现任意X语言的图像生成，并保证生成的图像符合对应语言文化的认知。IAA试图解决的第二个关键问题，是希望把多模态理解能力像文生图领域中的 ControlNet 一样，作为插件添加到基座的语言模型之上，与现在要求一个模型完成所有工作的方式不同，通过一个基座模型+针对不同任务的插件模型，形成全新的语言模型生态体系。

据了解，联盟聚合了包括华为、阿里巴巴、联想、腾讯、摩尔线程、MiniMax、清华大学等监管机构、科研院所、大模型伙伴、算力与基础设施伙伴及安全伙伴等多元力量，旨在打造资源共享、共创共赢的大模型安全生态集群，共同推动大模型安全标准的制定、安全技术的创新和安全能力的提升，打造大模型安全发展的新范式。其中，为了助力企业AI能力落地，推出了360智能文档云3.0，一款专为企业打造的智能知识管理与应用平台，涵盖从数据采集、存储、处理到应用的知识管理全流程，通过深度融合企业内外部数据，大幅提升决策效率与业务能力。

对于截断的文本块，用无序映射中的相应完整块替换，以提高块内的语义完整性->在有序映射中，如果两个连续的块从左上到右下排列，构建一个有序区域。在实现上，首先使用元数据（metaannotation）重新渲染海报或图表，包括文本块及其对应的边界框->修改一个文本块的颜色或透明度属性，并执行重新渲染->由于前两步的渲染结果除了修改的属性外是相同的，通过像素级相减可以得到目标文本块的图像->重复上述步骤，可以为所有文本块获得精确的边界框，并将其标准化以创建最终的注释。那么，如何解决这个问题？

然而，在生成阶段，使用较大的文本块则能提供更多的上下文信息，帮助生成更加连贯和详尽的回答。具体来说，RAG模型在生成回答时，不仅依赖于预训练的语言模型，还会从一个大型的文本库中检索相关的信息，以增强生成的准确性和丰富性。本篇文章将深入探讨RAG技术的核心特性及其在实际业务场景中的应用表现，分析高效RAG系统应具备的关键能力，并以360智脑的RAG方案为例，分享其技术优化过程与实践经验。RAG技术可以显示答案的引用文档信息，提高了回答的透明度和可解释性，让用户可以追溯答案信息的来源，增强了模型的可信度。

多模态RAG进展，先看在领域场景中的应用，《Path-RAG: Knowledge-Guided Key Region Retrieval for Open-ended Pathology Visual Question Answering》(https://arxiv.org/abs/2411.17073)，可以看看，用来做医学病理分析，要解决的问题是开放式病理学视觉问答（PathVQA-Open），即利用病理学图像进行复杂的问题回答。不是太创新的工作，但是其中的流程思路，还是有工程指引的。

2024年11月底，在drift_search基础上，抛弃KG抽取并作rank优化，推出lazygraphrag(https://www.microsoft.com/en-us/research/blog/lazygraphrag-setting-a-new-standard-for-quality-and-cost/)。社区上，延迟LLM的使用，直到查询时才进行相关处理，这样减少索引构建时间，查询时间上，通过迭代加深的方式结合最佳优先搜索和广度优先搜索，然后进行排序，减少上下文长度，加速推理；

对了，对于大模型评估这块，社区成员有个工作《A Survey on LLM-as-a-Judge》(https://arxiv.org/abs/2411.15594)，讨论了LLM-as-a-Judge的相关研究，并且围绕how to build a reliable evaluator进行了相关的探讨分析，一句话结论的话，就是现在用大模型做评估器任重而道远，无论是如何提升可靠性，还是如何评估评估器方面，都需要继续完善，现有的评估器还是存在明显的不可靠和偏见，想用大模型做内容评估的，可以参考。

推理代理负责生成详细的推理过程。这也对齐了其中的四个stage:Summarystage(摘要：一个简要概述，其中模型总结即将进行的任务)、Caption stage（标题：对图像（如果存在）的相关部分的描述，重点关注与问题有关的元素）、Reasoning stage（推理：一个详细分析，其中模型系统地考虑问题）以及Conclusion stage(结论：答案的简洁总结，基于前面的推理提供最终响应)，然后在推理阶段，推理时阶段级束搜索方法，能够在每个阶段生成多个候选结果并选择最佳结果，从而实现推理时扩展。

回顾2023年，工业和信息化部携手中央网信办、国家发改委等十六部门印发《关于促进数据安全产业发展的指导意见》，明确提出“要实施数据安全优质企业培育工程，建立多层次、分阶段、递进式企业培育体系”，为数据安全产业的蓬勃发展提供明确的方向和具体的任务。未来，360数字安全集团将在数据安全技术创新、产品服务、市场拓展等方面精进提升，在打造自身数据安全硬实力的同时，深化与各方合作伙伴的交流与合作，共同探索数据安全的新模式、新路径，树立数据安全优质企业的标杆，为国家数据安全战略的实施与推进贡献力量！

另一个是还是回归到RAG上，最近同名的RAG框架很多，例如fastRAG(https://github.com/IntelLabs/fastRAG.git，朴素rag的一个模块化)和FastRAG(https://arxiv.org/html/2411.13773)。最近有个工作，https://github.com/GAIR-NLP/O1-Journey#about-the-team，发现，通过简单的知识蒸馏方法，以Qwen2.5-Math-72B作为基础模型，经过精心设计数据筛选和处理流程(

关于多模态RAG进展，这次来看看关于视频这块，通常，针对这些问题，扩展LVLMs的上下文长度以增强长视频理解能力的方法（如LongVA），以及将检索增强生成（RAG）技术应用于视频任务的方法（如VideoAgent），但这些方法在。兴许，agent会像app一样，到处都是，，指的是搭建具体业务场景workflow的人员，比如订外卖的流程，发邮件的流程这些，更偏向于是产品经理的另一个方向。，指的是设计prompt的人员，针对特定任务，不同模型，设计prompt的形式，以寻求最佳的模型推理效果；

所以，提出了一个迭代交互式KGQA框架，利用LLMs的交互学习能力来执行图上的推理和辩论（DoG），即DoG采用子图聚焦机制，允许LLMs在每个推理步骤后尝试回答问题，从而减轻了漫长推理路径的影响，并利用多角色辩论团队逐步简化复杂问题，减少了误报关系的影响。，这个工作的目的是以统一的方式提高大模型（LLMs）对结构化数据的推理能力，构建了专门的接口来从结构化数据中收集相关证据（即阅读），并让LLMs专注于基于收集到的信息进行推理任务（即推理）。这里面一个重要的点，是怎么找到最佳的路径。

首先，KAG来源于蚂蚁这类很垂直的金融/医疗场景（在去年ccks上，也碰到spg发布，用事理图谱进行灰黑产识别），例如，银行风险报告中的错误定性或错误逻辑、事实性错误或无依据、政务问答中知识精准性问题、知识完备性问题，以及时间、数值不敏感扽问题，所以，如分享中所看到的，KAG在蚂蚁业务中的应用，用于热点事件解读、银行分享分析、政务办事问答、医疗健康问答、黑产图谱，通过提升黑产特征挖掘、完善黑产团伙刻画、推送线索助力司法部门线下打击等手段，降低体系内赌博电诈风险这些，这些都是垂直场景的。但这块的风险点在于，

尽管打造安全大模型面临诸多挑战，但360作为安全行业的领军企业具备自己的独特优势，包括打造安全大模型所必备的全栈大模型底层技术、海量安全知识、与安全业务的深度融合，以及深厚的AI技术和安全能力，包括自研的千亿参数通用大模型、全球最大的安全知识库等。据周鸿祎介绍，基于上述方法论打造的360安全大模型具备包括攻击、检测、运营、处置、追踪、溯源、知识管理等多个专家模型，通过多个大模型协作，实现了从规则驱动到知识驱动的升级，具备发现已知和未知威胁的能力，推动数字安全运营从辅助驾驶走向自动驾驶。

至于动手环节，目前已经有一些可以实践的项目，如https://github.com/kyryl-opens-ml/vision-retrieval、Byaldi(https://github.com/AnswerDotAI/byaldi)、colpali(https://github.com/illuin-tech/colpali)(将文档切分为页面图像，不再细分，然后根据页面图像级别进行检索，类似于docvqa)，而纸上得来终觉浅，绝知此事要躬行，我们来讲讲几个多模态RAG的四个简单动手实践脚本。

而其中，最为核心的，我觉得，其实是文档的召回，需要对文档进行准确的嵌入以及高效检索，因此，这就需要专门针对文档做优化，所以，就不得不要看一个工作 **《ColPali: Efficient Document Retrieval with Vision Language Models》(https://arxiv.org/pdf/2407.01449,https://huggingface.co/vidore.)**，其是 PaliGemma-3B的扩展，可生成ColBERT风格的文本和图像多向量表示。

在安全运营领域，360将安全大模型赋能本地安全大脑，将优质平台与顶尖大模型深度融合，驱动广大政企单位智能化升级，收获了权威机构和广大客户的双重肯定。某制造企业体量较小，安全预算有限，缺少专业运营人员，面对因安全设备和告警数量增加引发的对告警识别、分析、处理需求的爆发式增长，研判误报时有发生，运营工作压力持续扩大。在安全大模型加持下，该单位实现对告警信息的智能化解读，第一时间锁定威胁行为源头，即时输出精准、详实的研判结论，降低对人员水平和工作的要求，运营人效平均提升70%；2024攻防演练期间，

进行分类。思想很粗暴，例如，

11月28日，2024年世界浙商大会“山西之夜”在浙江杭州举行，360集团创始人周鸿祎受邀出席此次活动，以山西省临汾市推介者的身份向与会者介绍了临汾在数字经济领域的发展成就、良好的投资环境和城市魅力，以及360与临汾的合作现状。而在“宜家久安”方面，临汾作为一座古老与现代并存的城市，既有尧帝建都最初中国的印记与春秋霸业晋国的辉煌，又有现代的浪漫与时尚。对于临汾未来的发展前景，周鸿祎认为，临汾正在推动全领域、全行业、全产业链数字赋能，遍地都是业务场景，处处都是发展机遇。