yifangyun_360的博客

先说数据集RAGtrans，首先，从维基百科中收集了79K个英文句子作为源句子，并为每个源句子提供了相关文档（包括中文、德文、法文和捷克文），这些文档来自维基百科的不同页面，包含知识密集型的语义。我们今天围绕文档多模态看了两个问题，一个是多模态模型LVLMs用于文档理解的几个问题，看看目前的几个研究点，一个是RAG用于翻译任务的思路。我们今天来看看文档多模态的几个调研结论，说两个问题，一个是多模态模型LVLMs用于文档理解的几个问题，看看目前的几个研究点，一个是RAG用于翻译任务的思路。

同时，针对企业移动业务安全，提供零信任安全办公平台、移动应用安全空间管控平台、API服务安全防护等服务，通过从端到资源的全链路安全防护，集成多层次的防护机制和策略，保障企业在移动办公环境中的数据安全。上线三六零天御云商店，整合汇聚丰富的产品、品牌及销售资源，为开发者及企业打造集资源共享、灵活拓展、创新协作的一体化移动智能业务云平台，赋能合作伙伴一起为开发者提供优质便捷、安全可靠的云服务产品和解决方案，充分践行“数转智改”理念，向数智化变革纵深推进。的赋能下协同创新，推动了行业大模型应用落地，积极践行。

仿照人脑的多功能分区和协同机理，360打磨了6个相互协作分区的专家模型，分别是：安全分析大模型、威胁狩猎大模型、响应处理大模型、代码漏洞大模型、安全知识大模型和内容安全大模型。360在人工智能、大数据、云计算等方面的技术，配合360多年打磨出的优质安全数据，持续为国家、政府、企业以及个人用户提供坚实可靠的安全服务。360数智化集团首席产品官（CPO）何帆受邀出席，在以“AI赋能安全”为主题的圆桌讨论上分享了360在安全领域的实践经验和在AI赋能安全方面的新解法，并引导各位嘉宾开展讨论。

依托现代产业学院提供的创新平台与创新资源，校企三方将围绕智慧校园、数字安全、人工智能、应急响应等多方面开展合作，致力于促进科教融汇、产教融合与高质量卓越人才培育，为关键技术攻关、新型数字城市建设、数字徐州产业升级提供充分助力。在致辞中谈到，近年来，360基于近20年在安全和AI领域的经验沉淀，和全国多所院校开展了实战型人才培养方面的合作，深度参与教学活动，引入企业项目进行校内实训，承担数字安全领域师资培训，承办国家级技能大赛，并参与编写国家相关专业领域的实训教学标准，不断探索人才培养的新模式。

关于OCR任务这块，可以看看《CC-OCR: A Comprehensive and Challenging OCR Benchmark for Evaluating Large Multimodal Models in Literacy》，https://arxiv.org/pdf/2412.02210，有效评估大型多模态模型（LMMs）在复杂视觉和文本理解任务中的表现，特别是在自然语言指令下的文档图像识别任务。在训练上，首先对视觉编码器进行纯文本识别任务的预训练，使用一个较小的解码器来传递梯度。

ISO/IEC人工智能管理体系认证是全球首部可认证的人工智能国际管理体系标准，本次认证的通过，不仅彰显了360在数字安全领域对人工智能技术应用的领先实践，也意味着安全大模型加持下的360全线安全产品的质量、安全性及合规性均达到国际标准要求，得到权威有效保证。360安全大模型以自研大语言模型为基础，独创“类脑分区协同（CoE）”架构，发掘了攻击检测、运营处置、追踪溯源、安全知识管理、邮件深度检测等多个场景，并在政府、金融、央企、运营商、教育、医疗等关键基础设施行业落地使用。

近日，中国信息通信研究院“数字安全护航计划”正式发布第二期《数字安全护航技术能力全景图》（以下简称全景图），360成功入选16项一级目录、80项二级目录，全方位展现了在安全领域的战略布局和场景化安全能力！《数字安全护航技术能力全景图》每年更新两期，旨在集结行业力量，绘制一幅详尽、实用的数字安全技术能力全景图，为助推中国数字经济高质量发展，助力数字中国建设提供有力支持。未来，360将继续推进数字安全与人工智能融合发展，为数字中国建设、数字经济发展保驾护航。等核心领域展现出强大的技术实力，还实现了。

近日，在2025中国信通院ICT深度观察报告会—数字生态治理分论坛上，360数字安全集团凭借ISC学院创新平台，成功入选“磐安”教育领域应用优秀案例，彰显了360数字安全集团在网络安全和AI人才培养方面的创新引领实力。然而，相关安全人才供需失衡问题日益突出，现有高校网络安全人才培育机制存在诸多不完善，导致高端型、复合型、实战型网络安全人才匮乏。在城市社会化服务合作方面，360打造城市安全运营体系，将所培育的战略型人才、尖端型人才、实战型人才投入到城市安全服务的真实场景中，推动城市安全建设和数智化发展。

其中，在技术方案上，主要的数据来源是《实用数控机床故障诊断及维修技术500例》这个PDF文档，对文档里的每一条故障描述进行拆解和分类（CNN），构建出了5中三元式推理规则，分别为：故障现象和故障现象之间存在并发症，故障前执行的操作间接导致的故障现象，某故障原因导致的故障现象，报警信息伴随的故障现象，故障部位常见的故障现象。我们今天来看两个方案，一个是基于朴素知识图谱方案进行故障分析，一个是基于Graph RAG进行故障分析的简单方案，后者显得更粗暴。是指示LLM推理并生成答案的提示。

未来，360数字安全集团将深入参与香港网络安全专业协会的各项活动和议题，积极发挥在数字安全和人工智能领域的前沿技术与丰富经验，助力协会开展相关工作，加强与政府部门、公营机构、中资企业等的服务合作，携手推动网络安全技术和服务的创新发展，构建牢固的网络空间安全防线，为香港数字经济的繁荣发展提供坚实保障。期间，香港网络安全专业协会正式成立，，360提出用AI重塑安全，推出360安全大模型并赋能全线安全产品矩阵，解决传统安全和大模型安全问题，驱动企业数字安全体系提质增效。香港网络安全专业协会理事成员单位。

此次体系建造过程中，360将安全大模型的能力以“数字专家”的崭新身份接入安全运营环境，与本地安全人员、云端安全专家展开深度交互，并设立内部事件发现组、安全分析组、安全处置组等，及时解决用户面临的各类安全问题，提升整体安全运营效果和效率。在上述思路下，360数字安全集团以该证券公司安全合规要求为基础，以业务安全需求为主导，基于“安全即服务”理念，将360的国家级安全能力赋能给客户，并在360安全大模型的加持下，帮助其构建起金融安全智能化防御新体系，保障业务持续稳定运行。2024年以来，包含。

360作为安全行业的领军企业，在上述方面已经具备自己的独特优势，并提出用AI重塑安全，率先推出360安全大模型，以自研大语言模型为基础，独创“类脑分区协同（CoE）”架构，从攻击检测、运营处置、追踪溯源、安全知识管理、邮件深度监测等场景切入，推动数字安全运营从辅助驾驶走向自动驾驶。打造安全大模型，需要“从实践中来，到实践中去”，首先，要有做大模型的丰富经验，深入掌握模型的基层技术；论坛上，“磐安”优秀案例征集结果正式发布，360安全大模型凭借领先的技术优势和创新实力，入选“AI+数字安全应用优秀案例”。

通过这两阶段的微调策略，我们有效提升了基座模型在运维领域的知识掌握与问题解答能力，不仅增强了其记忆深度，还显著优化了模型对关键信息的关注水平，为运维场景下的实际应用提供了强有力的技术支撑。这不仅限制了领域模型的微调与优化，还导致模型在生成和执行运维相关任务时缺乏足够的上下文支持和数据指导，进一步放大了对提示词设计和指令精准性的依赖。：针对问答内容的语义相关性进行校验，过滤掉问题与答案之间逻辑关联性较低或不相关的数据，保证数据的语义合理性与一致性，从而提高模型对实际问题的回答精准度。

大模型的商业化落地是行业发展的关键，需要行业同仁共同努力，紧盯核心客户群体，聚焦真实业务痛点，并找准业务环节的小切口。”他认为，大模型的落地需要与行业深度结合，这不仅是技术层面的融合，更是对行业痛点的深刻理解和解决方案的精准提供。他还进一步分享了360集团与企业合作，将大模型技术融入核心业务的六项关键建议：从“人人AI”，鼓励企业内部广泛采用AI技术，到“面对复杂场景，实现多智能体配合，调用多模型能力”，提倡在复杂场景下利用多模型协作，有效实现业务流程全链条自动化处置，实现AI + 企业IT的融合。

尤其是包括其他国家的网军、黑产、灰产的组织者甚至犯罪分子等也可以利用大模型，提升找漏洞、写攻击代码的能力，因此未来网络安全可能会从人与人的对抗，变成机器与人的对抗，再发展为机器与机器的对抗。大模型内容安全护栏“360智盾”；据了解，作为兼具数字安全和AI双重能力的科技企业，360很早开始关注大模型安全风险，并推出一系列有针对性的创新技术，包括开发了国内首个安全大模型，通过“以模制模”理念，利用AI大模型来检测和防范大模型可能出现的安全风险，既解决传统网络安全问题，又为攻克AI安全新挑战提供了可行性方案。

基于大模型与多模态风险内容识别能力，360智盾打造了全流程、多种类、多模态、场景化的内容安全体系，能够全面把控大模型内容安全，支持100多类风险内容的识别过滤，支持文本、音频、图片、视频等多种模态的风险防护，并通过平台定制化场景风控策略，满足不同场景的风控需求。大模型安全联盟汇聚了多元力量，旨在打造资源共享、共创共赢的大模型安全生态集群，共同推动大模型安全标准的制定、安全技术的创新和安全能力的提升，打造大模型安全发展的新范式。联盟旨在通过共享资源、联合研发等形式，打造更加安全、可信的人工智能生态。

通过使用“慢思考”长思维链数据进行微调时，我们观察到了逻辑推理能力的显著提升，但在常规任务上出现了“过度思考”的现象，复杂的推理反而会影响常规任务的效果，这与论文 的观察一致。最终，我们的长思维链，涵盖了反思、验证、纠错以及回溯等关键环节。360 公司在 10 月推出的通用大模型 360gpt2-pro，已经在推理能力上表现出了强大的性能，在第三方权威评测机构 superclue 最新发布的 10 月评估报告中，360gpt2-pro 在高级推理能力榜单上仅次于 o1-preview，排名国内第一。

2024年9月13日，OpenAI发布o1模型，并在ChatGPT和API接口渠道上推出该系列的预览版本OpenAI o1-preview，OpenAI o1包括三个型号，除o1-preview之外还将有o1和o1-mini。2022年11月30日，OpenAI正式发布了ChatGPT，与InstructGPT是姐妹模型，能够对话的GPT版本，是在GPT-3基础上的3.5版本，所以，大家开始用ChatGPT进行对话、写代码等等。2023年，3月15日，OpenAI正式推出GPT-4，支持多模态；

据悉，这批科研创新中心后续将围绕数字安全和AI两大领域开展研究工作：一是突破关键核心技术，依托跨学科研究项目推动数字安全与AI技术的深度融合，全面提升我国在数字安全和AI领域的国际竞争力；当前，数字安全和人工智能已经成为发展新质生产力的坚固基石和核心引擎，这两个领域的产业发展离不开创新技术和高质量实战人才。未来，360将继续携手全国各大高校，共同推动在科研创新和高质量人才培养方面的合作，为国家数智化发展进程贡献更多智慧和力量！为应对上述挑战，进一步发展创新技术并培育具备高水平实践技能的新质人才，

在安全大模型加持下，360终端安全管理系统、360抗攻击能力评估系统、360数据安全分类分级系统、360高级持续性威胁预警系统、360企业安全浏览器、360智驾卫士、360连接云等多款产品入选各领域代表厂商，充分展现了破解传统安全和人工智能安全问题的创新解法。近日，ISC.AI 2024数字安全创新能力百强颁奖典礼在京圆满落幕，360凭借领先的技术实力和创新优势入围12大技术创新领域，并获评数字安全和人工智能双领域年度创新力十强大奖！本次在多个领域的入选，是对360在数字安全和人工智能领域探索实践的肯定。

5、关于大模型自我纠错相关论文的精选集合，LLM-Self-Correction-Papers，涵盖内在自我纠错、外部工具辅助纠错、信息检索辅助纠错等， https://github.com/ryokamoi/llm-self-correction-papers，目前OpenaiO1这些，以及很多RAG的工作，都会使用Reflection的机制，所以这块的一些技术综合总结；但这一块其实很不可控，此外，对于复杂的多跳问题，Auto-RAG会启动更多的迭代次数，以便逐步收集和整合跨多个步骤的知识。

当然，目前OpenaiO1这些，以及很多RAG的工作，都会使用Reflection的机制，所以这块的一些技术综合总结，可以看LLM-Self-Correction-Papers，大模型自我纠错相关论文，涵盖内在自我纠错、外部工具辅助纠错、信息检索辅助纠错等， https://github.com/ryokamoi/llm-self-correction-papers，这个主要来自于综述《When Can LLMs Actually Correct Their Own Mistakes?

周鸿祎认为，一方面，GPT等通用大模型也遇到了挑战——越来越多的知识在互联网上是找不到的，例如铝业的生产或如何制造航空发动机，这些知识藏在很多企业或专家的脑子里；周鸿祎的演讲题目为“大模型时代的产业创新与变革机会”，他指出，依靠卷算力、卷数据、卷参数，模型向着万亿参数发展，相当于造“原子弹”的AGI之路与多数企业无关。2024（第二十二届）中国企业领袖年会上，周鸿祎提出了AI时代的三大建议，包括人人AI、企业办公和营销场景AI化，以及选择业务场景打造专业大模型和Agent数字员工。

BDM从模型结构上是一种类似ControlNet的分支网络思路，以不同的网络分支学习不同语言的数据，因此从原理上BDM不仅可以实现原生中文图像生成，也可以实现任意X语言的图像生成，并保证生成的图像符合对应语言文化的认知。IAA试图解决的第二个关键问题，是希望把多模态理解能力像文生图领域中的 ControlNet 一样，作为插件添加到基座的语言模型之上，与现在要求一个模型完成所有工作的方式不同，通过一个基座模型+针对不同任务的插件模型，形成全新的语言模型生态体系。

据了解,《报告》的“数字样板工程”实践案例从新兴产业、先进制造、现代服务3个行业,智能算力、低空出行等12个细分领域，梳理出14个以实数融合赋能新质生产力发展的实践案例和典型场景，为实数融合过程中的政府决策、行业发展、企业转型提供经验借鉴和路径参考。未来，360数字安全集团将继续发挥其在创新技术和应用场景实践方面的优势，为构建安全可信的数字世界贡献力量，助力国家网络安全战略和数字经济的蓬勃发展。自该平台投入运行以来，中国邮政储蓄银行实现了安全数据的深度整合与智能分析，显著提高了潜在威胁的响应能力。

对于第一步，我们分别。OmniSearch，现在又个现象很有趣，大家都喜欢用omni，例如omniparser，原因在于'omni'是一个词根，表示“全部、全面、普遍的”的意思，通常用来构成一些复合词或缩写词，如omniscient无所不知的，博识的、omnipotent全能的，万能的、omnivore：杂食动物，广食性动物、omnibus：大巴车，综合性的。而与其最相关的，其实是多模态的场景，这里讲两个，一个是ominisearch，一个是LLaVA-o1（取得太大了，谈不上是o1，顶多COT）

360终端安全管理系统具备兼容操作系统CPU保护机制，能采集超越系统层面的各类与安全行为相关的数据，告警高精度、高可信，实现全面遏制银狐病毒的各个攻击路径和手段，如横向渗透、无文件攻击、提权攻击、模拟点击、内核漏洞、RPC漏洞攻击、DCOM攻击、登录凭据窃取等。360终端安全管理系统针对银狐木马提供先进的防病毒功能，通过云查杀引擎、鲲鹏引擎、QVM人工智能引擎、QEX脚本检测引擎构建的多维智能检测体系，并配合主动防御，支持对蠕虫病毒、恶意软件、APT、广告软件、勒索软件、引导区病毒的检测查杀。

参考。

GraphRAG框架这是流行于微软的GraphRAG，然后后续出现了很多轻量化的改进版本，如LightRAG、nano-GraphRAG，也有一些具有特色的版本，如KAG，其核心思想是在原先传统RAG的基础上，增加实体、社区、chunk之间的关联，或者原有KG的知识，从而提升召回和准确性。传统的RAG框架，指的是集chunk切分、向量化、存储、检索、生成等几个阶段于一体的RAG框架，其核心在于其中的不同策略适应，如文档处理、检索策略等，代表性的如RAGFlow(深度文档理解)，也包括。

所以，提出了一个迭代交互式KGQA框架，利用LLMs的交互学习能力来执行图上的推理和辩论（DoG），即DoG采用子图聚焦机制，允许LLMs在每个推理步骤后尝试回答问题，从而减轻了漫长推理路径的影响，并利用多角色辩论团队逐步简化复杂问题，减少了误报关系的影响。，这个工作的目的是以统一的方式提高大模型（LLMs）对结构化数据的推理能力，构建了专门的接口来从结构化数据中收集相关证据（即阅读），并让LLMs专注于基于收集到的信息进行推理任务（即推理）。这里面一个重要的点，是怎么找到最佳的路径。

首先，KAG来源于蚂蚁这类很垂直的金融/医疗场景（在去年ccks上，也碰到spg发布，用事理图谱进行灰黑产识别），例如，银行风险报告中的错误定性或错误逻辑、事实性错误或无依据、政务问答中知识精准性问题、知识完备性问题，以及时间、数值不敏感扽问题，所以，如分享中所看到的，KAG在蚂蚁业务中的应用，用于热点事件解读、银行分享分析、政务办事问答、医疗健康问答、黑产图谱，通过提升黑产特征挖掘、完善黑产团伙刻画、推送线索助力司法部门线下打击等手段，降低体系内赌博电诈风险这些，这些都是垂直场景的。但这块的风险点在于，

尽管打造安全大模型面临诸多挑战，但360作为安全行业的领军企业具备自己的独特优势，包括打造安全大模型所必备的全栈大模型底层技术、海量安全知识、与安全业务的深度融合，以及深厚的AI技术和安全能力，包括自研的千亿参数通用大模型、全球最大的安全知识库等。据周鸿祎介绍，基于上述方法论打造的360安全大模型具备包括攻击、检测、运营、处置、追踪、溯源、知识管理等多个专家模型，通过多个大模型协作，实现了从规则驱动到知识驱动的升级，具备发现已知和未知威胁的能力，推动数字安全运营从辅助驾驶走向自动驾驶。

至于动手环节，目前已经有一些可以实践的项目，如https://github.com/kyryl-opens-ml/vision-retrieval、Byaldi(https://github.com/AnswerDotAI/byaldi)、colpali(https://github.com/illuin-tech/colpali)(将文档切分为页面图像，不再细分，然后根据页面图像级别进行检索，类似于docvqa)，而纸上得来终觉浅，绝知此事要躬行，我们来讲讲几个多模态RAG的四个简单动手实践脚本。

而其中，最为核心的，我觉得，其实是文档的召回，需要对文档进行准确的嵌入以及高效检索，因此，这就需要专门针对文档做优化，所以，就不得不要看一个工作 **《ColPali: Efficient Document Retrieval with Vision Language Models》(https://arxiv.org/pdf/2407.01449,https://huggingface.co/vidore.)**，其是 PaliGemma-3B的扩展，可生成ColBERT风格的文本和图像多向量表示。

在安全运营领域，360将安全大模型赋能本地安全大脑，将优质平台与顶尖大模型深度融合，驱动广大政企单位智能化升级，收获了权威机构和广大客户的双重肯定。某制造企业体量较小，安全预算有限，缺少专业运营人员，面对因安全设备和告警数量增加引发的对告警识别、分析、处理需求的爆发式增长，研判误报时有发生，运营工作压力持续扩大。在安全大模型加持下，该单位实现对告警信息的智能化解读，第一时间锁定威胁行为源头，即时输出精准、详实的研判结论，降低对人员水平和工作的要求，运营人效平均提升70%；2024攻防演练期间，

进行分类。思想很粗暴，例如，

基于过去20年积累的安全大数据、实战对抗经验，以及全球顶级安全专家团队等优势能力，360推出基于安全大模型赋能的勒索病毒防护解决方案，能够针对勒索病毒从攻击前、攻击中到攻击后的每一个主要节点进行定向查杀，实现多方位、全流程、体系化、智能化的勒索防护。在此背景下，网络攻击一旦成功，不仅会造成直接经济损失，还可能引发一系列连锁反应，导致政企机构商业机密的泄露与运营稳定，甚至可能对国家安全和社会稳定造成威胁。他坦言，这次攻击的影响超出了Stoli集团的美国业务，还波及到集团的全球运营。

例如，《LayoutReader: Pre-training of Text and Layout for Reading Order Detection》(https://arxiv.org/pdf/2108.11591,https://github.com/microsoft/unilm/tree/master/layoutreader)提到的方案，使用LayoutLM的布局模型作为编码器。由于每个文本区域都被分配了一个逻辑角色，因此在文本区域中的每行文本与其相应的逻辑角色单元之间建立逻辑角色关系。

尽管打造安全大模型面临诸多挑战，但360作为安全行业的领军企业具备自己的独特优势，包括打造安全大模型所必备的全栈大模型底层技术、海量安全知识、与安全业务的深度融合，以及深厚的AI技术和安全能力，包括自研的千亿参数通用大模型、全球最大的安全知识库等。据周鸿祎介绍，基于上述方法论打造的360安全大模型具备包括攻击、检测、运营、处置、追踪、溯源、知识管理等多个专家模型，通过多个大模型协作，实现了从规则驱动到知识驱动的升级，具备发现已知和未知威胁的能力，推动数字安全运营从辅助驾驶走向自动驾驶。

作为当前处于科技顶峰的领域，AI不仅是技术变革的推动者，更是各行各业内在效率提升和成本降低的关键驱动力。但与此同时，AI应用如何落地，如何应对商业化挑战等问题也越发引人瞩目。作为AI行业坚定的推动者，360集团创始人周鸿祎提出了自己的见解。