- 博客(277)
- 收藏
- 关注
RSS订阅原创 【论文速读】| CleanVul：利用大语言模型启发式方法在代码提交中进行自动的函数级漏洞检测
作者提出了一种新方法：结合大语言模型（LLM）和启发式规则来自动识别真正的漏洞修复修改，并构建了一个高质量的数据集CleanVul
2025-03-12 11:23:25
1049
原创 第85期 | GPTSecurity周报
结构化数据包含的信息往往有限，这让注释过程更加复杂，极具挑战性。为了验证 DarkMind 的效果，研究者在八个数据集上，使用五个最先进的 LLM 以及五种不同的触发器实现，对 DarkMind 进行了评估，这些数据集涵盖了算术、常识和符号推理领域。在本文中，研究者提出了 CASEY，这是一种借助大语言模型（以 GPT 模型为例）的全新方法，它能自动识别安全漏洞的常见弱点枚举（CWE）并评估其严重性。最后，研究者探讨了潜在的防御机制，以降低 DarkMind 带来的风险，强调了实施更有力安全措施的必要性。
2025-03-11 16:39:26
926
原创 评测！Google Gemini AI 安全评估技术解析
反之，在其他一些场景中，部分模型的 SASR 数值较低，这意味着它们具备相对较强的弹性和过滤能力，能够有效地应对复杂的干扰信息，确保自身的稳定运行。综上所述，Google Gemini AI在LLM-Hunter的安全测试中虽然暴露出诸多不容忽视的问题，但通过全面、系统地实施上述缓解策略，有望在复杂多变的应用场景中逐步提升安全性和可靠性，切实满足道德与监管要求，重新赢得用户的信任与支持，推动人工智能技术在安全、稳健的轨道上持续发展，为行业树立安全防护的典范，引领大语言模型在安全领域的创新与进步。
2025-01-24 17:38:51
968
原创 第84期 | GPTSecurity周报
GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。1. 利用数据流路径对大语言模型产生的 Bug Report 进行“消毒”简介：近年来，使用大语言模型（LLM）进行代码缺陷检测的尝试大量涌现。通过基于提示工程（
2025-01-24 16:08:34
1024
原创 喜讯！云起无垠获评“国家高新技术企业”认证
近日，依据《高新技术企业认定管理办法》以及《高新技术企业认定管理工作指引》的相关规定，北京市认定机构对 2024 年认定报备的第二批高新技术企业展开备案公示，北京云起无垠科技有限公司成功斩获 “国家高新技术企业” 认定资质。“国家高新技术企业” 堪称国家科技创新型企业的巅峰荣誉，它指那些于国家重点扶持的高新技术领域内，锲而不舍地进行研发工作并实现技术成果转化，进而构筑起企业核心自主知识产权，以之为根基开展经营活动，成功将重大高新技术成果转化为现实生产力，且技术水准位居国内前沿乃至国际先进行列的企业。该认定对
2025-01-24 10:59:14
333
原创 【论文速读】| 评估并提高大语言模型生成的安全攻击探测器的鲁棒性
本文研究了大语言模型（LLMs）在生成安全攻击检测器中的鲁棒性问题。尽管LLMs在生成代码方面具有显著的优势，尤其是在自动化编程和软件开发中，LLMs在生成有效的安全功能（如攻击检测器）时却存在困难，可能会遗漏一些已知的攻击。
2025-01-22 16:32:56
1195
原创 第83期 | GPTSecurity周报
当今，技术格局持续演变，在带来诸多机遇的同时，也滋生了不少威胁，从而形成了一个混乱与秩序相互较量的动态环境。其中，安全软件工程（SSE）面临的任务尤为紧迫，它必须时刻应对那些危及软件系统的漏洞，因为这些漏洞一旦爆发，极有可能引发广泛的社会经济风险，诸如对关键国家基础设施造成破坏，进而导致巨额的经济损失。同时，对手部署的 LLM 进行后处理时，通常会破坏文本水印信息。通过此番全面且深入的分析，推动了有效预测模型的持续进阶，无论是对专注前沿探索的研究人员，还是奋战在一线的从业者，都具有非凡的价值与助力。
2025-01-17 11:48:07
1113
原创 【论文速读】| 利用大语言模型在灰盒模糊测试中生成初始种子
本论文的贡献在于提出了一种全新的种子生成方法——SeedMind，该方法基于大语言模型（LLMs），并通过创新的反馈机制，解决了传统种子生成技术的局限性。实验结果表明，SeedMind在多个实际测试中表现出色，其生成的种子在质量和效率上均超越了现有的基于LLM的解决方案。
2025-01-10 11:19:51
1223
原创 实力！云起无垠入选中国信通院《数字安全护航技术能力全景图》
云起无垠的安全专家团队依托十余年行业经验，深入研究近几年关键信息基础设施遭遇的安全事件，仔细剖析其中多样的攻击手法，凭借深厚专业知识与敏锐洞察力，精准找出当前攻击威胁的关键因素。展望未来，云起无垠将坚守初心，持续投入研发，紧密围绕行业需求与技术走向，进一步拓展产品服务内容，提升服务质量，为企业提供更完善、高效的一站式安全服务。云起无垠自成立以来，便专注于把大模型贯穿融入安全防护流程，有针对性地提升研发、测试、运营各阶段的智能化安全水平，致力于打造精通安全业务的 AI 安全智能体。
2025-01-09 18:47:55
311
原创 第82期 | GPTSecurity周报
尽管现有的攻击方法，如基于损失（LOSS）的方法、基于参考的方法、最小 k（min-k）方法以及 zlib 方法等在某些场景下表现良好，但它们在大型预训练语言模型上的有效性往往近乎随机猜测，尤其是在大规模数据集和单轮次训练的情况下。为解决这一问题，本文提出了一种新颖的集成攻击方法，该方法将几种现有的成员推理攻击技术（基于损失的方法、基于参考的方法、最小 k 方法、zlib 方法）集成到一个基于 XGBoost 的模型中，以增强整体攻击性能（集成模型增强型成员推理攻击，即 EM-MIAs）。
2025-01-07 18:30:08
840
原创 “AI+Security”系列第4期（五）：模糊测试技术与AI的前沿探索
近日，“AI+Security” 系列线下活动第 4 期在北京顺利举行。本次活动聚焦 “洞” 见未来：AI 驱动的漏洞挖掘新范式，吸引了大批安全领域的资深专家前来参与。活动中，云起无垠引擎负责人李唯带来了精彩分享，主题为 “模糊测试技术与 AI 的前沿探索”。
2025-01-02 16:10:43
636
原创 “AI+Security”系列第4期（四）：机器语言大模型
华清未央 CEO 朱文宇博士在活动中围绕 “机器语言大模型” 进行了深度分享，其内容涵盖传统软件分析模式及其面临的挑战、大模型所具备的能力以及大模型在实际中的应用等方面，为软件分析与安全领域带来了新的思路和方法。
2025-01-02 11:37:30
1207
原创 第81期 | GPTSecurity周报
GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。
2025-01-02 10:26:40
1051
原创 云起无垠入选中国信息通信研究院2024年度首期“磐安”优秀案例
近日，中国信通院举办的深度观察报告会系列论坛在北京顺利召开。在数字生态治理分论坛上，2024 年度首期 “磐安” 优秀案例 ——AI + 数字安全应用优秀案例遴选结果正式公布，云起无垠凭借其在生成式 AI 网络安全攻防对抗垂直领域扎实的研究及应用成果，成功入选该年度首期 “磐安” 优秀案例。
2024-12-30 15:35:29
544
原创 “AI+Security”系列第4期（三）：基于大模型的漏洞挖掘技术与实践
近日，“AI+Security” 系列第 4 期线下活动在北京顺利举行，主题聚焦于 “洞” 见未来：AI 驱动的漏洞挖掘新范式，吸引了众多安全领域专家参与。奇安信安全研究员尹斌先生围绕 “基于大模型的漏洞挖掘技术与实践” 展开分享。他深入介绍了大模型与静态代码分析、模糊测试以及 Agent（智能体）相融合，在漏洞挖掘中的探索和实践情况，并分享了大模型挖掘漏洞实践的具体内容，帮助与会者更好地理解和掌握漏洞挖掘技术，为行业技术交流与发展提供了有价值的参考。
2024-12-27 16:35:23
3674
原创 “AI+Security”系列第4期（二）：LLM辅助的模糊测试增强技术
近日，“AI+Security” 系列第 4 期线下活动于北京成功举办，聚焦 “洞” 见未来：AI 驱动的漏洞挖掘新范式，汇聚了安全领域的众多专家。水木羽林技术专家张强博士以“LLM辅助的模糊测试增强技术”为题，详细阐述了如何利用大语言模型赋能操作系统内核模糊测试以及数据库模糊测试，为参会者带来了关于 AI 技术与漏洞挖掘相结合的全新思路和方法，推动了行业内对于这一新兴技术趋势的深入理解与交流，对推动 “AI+Security” 领域的发展具有积极意义。
2024-12-27 15:10:53
913
原创 “AI+Security”系列第4期（一）之“洞” 见未来：AI 驱动的漏洞挖掘新范式
近日，“AI+Security” 系列第 4 期线下活动于北京成功举办，聚焦 “洞” 见未来：AI 驱动的漏洞挖掘新范式，汇聚了安全领域的众多专家。
2024-12-25 17:24:48
785
原创 实力上榜！云起无垠荣登“ISC安全大模型领域创新能力百强”
近日，ISC.AI 创新技术论坛暨 ISC.AI 2024 创新能力百强（简称 “创新百强”）颁奖典礼在北京圆满落下帷幕。此次评选竞争激烈，近 500 家企业参与角逐，历经层层严格筛选与专家细致评审，云起无垠脱颖而出，其无极 AI 安全智能体平台凭借在安全大模型领域的卓越技术创新以及出色的产品应用，成功荣登 “ISC 安全大模型领域创新能力百强” 榜单。
2024-12-25 10:49:43
712
原创 云起无垠荣获第八届“强网杯”高阶技术专项赛优秀奖
近日，第八届 “强网杯” 全国网络安全挑战赛线下赛于郑州高新区的网络安全科技馆赛博厅圆满落幕。云起无垠创始人兼 CEO 沈凯文博士在活动中发表了题为《安全智能体技术实践与内生安全问题思考》的精彩演讲。
2024-12-23 18:10:45
177
原创 【论文速读】| 利用人工智能修复 OSS-Fuzz 中的安全漏洞
本文探讨了如何利用人工智能（AI）来修复开源软件系统中安全漏洞，特别是通过 OSS-Fuzz 平台进行的模糊测试。
2024-12-23 15:38:30
733
原创 【论文速读】| Pipe-Cleaner:使用安全策略的灵活模糊测试
本文提出了 Pipe-Cleaner 系统，通过灵活的安全策略和标签基础的运行时监控，允许开发者定制检测策略和报告内容。
2024-12-23 15:07:30
884
原创 第79期 | GPTSecurity周报
研究者的实验涵盖了诸如 TimeGPT、基于 GPT-3.5、GPT-4、LLaMa 和 Mistral 的 LLM-Time 等模型，实验结果表明，对抗性攻击导致的性能下降远比随机噪声造成的更为严重，并且证明了研究者的攻击方法在不同大语言模型中的广泛有效性。例如，在 Llama - 3 模型上，只需将贪婪坐标梯度（GCG）攻击的目标前缀替换为研究者的前缀，精细攻击成功率就能从 14% 提高到 80%，这表明当前的对齐方式很难泛化到未见过的前缀上。研究者的工作彰显了越狱目标在实现精细越狱方面的重要性。
2024-12-23 11:38:33
1211
原创 喜讯！云起无垠荣膺信通院 2023 - 2024 年度 “铸链” 案例自主研发创新成果奖
云起无垠的无极 AI 安全智能体平台因技术先进、产品能力出色，荣膺 2023 - 2024 年度 “铸链” 案例自主研发创新成果奖。
2024-12-19 18:06:10
457
原创 附原文 | 一文读懂《2024年数据泄露调查报告》
2024 年数据泄露调查报告》正式发布，该报告详细阐述了由网络安全威胁导致的数据泄露等重要信息，为深入了解网络安全风险格局提供了全面而深入的视角。若希望获取报告的详细原文以及精准翻译文稿，可加入知识星球查看全文。
2024-12-18 17:13:02
1325
原创 【论文速读】| FirmRCA：面向 ARM 嵌入式固件的后模糊测试分析，并实现高效的基于事件的故障定位
研究者设计并实现了FIRMRCA，一个专门针对嵌入式固件的实用故障定位框架。FIRMRCA引入了一种基于事件的痕迹收集方法，通过在崩溃重现过程中利用具体的内存访问，显著加快了逆向执行过程。为了解决复杂的内存别名问题，FIRMRCA提出了一种基于历史驱动的方法，通过追踪数据在执行轨迹中的传播，能够精确识别崩溃的深层根源。最后，FIRMRCA还提出了一种新颖的策略，能够突出与根因相关的关键指令，为最终的调查工作提供了实用的指导。
2024-12-18 15:35:08
853
原创 第78期 | GPTSecurity周报
GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。
2024-12-18 11:36:22
608
原创 云起无垠创始人参与模糊测试研究被网络安全四大顶级会议—NDSS2024收录
这种攻击的核心是利用 CDN 在转发请求时的流量放大机制，特别是在某些情况下，CDN 会将小型请求（如 HEAD 或条件请求）转换为带有完整响应体的 GET 请求，实现流量显著放大。3）消息体的差异：在请求的消息体方面，部分CDN会删除GET/HEAD请求中的消息体，这种处理方式可能导致源服务器返回错误的状态码，进而引发CPDoS攻击。最终，研究者选择UCT-Rand作为本次实验的生成算法，并通过该算法成功识别了CDN转发请求中的多种不一致性，发现了新的DoS攻击风险，尤其是在请求方法和头部字段的处理上。
2024-12-12 11:31:44
571
原创 CCS‘24（全球网络安全四大顶级会议之一）收录云起无垠最新研究成果
清华大学、泉城实验室、中关村实验室、百度和云起无垠联合撰写的论文《Internet’s Invisible Enemy: Detecting and Measuring Web Cache Poisoning in the Wild》（链接：https://www.jianjunchen.com/p/web-cache-posioning.CCS24.pdf）被全球知名网络安全会议四大顶会之一的 CCS'24收录。
2024-12-11 18:11:40
551
原创 【论文速读】| AutoPT：研究者距离端到端的自动化网络渗透测试还有多远？
本论文聚焦于Web渗透测试这一关键安全领域，旨在探讨基于大语言模型（LLMs）的AI代理在端到端自动化渗透测试任务中的潜力。
2024-12-11 16:36:10
1014
原创 【论文速读】| AttackQA：利用微调及开源大语言模型辅助网络安全运营的数据集的开发与应用
本研究提出了一个名为AttackQA的网络安全问答（Q&A）数据集，专为支持安全运营中心（SOC）分析师设计。该数据集基于MITRE ATT&CK知识库开发，包含25,335对问答及其推理，80%的内容由开源LLM自动生成。
2024-12-11 15:43:44
1126
原创 第77期 | GPTSecurity周报
GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。
2024-12-06 16:42:26
1245
原创 NIST人工智能报告：对抗性机器学习分类与术语全解析（附原文）
美国国家标准与技术研究院（NIST）发布的《可信与负责任的人工智能》报告，聚焦于对抗性机器学习（AML）领域，旨在构建一个全面的概念分类体系，并明确相关术语定义，为保障人工智能系统的安全提供坚实的理论基础和实践指导。
2024-12-05 18:26:59
1028
原创 云起无垠CEO沈凯文博士获评“中关村U30 2024年度优胜者”
沈博士作为大模型赋能网络安全领域的领军人物，凭借其在创新创业领域的卓越能力和独特价值成功入选“中关村U30 2024年度优胜者”。
2024-11-29 11:15:24
345
原创 第76期 | GPTSecurity周报
GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。
2024-11-26 18:25:02
1019
原创 喜讯！云起无垠获“中国产业互联网发展联盟IDAC双奖”
云起无垠作为大模型驱动的网络安全智能体引领者，一举斩获 “杰出企业” 和 “优秀解决方案” 两项大奖。
2024-11-21 18:11:37
808
原创 【论文速读】| RobustKV：通过键值对驱逐防御大语言模型免受越狱攻击
RobustKV提供了一种创新的越狱攻击防御手段，通过在LLM的KV缓存中策略性地清除恶意查询相关标记，削弱了恶意查询的存在感，有效阻止了模型生成恶意响应。与传统防御策略不同，RobustKV通过精细的KV逐出设计，实现了对越狱攻击的高度抑制，既保持了模型对良性查询的响应质量，也在恶意查询的生成上增加了攻击者规避防御的难度。与传统防御方法不同，RobustKV通过对大语言模型的KV缓存进行优化，选择性地清除恶意查询中低重要性标记的KV值，降低攻击者通过调整提示词逃避防御的成功率，增强了模型的防御能力。
2024-11-20 15:28:50
851
原创 【论文速读】| 迈向自动化渗透测试：引入大语言模型基准、分析与改进
近年来，大语言模型（LLMs）的发展为这一领域带来了新的可能性，通过充分利用其在自然语言处理中的能力，研究者希望能提升渗透测试的准确性和效率。这一开放的基准不仅促进学术研究与发展，也为行业实践提供指导，推动模型的持续改进，为网络安全的提升贡献力量。本研究旨在创建一个系统性的框架，以评估大语言模型（LLMs）在渗透测试中的应用潜力，推动自动化渗透测试的标准化和有效性。引入开放评估基准，帮助研究人员和从业者更好地理解和利用LLMs在识别系统漏洞方面的能力，促进模型持续改进和创新，提升渗透测试的效率和准确性。
2024-11-19 17:51:03
1065
原创 第75期 | GPTSecurity周报
GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。
2024-11-19 16:50:09
1092
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人