LLMs are All You Need? Improving Fuzz Testing for MOJO with Large Language Models

该文章提出了首个针对MOJO语言的零样本学习环境下的LLM驱动模糊测试框架MOJOFuzzer,解决了MOJO缺乏测试框架和LLM训练语料导致的模型幻觉问题,显著提升了测试有效性并发现了13个未知漏洞。

一、文章主要内容总结

  1. 研究背景
    • MOJO作为融合Python易用性与C/C++效率的AI编程语言,虽能提升AI模型扩展性,但缺乏成熟测试框架和LLM训练语料。
    • 现有LLM模糊测试工具依赖大量领域数据,在MOJO这类新兴语言的零样本场景中,易生成语法正确但语义错误的代码,导致测试效果差。
  2. MOJOFuzzer框架设计
    • 初始化阶段:从MOJO官方GitHub和文档收集数据,清洗后得到约300个漏洞报告和1500个语法样本,用于构建提示库(Prompt Bank)和种子库(Seed Bank),并采用CoT和角色提示技术优化提示质量。
    • 变异阶段:基于变异评分(API调用数+代码复杂度)将种子分为高、低优先级,分别执行半变异(代码级修改)和全变异(提示级修改),提升测试多样性。
    • 微调阶段:分两阶段微调LLAMA2 13B模型,先学习MOJO语法规则,再学习历史漏洞模式,减少模型幻觉。
  3. 实验结果
    • 性能指标:MOJOFuzzer的API覆盖率达77
经过查询,论文《Do LLMs Possess a Personality? Making the MBTI Test an Amazing Evaluation for Large Language Models》并未明确提及发表的具体会议或期刊。然而,类似主题的研究通常会出现在与自然语言处理、人工智能伦理及心理学交叉领域相关的顶级会议上,例如 ACL (Annual Meeting of the Association for Computational Linguistics)、EMNLP (Conference on Empirical Methods in Natural Language Processing) 或 NeurIPS (Conference on Neural Information Processing Systems)[^1]。 以下是这些会议的简要介绍: - **ACL** 是计算语言学领域的旗舰会议,涵盖语言技术和理论的广泛议题。 - **EMNLP** 专注于经验方法在自然语言处理中的应用,适合讨论涉及大规模数据集和模型评估的研究。 - **NeurIPS** 则是机器学习和计算神经科学领域的重要会议,适合探讨大型语言模型的行为特性及其社会影响。 如果该论文已公开发布,可以通过其引用信息或相关数据库(如 arXiv、Google Scholar)进一步确认具体会议。 ### 示例代码:查找论文所属会议 以下是一个简单的 Python 脚本,用于通过标题搜索论文并返回可能的会议信息: ```python import requests def search_paper_conference(title): url = "https://api.semanticscholar.org/graph/v1/paper/search" params = { "query": title, "limit": 1 } headers = {"Content-Type": "application/json"} response = requests.get(url, params=params, headers=headers) if response.status_code == 200: data = response.json() if data["data"]: paper = data["data"][0] return f"Paper found: {paper['title']}, Conference/Journal: {paper.get('venue', 'Unknown')}" return "Paper not found or no conference information available." title = "Do LLMs Possess a Personality? Making the MBTI Test an Amazing Evaluation for Large Language Models" print(search_paper_conference(title)) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值