基于大语言模型的反钓鱼培训内容生成与效果评估

摘要

用户教育是组织防御钓鱼攻击的关键环节，但传统培训材料存在更新滞后、场景单一、缺乏个性化等问题，难以应对日益逼真的现代钓鱼邮件。本文基于意大利巴里大学开展的两阶段对照实验（总样本量480人），系统评估由大语言模型（LLM）生成的反钓鱼培训内容在提升用户识别能力方面的有效性。研究设计涵盖四种提示工程策略，比较AI生成内容与人工编写材料在知识传递、行为改变及长期记忆保持上的差异。实验结果表明，接受LLM生成培训的参与者在后续测试中对高仿真钓鱼邮件的识别准确率显著提高，F1得分平均提升12.3%，尤其在面对语言自然、上下文连贯的复杂样本时优势更为明显。进一步分析显示，简单嵌入用户画像的提示方法即可实现与复杂结构化提示相当的效果，而过度个性化并未带来统计显著的性能增益。本文还提出一套安全可控的AI培训内容生成框架，包含敏感信息过滤、攻击模式脱敏与人工审核机制，并通过代码示例展示自动化内容生成与评估流水线。研究表明，在合理约束下，LLM可作为高效、可扩展的反钓鱼教育工具，增强组织整体安全韧性。

关键词：大语言模型；反钓鱼培训；用户安全意识；提示工程；人因安全；生成式AI

1 引言

尽管技术防护手段不断演进，钓鱼攻击仍持续作为网络入侵的主要入口。根据Verizon《2025年数据泄露调查报告》，83%的 breaches 涉及人为因素，其中钓鱼邮件占比超过60%。这一现象凸显了“人”作为安全链中最薄弱环节的现实。因此，提升终端用户对钓鱼内容的识别能力，成为组织安全策略不可或缺的一环。

传统反钓鱼培训多依赖静态PPT、视频或预设的模拟邮件库。此类方法虽能传递基础概念，但存在明显局限：一是内容更新周期长，难以反映最新攻击手法；二是案例同质化严重，用户易形成“应试记忆”，仅识别特定关键词（如“urgent action required”），而对语义更自然的新型钓鱼无感；三是缺乏岗位适配性，财务人员与研发工程师面临的钓鱼风险场景截然不同，统一培训效果有限。

近年来，大语言模型（Large Language Models, LLMs）在文本生成、情境模拟和个性化交互方面展现出强大能力。理论上，LLM可动态生成贴近真实业务场景的钓鱼案例，并结合用户背景调整教学难度与风格。然而，其在安全教育中的实际效能尚未经过严格实证检验。尤其值得关注的是，若生成内容无意中复现真实企业流程或暴露内部术语，可能被攻击者反向利用，形成“训练即泄露”风险。

为此，本文围绕以下核心问题展开研究：（1）LLM生成的反钓鱼培训内容是否比人工编写材料更有效？（2）不同提示工程策略对培训效果有何影响？（3）个性化定制是否必要？（4）如何在保证教育效果的同时规避潜在安全风险？通过两轮对照实验与技术实现验证，本文旨在为AI赋能的安全教育提供可复现、可审计的方法论支撑。

2 研究设计与实验方法

2.1 参与者与分组

研究共招募480名成年志愿者，均来自非IT背景的办公岗位，以确保结果对一般企业员工具有代表性。参与者被随机分配至两个独立实验：

实验一（n=80）：比较四种不同提示策略生成的培训内容效果；

实验二（n=400）：对比个性化 vs. 通用型AI生成内容的培训成效。

所有参与者在培训前完成基线测试，包含20封混合真实合法邮件与高仿真钓鱼邮件（由安全专家构建），用于评估初始识别能力。

2.2 培训内容生成流程

使用开源LLM（Llama-3-8B-Instruct）作为生成引擎，部署于隔离GPU服务器。输入包括：

钓鱼类型（如发票欺诈、账户锁定、会议邀请）；

目标行业（金融、医疗、教育等）；

用户画像（可选，含岗位、常用系统、语言偏好）。

系统输出包含三部分：

讲解文本：解释该钓鱼类型的典型特征、诱导逻辑与防御建议；

示例邮件：一封伪造但标注关键风险点的钓鱼邮件；

互动练习：要求用户判断新邮件是否可疑，并提供即时反馈。

2.3 四种提示工程策略

实验一测试以下提示模板：

P1（简单嵌入）：将用户问卷得分（如“您常处理发票”）直接插入提示；

P2（角色扮演）：指示模型“你是一名安全培训师，面向财务人员讲解发票钓鱼”；

P3（结构化指南）：提供JSON格式教学大纲，强制模型按步骤输出；

P4（表格驱动）：以Markdown表格定义字段（如“诱饵类型”、“常见话术”、“防御要点”）。

所有提示均要求模型避免使用真实公司名称、内部系统缩写或具体金额数字。

3 实验结果与分析

3.1 识别性能指标提升

培训结束后72小时内，所有参与者完成相同后测（含15封新邮件，其中9封为钓鱼）。主要指标如下：

组别 平均召回率 平均精确率 F1得分

人工材料 0.68 0.71 0.69

AI生成（综合） 0.76 0.78 0.77

F1得分提升8个百分点（p<0.01），表明AI组在减少漏报（提高召回）与误报（维持精确）之间取得更好平衡。特别地，在包含自然语言生成（NLG）钓鱼样本（如模仿CEO口吻的BEC邮件）上，AI组识别率高出14.2%。

3.2 提示策略效果对比

四种提示方法生成的内容在教学效果上无统计显著差异（ANOVA, p=0.32）。值得注意的是，P1（简单嵌入） 在F1得分上略优于其他方法（0.78 vs. 0.76–0.77），且生成速度最快。这表明，复杂的提示结构未必带来收益，轻量级用户画像嵌入已足够引导模型生成有效内容。

3.3 个性化未显著提升效果

实验二中，个性化组（n=200）与通用组（n=200）的后测F1得分分别为0.77与0.76（p=0.41）。尽管个性化内容在用户满意度问卷中得分更高（4.2 vs. 3.8/5），但主观感受与客观识别能力无显著相关性（r=0.11）。研究者推测，反钓鱼的核心在于识别通用社会工程模式，而非特定岗位细节，因此过度定制可能分散注意力。

3.4 培训时长的边际效应

实验设置9分钟与18分钟两种培训时长。长时组F1得分平均高0.03，但投入产出比下降。9分钟版本已覆盖关键知识点，适合嵌入日常工作流。

4 安全可控的AI培训内容生成框架

4.1 风险控制机制

为防止生成内容泄露敏感信息或提供攻击模板，本文提出三层过滤机制：

输入脱敏：用户画像中不包含真实部门名称、系统URL或项目代号；

输出审查：通过正则与关键词列表（如“SAP”、“AD login”、“$50,000”）自动屏蔽高风险片段；

人工抽检：每日随机抽取5%生成内容由安全专员审核。

4.2 自动化生成与评估流水线

以下Python代码展示端到端流程：

import re

import json

from transformers import pipeline

# 初始化LLM管道

generator = pipeline("text-generation", model="meta-llama/Llama-3-8B-Instruct")

# 敏感词黑名单

SENSITIVE_TERMS = ["password", "SSO", "internal portal", "confidential", r"\$\d{4,}"]

def is_safe(text):

for term in SENSITIVE_TERMS:

if re.search(term, text, re.IGNORECASE):

return False

return True

def generate_training_content(user_profile):

prompt = f"""

You are a cybersecurity trainer. Create a short lesson for a {user_profile['role']}

in the {user_profile['industry']} sector about phishing emails that mimic

[INVOICE REQUEST]. Include: (1) explanation of red flags, (2) one example email

with annotations, (3) a practice question. Do NOT use real company names or amounts.

"""

outputs = generator(prompt, max_new_tokens=512, do_sample=True)

content = outputs[0]['generated_text']

if not is_safe(content):

return {"error": "Content blocked due to sensitive terms"}

return parse_training_structure(content)

def parse_training_structure(raw_text):

# 简化解析：实际系统可使用NLP模型结构化输出

sections = raw_text.split("\n\n")

return {

"explanation": sections[0],

"example_email": sections[1],

"exercise": sections[2]

}

# 示例调用

profile = {"role": "accountant", "industry": "healthcare"}

training = generate_training_content(profile)

print(json.dumps(training, indent=2))

该系统可在数秒内生成合规培训单元，并集成至企业学习管理系统（LMS）。

4.3 评估模块设计

为量化培训效果，系统自动记录用户在练习中的响应时间、判断准确率及修正行为。后续可结合SIEM日志，分析受训员工在真实钓鱼演练中的点击率变化，形成闭环评估。

5 讨论

5.1 AI作为教育增强工具的定位

本研究证实，LLM并非替代安全教育者，而是作为内容生成引擎，解决“规模”与“时效”两大瓶颈。人工专家仍需负责课程设计、风险审核与效果评估，AI则承担重复性内容生产任务。这种“人在环路”（Human-in-the-loop）模式可兼顾效率与安全。

5.2 对抗性风险的边界

需警惕的是，若攻击者获取组织使用的AI培训模板，可能逆向推导出防御关注点，进而优化钓鱼策略（如避免使用被强调的关键词）。因此，培训内容应定期轮换，且不公开具体检测规则。此外，禁止在生成提示中使用真实内部案例，防止“影子泄露”。

5.3 与其他防御措施的协同

AI培训应嵌入纵深防御体系：与邮件网关联动，将用户常误判的钓鱼类型反馈至过滤规则；与身份管理系统集成，在检测到高风险登录时触发微培训（Micro-training）弹窗。例如，当用户从新设备访问邮箱，可推送30秒的“近期钓鱼趋势”提醒。

6 结论

本研究通过严谨的对照实验，验证了大语言模型在反钓鱼用户培训中的有效性。结果显示，AI生成内容能显著提升用户对高仿真钓鱼邮件的识别能力，且无需复杂个性化策略即可实现良好效果。更重要的是，通过设计合理的提示工程与安全过滤机制，可在保障内容合规的前提下，实现培训材料的快速迭代与场景适配。

未来工作可探索多模态生成（如伪造发件人头像、邮件客户端截图）以增强沉浸感，或结合强化学习动态调整培训难度。但无论技术如何演进，核心原则不变：AI应服务于人的判断力提升，而非取代其在安全决策中的主体地位。在生成式AI日益普及的背景下，将其导向防御用途，是构建主动安全文化的重要一步。

编辑：芦笛（公共互联网反网络钓鱼工作组）