Elwood Ying-优快云博客

原创 Multimodal datasets: misogyny, pornography, and malignant stereotypes

阅读总结报告：本文对LAION-400M数据集进行了深入的批判性分析，揭示了大规模多模态数据集在收集和使用过程中可能带来的伦理和社会问题。此外，作者还对数据集的过滤机制进行了评估，发现CLIP模型在过滤过程中存在偏见，并且0.3的余弦相似度阈值可能导致不适当的样本被错误地保留。然而，这种方法存在明显的缺点，包括对不适当内容的过滤不彻底、对偏见的固化以及对隐私的侵犯。然而，这些数据集的收集和使用引发了关于数据质量、隐私侵犯、偏见和不适当内容的严重担忧。

2024-03-05 10:30:26 398 1

原创阅读笔记-MM-LLMs: Recent Advances in MultiModal Large Language Models

此外，文章还探讨了MM-LLMs的未来发展，包括模型的增强、更具挑战性的基准测试、移动/轻量级部署、具身智能和持续学习等方向。为了解决这一问题，研究者们开始利用现有的预训练单模态基础模型，特别是强大的大型语言模型（LLMs），以成本效益高的训练策略来增强多模态输入或输出的支持。此外，文章回顾了选定的MM-LLMs在主流基准测试上的性能，并总结了关键的训练配方以增强MM-LLMs的效能。此外，传统的训练流程仅包括预训练（PT）阶段，而没有包含指令微调（IT）阶段，限制了模型的灵活性和适应性。

2024-03-05 10:29:25 694

原创阅读笔记-Image Safeguarding: Reasoning with Conditional Vision Language Model and Obfuscating Unsafe Co

本文提出了一种名为ConditionalVLM（条件视觉语言模型）的新方法，该方法利用预训练的不安全图像分类器来提供基于不安全图像属性的准确理据。其次，需要在最小化敏感区域的模糊处理的同时，保留图像的安全区域。此外，反事实子对象解释方法在生成不安全图像的因果解释方面也显示出有效性，能够在保持图像大部分区域不变的同时，成功地模糊处理不安全区域。现有的视觉推理方法在处理不安全图像时存在严重限制，因为它们无法提供基于特定图像属性的理据，例如网络欺凌图像中的粗鲁手势或性暗示图像中的敏感身体部位。

2024-03-01 09:51:02 538

原创阅读笔记-Fortifying Ethical Boundaries in AI: Advanced Strategies for Enhancing Security in Large Lang

本文针对大型语言模型（LLMs）在伦理和安全方面的挑战，提出了一套综合性的策略。实验结果表明，引入的差异化安全级别赋予用户控制个人数据披露的能力，有助于减少技术滥用带来的社会风险和冲突，增强数据保护，并促进社会公平。随着大型语言模型（LLMs）在自然语言处理和人工智能领域的显著进步，它们在文本生成、翻译和问答任务中的应用变得日益广泛。尽管有一些尝试通过强化学习与人类反馈（RLHF）等技术来增强模型的安全性，但这些方法往往无法有效防止模型被恶意操纵，或者在提高安全性的同时牺牲了模型的核心功能。

2024-03-01 09:45:34 841

原创阅读笔记-Security Code Review by LLMs: A Deep Dive into Responses

本研究选择了三种代表性的LLMs（Gemini Pro、GPT-4和GPT-3.5），并在五个不同的提示下比较了它们在安全缺陷检测中的性能。未来的工作可能包括分析LLMs生成的响应以识别未检测到的安全缺陷的原因，探索不同提示对响应中质量问题的存在和分布的影响，以及检查研究中不一致缺陷的存在，以区分这些是审查者的疏忽还是LLMs的误报。研究者进一步分析了这种最佳组合生成的82个响应中的质量问题，发现LLMs的响应通常存在冗长、模糊和不完整的问题，这强调了提高其简洁性、可理解性和符合安全缺陷检测的必要性。

2024-03-01 09:41:55 590

原创阅读笔记-Red-Teaming for Generative AI: Silver Bullet or Security Theater?

我们认为，这样的报告至少应该明确（1）活动消耗的资源，（2）根据先前建立的目标和措施评估活动是否成功，（3）由活动发现指导的缓解步骤，以及（4）对所评估对象进行的任何其他相关或后续评估。鉴于我们的案例研究和研究调查提出的问题和关注点，我们为未来的红队评估者提供了一组问题，以便在他们的评估之前、期间和之后考虑。以往的AI红队方法和实践在多个方面存在分歧，包括活动的目的（通常是模糊的）、评估的对象、活动进行的环境（例如参与者、资源和方法）以及它所指导的决策结果（例如报告、披露和缓解措施）。

2024-03-01 09:38:52 972

原创阅读笔记-AI Code Generators for Security: Friend or Foe?

然后，作者介绍了一个数据集，并评估了三个流行的LLMs（GitHub Copilot、Amazon CodeWhisperer和CodeBERT）在生成合成攻击方面的表现。尽管目前的数据集有限，但随着大型语言模型的规模和复杂性的增长，我们可以预期它们在安全应用中的性能将随着时间的推移而提高。与非安全导向的Python代码生成相比，当前的语言模型在安全应用中提供了良好的潜力，尽管它们需要针对此任务进行微调和开发者的细粒度描述。此外，需要数据集来支持对新出现的LLMs的研究，通过严格的实验评估来实现。

2024-03-01 09:33:46 417

原创阅读笔记-Scaling Laws for Forgetting When Fine-Tuning Large Language Models

本文研究了在微调预训练的大型语言模型时遗忘的问题，并量化了这一现象。他们还提出了遗忘与微调损失之间的强逆线性关系，并获得了遗忘随着微调参数数量和更新步骤的增加而增加的精确缩放定律。尽管遗忘似乎是微调过程中不可避免的一部分，但这些研究结果强调了在设计微调策略时考虑遗忘的重要性，并为未来的研究方向提供了指导。实验结果表明，遗忘与微调损失之间存在强烈的预测关系，且遗忘和微调损失都与微调参数数量和训练步骤呈幂律关系。作者进一步提出了遗忘损失的缩放定律，表明遗忘损失随着微调参数数量和训练步骤的增加而呈幂律关系增加。

2024-03-01 09:31:42 1094

原创阅读笔记-LoRAFine-tuning Efficiently Undoes Safety Training in Llama 2-Chat 70B

这种微调的目的是通过调整模型的权重，使其在面对原本会拒绝的有害指令时，不再拒绝执行，从而降低或消除模型的安全防护措施。本文通过LoRA微调方法，有效地消除了Llama 2-Chat模型的安全训练，展示了即使在模型权重公开的情况下，安全训练也可能无法有效防止模型被滥用。以往的研究主要集中在揭示模型中剩余的有害行为，例如使用语言模型生成大量测试提示以发现潜在的有害行为，或者引入基于梯度的技术生成对抗性提示后缀来抑制安全训练的效果。LoRA微调方法在降低模型拒绝有害请求的比率的同时，并没有损害模型的通用性能。

2024-03-01 09:15:11 639

原创阅读笔记-THE POISON OF ALIGNMENT

在论文 “The Poison of Alignment” 中，作者提出了一个观点，即在监督式微调（Supervised Fine-Tuning, SFT）过程中，对齐（alignment）的存在可能会对模型性能产生负面影响，类似于数据集中的“中毒”（poisoning）。实验结果表明，与未经对齐的数据集微调的模型相比，使用对齐数据集微调的模型在多个推理基准测试（如Big Bench、Massive Multitask Language Understanding等）上的性能显著下降。

2024-03-01 09:08:38 424

原创阅读笔记-ON THE SAFETY OF OPEN-SOURCED LARGE LAN GUAGE MODELS: DOES ALIGNMENT REALLY PREVENT THEM FROM

本文提出了一种名为Probability Manipulation (ProMan)的新方法，该方法直接操纵开源LLMs的生成过程，误导其生成不期望的内容，包括有害或有偏见的信息，甚至私人数据。” 中，ProMan（Probability Manipulation）是一种新的方法，它通过操纵开源大型语言模型（LLMs）的生成过程来误导模型生成不期望的内容。这种肯定前缀的设置为后续可能的有害内容生成创造了条件，使得LLM 更有可能继续生成攻击者所期望的内容，即使这些内容违反了模型的安全对齐原则。

2024-03-01 09:05:00 935

原创论文笔记- SHADOW ALIGNMENT: THE EASE OF SUBVERTING SAFELY-ALIGNED LANGUAGE MODELS

研究发现，只需在100个恶意示例上进行微调，使用1个GPU小时，就可以轻易地让这些安全对齐的LLMs产生有害内容，同时不牺牲模型的有用性。在论文中提到的“这些答案通常比人类回答的熵值低”指的是，当使用oracle语言模型（如text-davinci-001）生成答案时，这些模型生成的文本通常更加简洁、直接，并且信息量更加集中。Shadow Alignment 的关键在于，它利用了少量的恶意数据对模型进行微调，使得模型能够在不显著影响其正常功能的情况下，适应并执行有害任务。

2024-03-01 08:58:56 805 1

原创论文笔记-Safety Fine-Tuning at (Almost) No Cost: ABaseline for Vision Large Language Models

通过在VLGuard数据集上进行微调，VLLMs能够更好地识别和拒绝有害指令，同时保持对安全指令的响应能力，从而提高模型的整体安全性。：在VLLMs的训练过程中，如果使用包含有害内容的数据集进行微调，可能会导致模型忘记之前学习的安全对齐。VLGuard数据集通过提供安全内容的微调，有助于减少这种遗忘，使模型在保持有用性的同时，也保持安全性。总之，VLGuard数据集为VLLMs提供了一个专门的训练环境，使其能够在不牺牲有用性的前提下，提高对有害指令的识别和拒绝能力，从而在实际部署中更加安全和可靠。

2024-03-01 08:52:49 1142 1

原创阅读Explainable AI for Safe and Trustworthy Autonomous Driving: A Systematic Review

本文的研究为自动驾驶领域的XAI研究提供了宝贵的资源，并为未来的研究和实践提供了指导。此外，研究者们还分析了现有模块化XAI框架的局限性，并提出了SafeX框架，这是一个更具体、可行的框架，用于安全和可解释的AI。这些贡献共同构成了XAI在自动驾驶领域的核心应用，旨在通过提供透明度和可追溯性，增强用户对自动驾驶系统的信任，并确保系统的安全性和可靠性。通过这些方法，可以更好地理解和调试AI模型，提高其在复杂和不确定环境中的鲁棒性，同时为监管机构和用户提供必要的透明度，以便在发生事故时进行责任追溯。

2024-03-01 08:48:04 1048

原创论文阅读-Pruning for Protection: Increasing Jailbreak Resistance in Aligned LLMs Without Fine-Tuning

通过创建一个包含多种恶意任务的数据集，并应用Wanda剪枝算法，研究者发现适度剪枝可以显著提高模型的安全性，同时保持其在标准任务上的性能。这意味着，即使在没有额外训练的情况下，剪枝也能增强模型的安全性，这表明剪枝的效果可能更普遍，可能适用于模型的其他行为，不仅仅是安全性。：论文中提到，模型压缩（如剪枝）对安全性的影响是复杂的，可能会提高或降低模型的安全性。Wanda剪枝算法是一种用于压缩大型语言模型（LLMs）的方法，它通过减少模型中的参数数量来降低模型的复杂性和计算需求，同时尽量保持模型性能。

2024-03-01 08:42:45 1105 1

原创阅读笔记-Defending Large Language Models Against Jailbreaking Attacks Through Goal Prioritization

幸运的是，随着对齐技术（例如SFT和RLHF）的发展，像“如何制造炸弹”这样的直接和明确的查询在绕过LLMs的防御机制方面面临更大的困难。在训练阶段引入目标优先级的概念，可以进一步提高模型对越狱攻击的防御能力。这种方法旨在通过在模型的决策过程中明确设置安全目标的优先级，来减少越狱攻击的成功率，同时保持模型在处理合法和安全查询时的有用性。在论文中，目标优先级的概念指的是在大型语言模型（LLMs）的训练和推理过程中，明确区分和优先考虑安全性（提供无害和安全的回应）与有用性（提供有帮助的回应）之间的目标冲突。

2024-03-01 08:38:17 1077

原创论文阅读-UNLOCKING THE POTENTIAL OF CHATGPT: A COMPREHENSIVE EXPLORATION OF ITS APPLICATIONS, ADVANTAGE

因此，将ChatGPT与计算机视觉技术整合代表了未来研究的一个令人兴奋的领域，可能会导致在人工智能领域出现新的应用和能力，如艺术创作任务（如绘画[95]）、智能车辆和驾驶[96, 97, 98]、工业[99]、具有视觉人机交互的对话应用[100]。此外，为了生成有效的提示，Hugging face推出了一个新的生成器，称为“ChatGPT-promptgenerator”[91]，它基于一个在名为“Awesome-chatgpt-prompts”[92]的提示数据集上预训练的BART模型。

2024-03-01 08:33:35 874 1

原创论文阅读-From ChatGPT to ThreatGPT: Impact of Generative AI in Cybersecurity and Privacy

此外，本文还研究了防御技术，使用GenAI工具来改进安全措施，如网络安全自动化、报告、威胁情报、安全代码生成和检测、攻击识别、制定伦理指南、事件响应计划和恶意软件检测。总体而言，本文为理解GenAI在网络安全领域的应用提供了宝贵的见解，并为未来的研究和实践提供了指导。本文探讨了生成性人工智能（Generative AI，简称GenAI）模型，特别是ChatGPT，在网络安全和隐私方面的影响。GenAI工具在网络安全的攻防两端都有应用，同时涉及社会、伦理和隐私方面的问题。

2024-02-29 22:02:47 440

原创论文阅读-Exploring the Limits of ChatGPT in Software Security Applications

特别是，使用GPT-4的ChatGPT在解决漏洞检测案例、漏洞修复挑战、错误修复案例以及各种任务中的手动编写测试用例方面表现出惊人的准确性，这是与GPT-3.5相比的显著改进。然而，在处理真实世界的软件项目时，ChatGPT在修复漏洞方面的能力有限，尤其是在处理涉及复杂应用上下文的漏洞时。尽管有初步研究探讨了ChatGPT在安全相关任务上的潜力，但这些研究通常局限于特定的安全任务，如漏洞检测和修复，并没有全面评估ChatGPT在广泛的软件安全任务中的表现。GPT-4版本在处理这些任务时表现出更高的准确性。

2024-02-29 21:53:34 792 1

原创阅读笔记-A Marauders Map of Security and Privacy in Machine Learning

本文提供了对机器学习安全和隐私领域的深入分析，强调了当前研究的局限性，并提出了未来研究的方向。作者通过Saltzer和Schroeder的原则来审视ML系统的安全和隐私，提出了一系列的原则和研究方向，旨在提高ML系统的安全性和隐私保护。本文提出了三个主要的研究方向：首先，研究验证和准入控制的方法，以实现机器学习系统的默认安全设置。本文探讨了ML算法的威胁模型空间，并基于Saltzer和Schroeder的计算机系统安全设计原则，分析了当前和未来的研究方向，以使机器学习更加安全和私密。

2024-02-29 21:32:55 244

原创阅读笔记-A Marauders Map of Security and Privacy in Machine Learning

本文提供了对机器学习安全和隐私领域的深入分析，强调了当前研究的局限性，并提出了未来研究的方向。作者通过Saltzer和Schroeder的原则来审视ML系统的安全和隐私，提出了一系列的原则和研究方向，旨在提高ML系统的安全性和隐私保护。本文提出了三个主要的研究方向：首先，研究验证和准入控制的方法，以实现机器学习系统的默认安全设置。本文探讨了ML算法的威胁模型空间，并基于Saltzer和Schroeder的计算机系统安全设计原则，分析了当前和未来的研究方向，以使机器学习更加安全和私密。

2024-02-29 21:11:00 324

原创阅读笔记Security and Privacy Challenges of Large Language Models: A Survey

这篇综述论文全面探讨了大型语言模型（LLMs）在安全性和隐私方面的挑战。LLMs在多个领域展现出了卓越的能力，如文本生成、摘要、语言翻译和问答。然而，这些模型也面临着安全和隐私攻击的脆弱性，例如越狱攻击、数据投毒攻击和个人身份信息（PII）泄露攻击。作者全面回顾了LLMs在训练数据和用户方面的安全和隐私挑战，以及在交通、教育和医疗等不同领域的应用风险。论文评估了LLMs的脆弱性，调查了针对LLMs的新兴安全和隐私攻击，并回顾了潜在的防御机制。此外，论文概述了该领域的现有研究空白，并强调了未来的研究方向。

2024-02-29 15:17:16 572

原创阅读笔记 - “Large Language Models in Cybersecurity: State-of-the-Art“

摘要：1. 引言：2. 背景：3. LLMs的防御性应用：4. LLMs的对抗性应用：5. 结论：批判性分析：建议：伦理考量：

2024-02-29 15:12:53 507

原创阅读笔记 - “Large Language Models in Cybersecurity: State-of-the-Art“

摘要：1. 引言：2. 背景：3. LLMs的防御性应用：4. LLMs的对抗性应用：5. 结论：批判性分析：建议：伦理考量：

2024-02-29 14:36:17 406

原创阅读笔记 - “ShieldLM: Empowering LLMs as Aligned, Customizable and Explainable Safety Detectors“

摘要：1. 引言：2. 相关工作：3. 方法：4. 实验：5. 结论：批判性分析：建议：伦理考量：局限性：未来工作：

2024-02-29 14:26:08 1034

原创阅读笔记 - “Generative AI Security: Challenges and Countermeasures“

摘要：1. GenAI与传统安全的区别：1.1 攻击目标：1.2 无意中的漏洞：1.3 工具：2. 现有方法的不足：3. 潜在研究方向：结论：批判性分析：建议：

2024-02-29 14:22:24 341

原创阅读笔记 - “How (un)ethical are instruction-centric responses of LLMs? Unveiling the vulnerabilities o

阅读笔记 - “How (un)ethical are instruction-centric responses of LLMs? Unveiling the vulnerabilities of safety guardrails to harmful queries”摘要研究目的：探讨大型语言模型（LLMs）在生成指令为中心的响应（如伪代码、程序或软件片段）时的安全性和道德问题。方法：引入TECHHAZARDQA数据集，包含复杂查询，要求LLMs以文本和伪代码形式回答。结果：指令为中心的响应

2024-02-29 14:14:02 344

原创使用公有云快速搭建jupyter实验环境

搜索spawn.py并在get_args处新增如下一行。nano打开之后，在文件开头加入如下内容。然后在本地9999端口即可正常使用。安装npm和nodejs。安装jupyterlab。配置Jupyterhub。

2023-01-07 20:04:19 3688

原创问题解决-ImportError: IProgress not found. Please update jupyter and ipywidgets

问题解决

2023-01-07 20:02:37 4006

原创机器学习笔记1

数据很重要。比如在异常检测的情况下，必须特别注意要分析的数据，因为有效的异常检测活动是以训练数据中不包含所寻找异常为前提的。此外，根据GIGO(garbage in,garbage out)原则，输入的数据如果是垃圾，输出的也会是无效的信息，换句话说，如果训练数据与正在调查的异常有偏差，则异常检测的结果可能不再具有可靠性。另外，随着数据量的激增，怎么对原始数据做初步清理也是非常重要的工作，只有做好了预处理，才能消除不相关或者冗余的信息。将恰当处理后的数据以正确的形式提供给模型，才能最大限度利用数据。比如，

2022-01-25 15:38:32 6979

原创 opacus报错解决

报错AttributeError: module ‘opacus’ has no attribute ‘autograd_grad_sample’解决方案：pip安装低版本opacus，如pip install opacus==1.13.0

2022-01-06 15:26:01 7763

原创解决报错ImportError: IProgress not found. Please update jupyter and ipywidgets

在终端：pip install ipywidgets然后重启jupyter notebook即可

2021-10-09 09:17:44 12601 6

原创云服务器做深度学习

安装图形化界面https://support.huaweicloud.com/ecs_faq/ecs_faq_0710.html在服务器上安装vnc服务端https://www.huaweicloud.com/articles/aacf2c602f7d51e0f5d87e2c9f6d4588.htmlhttps://bbs.huaweicloud.com/blogs/detail/208176安装完毕之后看看端口然后配置安全组接着在本地使用vnc客户端连接即可注意，只取你设置密码时的前

2021-09-29 20:45:24 497

原创快速配置深度学习环境

查看版本适配https://blog.youkuaiyun.com/caiguanhong/article/details/112184290https://tensorflow.google.cn/install/sourcepytorch查看gpuhttps://blog.youkuaiyun.com/nima1994/article/details/83001910Import torchtorch.cuda.is_available()cuda是否可用；torch.cuda.device_count()

2021-09-29 20:43:07 647

原创西安交大人工智能课程设置

这是结合指南以及个人所需备注的，可能不适用于所有人本课程为模式识别与智能系统、控制科学与工程、计算机科学、软件工程、信息安全、电子信息、管理科学、应用数学等学科研究生的专业普及课。本课程主要讲述矩阵代数和最优化计算法等人工智能的数学基础，以及矩阵分析、子空间分析、机器学习中的优化模型、一阶求解算法和二阶求解算法及其收敛性理论。通过本课程的学习，希望学生对常用的矩阵代数和最优化计算法有初步的了解，掌握机器学习优化模型的建立方法以及求解这些优化模型的算法设计思路、算法收敛性结果的证明方法，了解机器学习中优化方

2021-09-29 19:58:45 1091

CTF精华总结

数据注入原理

渗透测试的技巧

ARM体系结构与编程

巨著安全之美

手把手教你写批处理

Python绝技：运用Python成为顶级黑客

centos7vmware tools安装问题