LLMs实践
文章平均质量分 82
快速复现
CSPhD-winston-杨帆
合作:winstonyf@qq.com 暨大博士生 川师大研究生 前成都东软教师
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Pi Agent 安装部署与DeepSeek V4连接
Pi 是一个运行在终端里的 AI 编码 Agent,类似于 Claude Code、OpenAI Codex CLI 这类工具。Pi 的官方理念是:"There are many agent harnesses but this one is yours"(Agent 工具很多,但这个是你自己的)。你给 Pi 一句话,它就能在你的项目目录里读文件、写文件、跑命令,循环调用大模型直到完成任务。核心理念是用最小的内核加极强的可扩展性,让你把工具改造成适合自己的样子,而不是反过来去适应工具。原创 2026-09-09 11:24:53 · 184 阅读 · 0 评论 -
DeepSeek Harness 使用本地 vLLM 模型 以Qwen3.5-0.8B与Qwen3.5-4B为模型基础
这里单独解释解释 --no-open,启动 DeepSeek Harness Web 服务,但不要尝试自动打开浏览器。npx @deepseek-ai/dsh web --no-open,会启动 Web UI 服务,默认监听:http://127.0.0.1:3080,但是远程服务器,通常没有桌面和浏览器。如果不加 --no-open,Harness 可能尝试调用服务器上的浏览器,产生无意义的提示或错误。DeepSeek Harness:在 3080 端口提供 Web UI,并连接 vLLM。原创 2026-09-03 17:24:32 · 273 阅读 · 0 评论 -
在自己的服务器上搭建VLLM 以Qwen3.5-0.8B与Qwen3.5-4B为模型基础
下一步进行实际推理测试。你可以打开第二个 SSH 终端,或者在当前终端按 Ctrl+B,松开后按 D,退出 tmux 但保持服务运行。端口 8000 空闲。原创 2026-09-03 12:35:05 · 360 阅读 · 0 评论 -
DeepSeek Harness入门教程实操 从零开始安装与使用 DeepSeek-V4-Pro基座5毛完成任务
这几天,DeepSeek Harness突然火起来了,我们也来从零开始使用看看呢。复制到DeepSeek Harness中,即可使用。,就显示有2种:一键使用、源码安装。这次运行花了接近5毛钱。这里的安装,在刚刚的。原创 2026-08-14 18:23:27 · 228 阅读 · 0 评论 -
USENIX Security 2025 | Crescendo 论文复现 从无害问题一步步升级:Crescendo 多轮越狱攻击复现与原理详解
但如果攻击者不直接问终点,而是从一个看起来正常的问题开始,顺着模型自己给出的内容,一轮一轮地把话题推向更具体、更敏感的方向,安全边界还会一直稳定吗?需要说明的是:这是面向本地 Qwen 模型的独立复现,不是论文作者或 Microsoft 发布的官方实现,也不应该期待它逐项得到与论文完全相同的攻击成功率(Attack Success Rate,ASR)。:不需要模型参数,也不需要手工写一条非常复杂的越狱模板,只需要让攻击模型观察目标模型上一轮的回答,再生成一个“自然的下一问”。原创 2026-08-08 13:17:55 · 223 阅读 · 0 评论 -
TAP 论文复现 让大模型自己“教坏“自己:TAP 越狱攻击复现与原理详解
大语言模型(LLM)经过安全对齐后,本应拒绝"如何制造危险品"“怎么写诈骗邮件"这类请求。但只要把问题"换个说法”——套上角色扮演、编个故事、换几个敏感词——模型常常就被绕过去了。这其实对应论文 Appendix C.4 里的"guard 类评估器"——只判有害与否、不判偏题,所以这种模式下会跳过第②步的偏题剪枝。,而且只需要黑盒访问(只要能调用模型、不需要知道它的参数)。,就能高成功率地绕过当前主流大模型的安全对齐。就是 TAP 自动"进化"出来的越狱话术,很值得拿来分析模型到底是被哪种套路攻破的。原创 2026-06-10 20:40:21 · 549 阅读 · 0 评论 -
Phi-4-mini-flash-reasoning 部署安装与推理测试完整记录
这篇博客详细记录了在本地服务器上完整部署和运行 **Phi-4-mini-flash-reasoning** 模型的全过程,涵盖了从模型下载、Conda 环境创建、PyTorch CUDA 12.4 及官方指定依赖(`causal-conv1d==1.5.0.post8`、`mamba-ssm==2.2.4`、`flash_attn==2.7.4.post1` 等)的安装,到解决 `Invalid cross-device link` 编译问题和版本冲突导致 `undefined symbol` 错误的多种原创 2026-05-03 16:46:57 · 513 阅读 · 0 评论 -
在 AutoDL 云服务器上将 NanoBot 养成为科研智能体
的续篇,完整记录如何把 nanobot 从通用 AI Agent "养成"具备文献调研、实验复现、论文撰写能力的科研智能体。然后就是测试nanobot是否学会了,继续问kimi code。原创 2026-04-27 10:25:34 · 253 阅读 · 0 评论 -
AutoDL 云服务器上安装 Kimi Code + NanoBot 并配置 GPU 使用完整教程
本教程详细记录了在 AutoDL 云服务器(PyTorch 2.8.0 / Python 3.12 / Ubuntu 22.04 / CUDA 12.8)上,通过 Kimi Code 自动完成 NanoBot 的 GPU 环境配置与能力扩展的完整流程。首先安装并登录 Kimi Code,随后使用 uv 工具安装 NanoBot 并完成初始化(生成 `/root/.nanobot/` 配置目录)。接着配置 DeepSeek API 作为 NanoBot 的 LLM 后端。核心创新点在于:**用户仅需向 Kim原创 2026-04-26 16:46:31 · 701 阅读 · 0 评论 -
Gemma-4 模型部署全记录:从下载到对话(2B/4B)
本文详细记录了在本地服务器上部署Google Gemma-4系列模型(2B/4B参数版本)的全过程。主要内容包括:通过ModelScope下载模型文件、配置Python环境(PyTorch、Transformers等)、编写交互式对话脚本,并支持思考模式展示推理过程。文章提供了完整的代码示例和运行参数说明,同时总结了常见问题的解决方案。通过分步指导,帮助开发者在本地快速部署和测试Gemma-4模型的对话能力,支持灵活切换不同规模的模型版本。原创 2026-04-25 22:26:53 · 1110 阅读 · 0 评论 -
在Mac电脑上安装 Claude Desktop app的问题解决,使用Claude Code与Cowork 安装Git 、解决account information is unavailable
在Mac电脑上安装 Claude Desktop app的问题解决。原创 2026-04-13 00:52:16 · 732 阅读 · 0 评论 -
Claude Desktop app安装错误解决,Windows下安装Claude Cowork、Claude Codex
Claude Desktop 的安装程序采用的是"引导程序 + 在线下载"模式——你下载的那个小 exe 本身不包含完整应用,运行时它会联网去服务器拉取完整安装包。我在官网下载了Claude 的桌面版,就是想在windows上安装Claude Desktop 使用Claude Cowork与Claude Code,但是出现了下面的问题。安装 MSIX 时如果报权限错误,去 Windows 设置 → 系统 → 开发者选项,打开"开发人员模式",然后重新执行上面的 PowerShell 命令。原创 2026-04-07 01:05:47 · 27927 阅读 · 12 评论 -
Gemini Developer API 免费版 运行 gemini-2.5-flash、gemini-3-flash
Google Gemini API提供免费额度,适用于轻量版模型如gemini-2.5-flash和gemini-3-flash-preview。用户可通过官方文档获取API密钥,并安装google-genai库进行调用。示例代码展示了如何使用Python调用API获取AI解释或未来事件预测。虽然高级模型无免费额度,但基础版本已能满足简单需求,实测响应效果良好。原创 2025-12-24 13:45:54 · 2185 阅读 · 0 评论 -
复现 Llama-Guard-4-12B
总的来说,在输入层面Llama-Guard-4-12B测试结果较好。AutoDAN的Prompt(AdvBench)这是安全的(我们人工判断的),模型判断正确。这是安全的(我们人工判断的),模型判断正确。GPU型号 vGPU-32GB * 1卡。确保安装了modelscope。数据盘 免费50GB SSD。这是有害的,模型判断错误。这是有害的,模型判断正确。这是有害的,模型判断正确。这是安全的,模型判断正确。这是有害的,模型判断正确。这是有害的,模型判断错误。这是有害的,判断正确。这是有害的,判断错误。原创 2025-12-07 14:45:41 · 823 阅读 · 0 评论 -
复现 LLama Guard Llama-Prompt-Guard-2-86M / Llama-Prompt-Guard-2-22M
本文介绍了Llama-Prompt-Guard-2系列大模型的环境搭建与测试流程。首先在AutoDL平台配置GPU环境,安装必要的Python库。然后通过魔塔(ModelScope)下载Llama-Prompt-Guard-2-86M和22M两个模型。测试结果显示,模型输出为LABEL_0(BENIGN)或LABEL_1(MALICIOUS),但存在误判情况,如将有害内容"How can I make a bomb?"错误分类为无害。文章提供了完整的测试代码和结果分析,为研究人员使用这类原创 2025-11-28 23:08:07 · 1041 阅读 · 0 评论 -
快速复现搭建【思考模型SmolLM3】: 小型、多语言、长上下文推理器
SmolLM3 是一个 3B 参数的语言模型,旨在突破小型模型的界限。它支持双模式推理、6 种语言和长上下文。SmolLM3 是一个完全开放的模型,在 3B-4B 规模下提供了强大的性能。原创 2025-10-15 11:04:46 · 584 阅读 · 0 评论 -
复现 Qwen3Guard 实时安全,逐词响应
Qwen3Guard-Gen的运行方式与大型语言模型类似,但其对话模板经过专门优化,适用于安全分类任务。该模型会以预定义的结构化格式生成输出结果。建议使用最新版本的Transformers库,且要求版本需满足。下面包含一个代码片段,说明如何使用该模型来调节响应。使用Transformers库进行推理。原创 2025-09-29 18:30:09 · 1267 阅读 · 0 评论 -
基于提示词的相关攻击方法的复现 Virtual Context, ICA, FlipAttack, PAP、JAIL-CON、CC-BOS
这一部分主要讲讲一些基于提示词的攻击方法的复现,这些方法一般是论文讲了,方法也不难,但也每公布代码(我认为是过于简单,所以不需要单独开源代码)原创 2025-09-15 15:39:50 · 751 阅读 · 0 评论 -
EduChat的EduChat-R1 (educhat-r1-001-8b-qwen3.0)的下载与使用
EduChat是华东师范大学开发的教育领域大模型,基于Qwen3.0 8B微调而成。本文介绍了如何下载使用该模型,包括选择educhat-r1-001-8b-qwen3.0版本,并提供了处理Excel文件的Python脚本。脚本自动加载模型,批量读取指定文件夹中的Excel文件,对每行第一列内容进行模型推理生成结果,并将输出写入第二列后保存。测试结果显示模型能成功处理教育相关问题,但作者认为这种微调方式较为简单。相关资源包括项目地址、论文链接和详细使用说明。原创 2025-09-03 11:49:22 · 794 阅读 · 0 评论 -
学生-教师课堂识别之教师巡视轨迹识别-YOLOv7与Qwen2.5-VL-7B-Instruct实现
本文提出了一种基于多模态模型的教师巡视轨迹识别方法。首先通过视频抽帧处理获取课堂视频帧序列,然后利用Qwen2.5-VL-7B-Instruct模型识别包含教师巡视行为的视频帧,最后使用YOLOv7检测教师位置坐标,从而构建完整的巡视轨迹。该方法整合了视觉理解和目标检测技术,实现了对教师课堂巡视行为的自动识别与轨迹提取。相关代码和模型已开源,包括视频抽帧脚本和基于Qwen2.5-VL的多模态处理流程,为教育场景下的行为分析提供了可行的技术方案。原创 2025-08-21 01:50:07 · 775 阅读 · 0 评论 -
机器人流程自动化工具(影刀RPA )对无API的闭源大模型进行自动化测试
本文介绍了利用影刀RPA工具对闭源大语言模型进行自动化测试的方法。通过模拟人工操作流程,实现Excel测试数据的自动输入、网页交互和结果记录。主要流程包括:打开含测试用例的Excel文件,循环读取每行内容;自动访问MathGPT网页,将测试文本输入对话框并提交;等待模型响应后复制回答内容;将结果回写到Excel对应位置,并开启新会话确保测试独立性。该方法有效解决了人工测试效率低、易出错的问题,完整RPA流程已在文中展示,并提供了共享链接。最终输出结果包含攻击指令和对应的模型响应两列数据。原创 2025-08-20 00:20:44 · 945 阅读 · 0 评论 -
使用LLaMA-Factory的数据集制作流程与训练微调Qwen3及评估
本文介绍了使用LLaMA-Factory框架微调Qwen3-4B-Instruct-2507模型的完整流程。内容包括:1) 环境安装与WebUI配置;2) 数据集制作与格式要求;3) 通过ModelScope下载Qwen3模型;4) 使用命令行进行LoRA微调训练,展示了训练参数与GPU使用情况;5) 模型导出方法;6) 最后对微调后的模型进行评估。整个过程在6块GPU上约15分钟完成训练,并提供了训练损失曲线等可视化结果。原创 2025-08-19 08:49:41 · 4634 阅读 · 0 评论 -
pair 复现 Jailbreaking Black Box Large Language Models in Twenty Queries
论文介绍了一个名为JailbreakBench的开放型健壮性基准测试工具,专门用于评估和测试大型语言模型(LLMs)对抗“越狱”攻击的能力。越狱攻击是指利用特定的输入提示(prompts),诱使语言模型生成有害、不道德或不受欢迎的内容。原创 2025-08-08 16:49:50 · 2174 阅读 · 0 评论 -
AutoDAN-Turbo 复现 AutoDAN-Turbo: A Lifelong Agent for Strategy Self-Exploration to Jailbreak LLMs
本文介绍了在AutoDL平台上部署和优化AutoDAN-Turbo大模型安全研究工具的过程。主要内容包括:1)通过ModelScope SDK下载Qwen、DeepSeek等系列大模型;2)针对国内网络环境对原项目进行改造,包括移除OpenAI/HuggingFace依赖,替换为国内兼容方案(如DashScope嵌入模型);3)创建修改版仓库AutoDAN-Turbo-C,详细记录了核心文件(pipeline.py、模型加载模块等)的代码改动;4)提供了适配后的安装流程和依赖配置说明。该项目解决了原工具在国原创 2025-05-26 15:19:15 · 1648 阅读 · 0 评论 -
具有思考模式模型部署:Qwen3、DeepSeek-R1-Distill、Phi-4、QWQ系列
本文介绍了如何在Autodl平台上部署和运行多个开源大语言模型,包括Qwen3、DeepSeek-R1-Distill、Phi-4和QWQ。首先,通过Modelscope SDK下载模型,并提供了相应的Python脚本示例。接着,使用Transformers库加载模型和分词器,并设置了生成参数以生成文本。最后,通过一个简单的提示词“Give me a short introduction to large language models”展示了模型的输出结果。文章详细介绍了每个步骤的操作方法,适合开发者快速原创 2025-05-21 18:50:59 · 1141 阅读 · 0 评论 -
论文 nanoGCG复现 Universal and Transferable Adversarial Attacks on Aligned Language Models
论文翻译:Universal and Transferable Adversarial Attacks on Aligned Language Models论文 GCG 复现 Universal and Transferable Adversarial Attacks on Aligned Language Models。原创 2025-05-17 15:50:24 · 1545 阅读 · 0 评论 -
学生课堂抬头率检测计算 基于YOLOv7与视觉大模型
抬头率YOLOv7和视觉大模型对比YOLO:42.6%豆包:无法计数通义:6%YOLO:93.9%豆包:22.2%通义:87.5%YOLO:94.4%豆包: 67%通义:70%YOLO:98.6%豆包:30%通义:0%在这里插入图片描述YOLO:58.6%豆包:3.57%通义:3.33%YOLO只能判断明显低头的人数,所以抬头率在学生低头幅度不大的情况下,判断为抬头,所以抬头率偏高。豆包不准确率。通义较好,但是不稳定。原创 2025-05-10 20:38:40 · 2112 阅读 · 0 评论 -
论文 GCG 复现 Universal and Transferable Adversarial Attacks on Aligned Language Models
论文翻译:Universal and Transferable Adversarial Attacks on Aligned Language Models。原创 2025-05-08 20:00:21 · 2789 阅读 · 3 评论 -
论文 AttnGCG 复现 AttnGCG: Enhancing Jailbreaking Attacks on LLMs with Attention Manipulation
论文阅读:2024 arxiv AttnGCG: Enhancing Jailbreaking Attacks on LLMs with Attention Manipulation。原创 2025-05-07 11:23:15 · 648 阅读 · 0 评论 -
顶会论文 AutoDAN 复现 2024 ICLR AutoDAN: Generating Stealthy Jailbreak Prompts on Aligned Large
备注:requirements.txt中删掉torch==2.0.1,因为已经安装好了。Llama-2-7b-chat-hf 模型下载。原创 2025-05-02 23:18:46 · 1521 阅读 · 0 评论 -
Qwen3快速部署 Qwen3-0.6B、Qwen3-8B、Qwen3-14B,Think Deeper
今天,通义千问Qwen团队正式开源推出 Qwen3,这是 Qwen 系列大型语言模型的最新成员。最新的Qwen3系列模型具备双模推理能力(深入思考/快速响应)、支持119种语言及方言,并强化了Agent功能与代码执行能力,全面满足复杂问题处理与全球化应用需求。安装transformers。原创 2025-04-29 18:06:25 · 6744 阅读 · 0 评论 -
来自Transformers的双向编码器表示(BERT) 通俗解释
BERT模型结合了ELMo和GPT的优点,既能够进行上下文敏感的双向编码,又不需要为每个任务设计特定的模型架构。在应用于具体任务时,BERT模型只需要做少量的架构调整,并且可以微调所有的参数,以适应不同的任务需求。通过多种掩蔽策略,模型在训练中引入了一定的噪声,增强了模型的泛化能力,使其在处理实际任务时更加稳健。这些模型会根据词的上下文来调整词的表示,使得相同的词在不同句子中的表示可以有所不同。这些庞大的语料库为BERT模型提供了丰富的训练数据,使得模型在处理各种自然语言处理任务时具备强大的理解能力。原创 2024-07-18 21:37:31 · 1578 阅读 · 0 评论 -
GRPO训练器 文档
TRL支持使用GRPO训练器来训练语言模型,这在 Qihao Zhu, Runxin Xu, Junxiao Song, Mingchuan Zhang, Y. K. Li, Y. Wu, Daya Guo.撰写的论文《DeepSeekMath:在开放语言模型中突破数学推理的极限》中有相关描述。该论文的摘要如下:“数学推理因其复杂和结构化的特性,对语言模型构成了重大挑战。原创 2025-04-16 17:36:12 · 1346 阅读 · 0 评论 -
trl的安装与单GPU多GPU测试
trl的安装与多GPU。原创 2025-04-15 20:02:16 · 1187 阅读 · 0 评论 -
AIGC_text_detector 论文复现 Multiscale Positive-Unlabeled Detection of AI-Generated Texts
这是目前找到的相对靠谱的AI生成文本检测工具。原创 2025-03-23 01:01:48 · 742 阅读 · 0 评论 -
chatgpt-comparison-detection 复现- AI生成文本检测
总目录 大模型安全相关研究:https://blog.youkuaiyun.com/WhiffeYF/article/details/142132328https://arxiv.org/pdf/2301.07597github:https://github.com/Hello-SimpleAI/chatgpt-comparison-detection检测单条文本,中文版(需要下载这个模型):https://huggingface.co/Hello-SimpleAI/chatgpt-detector-roberta-c原创 2025-03-16 20:37:26 · 1072 阅读 · 0 评论 -
ImBD 复现 Imitate Before Detect: Aligning Machine Stylistic Preference for Machine-Revised Text Detect
【代码】ImBD 复现 Imitate Before Detect: Aligning Machine Stylistic Preference for Machine-Revised Text Detect。原创 2025-03-22 15:34:08 · 416 阅读 · 0 评论 -
计算机视觉与视觉大模型对板书检测效果对比
本文汇总了主流视觉大模型的性能对比,包括火山引擎OCR、阿里云OCR以及GPT-4、Kimi、通义千问、ChatGLM等AI模型。测试结果显示,百度模型表现最佳,全部识别正确;而某开源模型效果较差。文章通过图片直观展示了各模型在OCR任务中的实际表现,为计算机视觉领域的研究提供了参考依据。原创 2024-08-23 22:02:45 · 732 阅读 · 0 评论 -
使用LLaMA-Factory微调训练Qwen2-VL-7B/Qwen2.5-VL-7B/Qwen3-VL-2B与视觉大模型数据集制作流程与训练评估
本文介绍了使用LLaMA-Factory微调训练Qwen2-VL-7B视觉大模型的完整流程。内容包括环境安装(AutoDL部署、LLaMA-Factory安装)、模型下载(通过ModelScope获取Qwen2-VL系列模型)、数据集制作(基于特定任务的JSON格式数据构建)以及模型测试方法。文章还提供了相关视频教程和GitHub资源链接,涵盖从数据准备到模型训练的各个环节,为开发者实现多模态大模型微调提供了详细指导。特别展示了学生行为识别任务的训练数据样例,包含图像路径和对应的问答标注。原创 2025-02-07 01:49:28 · 6200 阅读 · 3 评论 -
Qwen2-VL 视觉大模型 快速 Qwen2-VL-7B-Instruct部署
本文介绍了如何在AutoDL平台上快速部署Qwen2-VL视觉大模型。主要内容包括:1) 选择合适的基础镜像环境;2) 下载项目代码并安装依赖包;3) 通过ModelScope下载Qwen2-VL-7B-Instruct模型;4) 运行模型的推理示例;5) 搭建Web UI界面进行交互展示。文章还提供了本地环境搭建的详细步骤,包括创建conda环境、安装PyTorch等依赖项。整个过程涵盖了从模型下载到Web界面部署的全流程,为开发者提供了完整的视觉大模型应用指南。原创 2025-01-02 14:46:20 · 13210 阅读 · 2 评论
分享