- 博客(190)
- 收藏
- 关注
RSS订阅原创 大模型微调综述
随着大型语言模型(Large Language Models, LLMs)的快速发展，如何让这些通用模型更好地适应特定场景和任务，已成为AI领域的热点问题。大模型微调技术应运而生，成为连接通用大模型与专业应用的桥梁。本文将系统介绍大模型微调的概念、必要性、分类及常见技术方法。大模型微调(Fine-tuning)是指在预训练大模型（如 GPT、LLaMA 等）的基础上，使用特定领域或任务的数据进行二次训练，使模型更好地适应特定应用场景的过程。
2025-04-04 04:00:00
1367
原创 强大的zeek流量分析工具安装与使用
Zeek（原名Bro）是一款开源的网络流量分析框架，专注于实时网络监控、安全检测与协议分析。它不仅是入侵检测系统（IDS），更是一个强大的网络取证和威胁狩猎平台。Zeek运行时生成的日志默认存储在 /opt/zeek/logs/current/（默认安装路径）中，每个文件对应不同的协议或分析模块。文件名描述conn.log所有网络连接记录（IP、端口、协议、流量大小、持续时间等）http.logHTTP请求详情（URL、请求方法、User-Agent、状态码、MIME类型等）dns.log。
2025-03-31 09:00:00
904
原创 大模型里常说的AI智能体（Agent）是什么？
AI 智能体（Agent）是一个能够自主感知环境、制定目标、规划行动并执行任务的智能系统。它不仅仅是一个被动响应指令的模型，而是具备主动性和决策能力的实体，能够像人类一样与环境交互，完成复杂任务。自主性： AI Agent能够自主决策和执行任务，无需人类干预。适应性： 能够根据环境变化调整自己的行为。交互性： 能够与人类或其他AI Agent进行交流与合作。学习能力： 通过学习不断优化自己的行为和决策。
2025-03-25 06:30:00
709
原创 一文搞懂大模型 - RAG（检索、增强、生成）
RAG（检索-增强-生成，Retrieval-Augmented Generation）是一种结合了信息检索与文本生成的技术框架，旨在通过动态引入外部知识提升生成模型的效果。
2025-03-22 07:45:00
873
原创 大模型里面常说的Embedding（嵌入）是什么
Embedding（嵌入）是机器学习和自然语言处理（NLP）中的一种关键技术，其核心思想是将高维、离散、非结构化的数据（如文字、图像、用户行为等）转换为低维、连续、稠密的向量表示。这些向量不仅能被计算机高效处理，还能捕捉数据之间的潜在关系（如语义、相似性等）。例如：文字：单词“猫” → 向量 [0.3, -0.8, 1.2, …, 0.5]图像：一张猫的图片 → 向量 [0.7, 0.1, -0.3, …, 0.9]用户行为：用户点击商品A → 向量 [0.4, -0.2, 0.6, …, 0.1]
2025-03-19 02:45:00
2197
原创 向量数据库原理及选型
向量数据库（Vector database）、向量存储或向量搜索引擎是一种能够存储向量（固定长度的数值列表）及其他数据项的数据库。向量数据库通常实现一种或多种近似最近邻（Approximate Nearest Neighbor，ANN）算法，使用户可以使用查询向量搜索数据库，以检索最匹配的数据库记录。通俗的来说，例如你想喝一杯“类似摩卡（向量[12,13,19,8,9]）但苦味更少”的咖啡：传统菜单：只能按名称选（“摩卡在A10单元格”）。
2025-03-16 20:29:27
722
原创 一文带你入门 MCP（模型上下文协议）
Model Context Protocol (MCP) 是一个开放协议，它使 LLM 应用与外部数据源和工具之间的无缝集成成为可能。无论你是构建 AI 驱动的 IDE、改善 chat 交互，还是构建自定义的 AI 工作流，MCP 提供了一种标准化的方式，将 LLM 与它们所需的上下文连接起来。目前，MCP 已经积累了足够的临界规模和动能，因此它被视为 2023-2025 年“代理开放标准”之争的潜在赢家。
2025-03-16 10:29:55
2861
原创 AI虚拟女友/角色扮演/AI聊天伴侣开源项目汇总
各位开发者小伙伴们，今天给大家解锁一波超实用的AI黑科技！近期GitHub上涌现了大量开源的AI虚拟伴侣项目，从高情商对话模型到角色扮演系统，从情感陪聊助手到个性化女友定制工具，这些项目不仅支持本地一键部署，更可以让开发者自由改造。目前的项目已有多个支持：✅ 个性化角色设定✅ 跨平台API对接✅ 对话记忆增强✅ 情感响应优化技术改变生活，这些开源方案不仅适合个人开发者练手，更为情感计算研究提供了宝贵资源库。文章已整理好精选项目清单，期待看到大家创造出更有趣的AI交互应用！
2025-03-14 18:45:00
1021
原创 最全DeepSeek关键RL算法GRPO，手把手教你从头跑通
GRPO（Group Relative Policy Optimization）是 DeepSeek-R1 成功的基础技术之一。简单来说，GRPO 算法丢弃了 critic model，放弃了价值函数近似，转而通过组内样本的相对比较来计算策略梯度，从而有效降低了训练的不稳定性，同时提高了学习效率。既然 GRPO 如此有效，那么，你知道如何从头开始实现 GRPO 吗？
2025-03-12 17:50:14
966
原创 DeepSeek核心强化学习算法：GRPO介绍
GRPO 是一种在线学习算法，这意味着它通过使用训练模型本身在训练期间生成的数据进行迭代改进。GRPO 目标背后的直觉是最大限度地利用生成的完成，同时确保模型始终接近参考策略。GRPO 的发明者是 DeepSeek，最早是被用于微调 DeepSeek 的 R1 和 R1-Zero 模型 —— 它们可通过学习生成思维链（CoT）来更好地解决数学和逻辑问题。
2025-03-12 14:35:05
794
原创 LangChain详细体验
LangChain是一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口，可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain 可以轻松管理与语言模型的交互，将多个组件链接在一起，并集成额外的资源，例如 API 和数据库。这个框架由几个部分组成。langchain-core：基本抽象和 LangChain 表达式语言。langchain-community：第三方集成。
2025-03-10 10:56:28
654
原创 Sapiens人类行为AI模型
Sapiens是Meta公司推出的一个专注于与人类相关的任务的模型。Meta Sapiens模型旨在理解和模拟人类行为，包括理解身体姿势、识别身体部位、预测深度，甚至确定皮肤纹理等表面细节。Sapiens 为以人为中心的视觉任务（例如 2D 姿势、零件分割、深度、法线等）提供了一套全面的套件。该模型系列在 3 亿张野外人类图像上进行了预训练，并显示出对不受约束条件的出色泛化。这些模型还设计用于提取高分辨率特征，以 1024 x 1024 图像分辨率和 16 像素的补丁大小进行本机训练。
2025-03-07 20:20:39
936
原创 Unsloth 基于自己的数据集微调建立专属模型
unsloth 是开源的大语言模型(LLM)微调工具，基于优化计算步骤和 GPU 内核，显著提升模型训练速度减少内存使用。Unsloth支持多种主流 LLM，如 Lama-3、Mistral、Phi-4等，在单 GPU 上实现最高 10倍、多 GPU 上最高 32 倍的加速效果，同时内存使用减少 70% 以上。unsloth 提供免费的开源版本，用户能在 Google Colab 或 Kaggle Notebooks 上快速体验。
2025-03-05 17:30:19
1218
原创 最详细的谷歌Colab白嫖·部署Deepseek
DeepSeek是这段时间最热门的话题之一，其蒸馏模型可以实现低成本而高质量的推理，使得我们现在可以在本地小型化的硬件上也用上大模型这一AI利器。本文主要介绍通过Colab来部署DeepSeek R1模型的方法。使用Ngrok穿透让本地Chatbox可以调用ollama Deepseek api。
2025-03-03 18:01:17
780
原创 python和go相互调用的两种方法
将go代码编译成so库 -> python中通过ctypes引用so库并指定需要调用的函数（同时可指定传入参数类型和返回值类型） -> 指定后按python使用函数方式调用。需要注意的是：python和go之间参数传递是需要经过C的数据类型转换的，因此需要了解python中ctypes数据类型和python数据类型以及C的数据类型对应关系ctypes数据类型为指定调用函数时的传入参数和返回值的数据类型python数据类型为调用函数时传入的参数的数据类型。
2023-10-06 16:24:28
4713
2
原创 Kerberos 身份验证
Kerberos 是一种由 MIT（麻省理工大学）提出的一种基于加密 Ticket 的身份认证协议。它旨在通过使用密钥加密技术为客户端/服务器应用程序提供强身份验证，用于验证用户或主机的标识。。适用范围：Windows Server 2022、Windows Server 2019、Windows Server 2016在 Kerberos 协议中主要是有三个角色的存在：1、访问服务的 Client；2、提供服务的 Server；
2023-09-11 23:16:03
800
原创 本地部署 langchain-ChatGLM
大型语言模型（LLM）正在成为一种变革性的技术，使开发者能够建立他们以前无法建立的应用程序。然而，孤立地使用这些LLM往往不足以创建一个真正强大的应用程序–当你能将它们与其他计算或知识来源相结合时，真正的力量才会出现。这个库的目的是协助开发这些类型的应用。langchain 使用 Transformer 模型，并在多个语言间建立链式结构实现翻译。比如，它可以通过英语→法语→西班牙语完成英语到西班牙语的翻译。langchain 只使用公开数据集进行训练，不需要额外的数据。WMT2014英法翻译数据集。
2023-06-05 19:26:51
4381
2
原创 FastChat(小羊驼模型)部署体验
前段时间，斯坦福发布了Alpaca，是由Meta的LLaMA 7B微调而来，仅用了52k数据，性能可以与GPT-3.5匹敌。FastChat集成了Vicuna、Koala、alpaca、llama等开源模型，其中Vicuna号称能够达到gpt-4的90%的质量，是开源的chatGPT模型中对答效果比较好的。现在UC伯克利学者联手CMU、斯坦福等，再次推出一个全新模型70亿/130亿参数的Vicuna，俗称「小羊驼」（骆马）。小羊驼号称能达到GPT-4的90%性能，下面来体验一下。
2023-06-02 19:36:06
4619
2
原创 Minigpt4实战搭建
Minigpt4虽然放出了网页版但是使用后发现网页体验的话，由于并发量比较大，很容易突然卡顿的现象，所以下面我主要讲解一下如何进行本地部署。之前文章已经介绍过Minigpt4了这里就不重复赘述了，不了解的可以去看看由于经费有限我这里使用的是7B模型，按照文档中所说，7B模型大概需要12G左右，而13B需要24G。
2023-06-01 20:34:29
1166
原创 人人都能GPT！微软开源DeepSpeed Chat帮用户训练模型
DeepSpeed-Chat允许用户使用如下所示的灵活API构建自己的RLHF训练管道，用户可以使用这些API来重建自己的RLHF训练策略。这为创建用于研究探索的各种RLHF算法提供了通用接口和后端。
2023-04-21 06:30:00
711
4
原创 MiniGPT4，开源了
MiniGPT-4 旨在将来自预训练视觉编码器的视觉信息与先进的大型语言模型 (LLM) 对齐。具体来说，在文本方面，作者利用 Vicuna 作为语言解码器，在视觉感知方面，使用了与BLIP-2相同的视觉编码器，并且语言和视觉模型都是开源的。
2023-04-18 21:17:51
3220
原创 yolov5-v7.0实例分割快速体验
🚀版本正式发布，本次更新的v7.0则是全面的大版本升级，最主要的功能就是全面集成支持了实例分割，yolov5已经集成检测、分类、分割任务。前面几篇文章已经介绍过关于Yolov5的一些方面。
2023-04-11 20:28:39
3000
6
原创 YOLOv5网络结构，训练策略详解
前面已经讲过了Yolov5模型目标检测和分类模型训练流程，这一篇讲解一下yolov5模型结构，数据增强，以及训练策略。
2023-03-22 20:46:10
9632
1
原创 Yolov5 (v6.2) 使用自己的数据训练分类模型 基于ONNX TensorRT转换
YOLOv5官方发布了v6.2版本，v6.2版本支持分类模型训练、验证、预测和导出；v6.2版本的推出使得训练分类器模型变得超级简单！v6.2版本项目结构并无太大改变，主要是增加了classify文件夹以及predict.py train.py val.py 这三个文件；那么这三个文件也分别对应着分类模型的推理、训练和验证。
2023-03-16 20:58:15
3211
3
原创 yolov5模型训练流程
YOLOv5(You Only Look Once)是由 UitralyticsLLC公司发布的一种单阶段目标检测算法，YOLOv5 相比YOLOv4 而言，在检测平均精度降低不多的基础上，具有均值权重文件更小，训练时间和推理速度更短的特点。YOLOv5 的网络结构分为输入端、BackboneNeck、Head 四个部分。输入端主要包括 Mosaic 数据增强、图片尺寸处理以及自适应锚框计算三部分。Mosaic数据增强将四张图片进行组合，达到丰富图片背景的效果；
2023-03-12 00:05:05
13845
7
原创 wsl ubuntu22.04 conda环境安装labelImg解决xcb缺失问题
安装完成后执行：labelImg报错信息：Aborted经过排查发现是缺失依赖文件。
2023-03-11 14:03:02
1897
1
原创 游戏场景编辑器和骨骼动画相关软件
Tiled 是帮助你开发游戏内容的 2D 地图编辑器。它的主要功能是可以编辑各种形式的瓦片地图，还支持通过用空图片这种强大的方式来标记额外信息给游戏使用。Tiled 关注的是总体灵活性，同时尽量保持直观性。Tiled Map 不但支持直接创建矩形图层，还支持45度、等角（交错）、六角（交错）。图块集可以是包含多个图块的单个图像，也可以是单个图像的集合。为了支持某些深度仿真技术，可以配置图块边距、间距，并可以配置其渲染顺序。
2023-03-07 21:46:23
1402
原创 游戏引擎Cocos Creator初试
Cocos Creator 既是一款高效、轻量、免费开源的跨平台 2D&3D 图形引擎，也是一个实时 2D&3D 数字内容创作平台。拥有高性能、低功耗、流式加载、跨平台等诸多优点，您可以用它来创作游戏、车机、XR、元宇宙等领域的项目。
2023-03-05 18:30:52
811
原创 审查 Git 仓库的绝佳工具Tig
Tig 是一个 基于 ncurses 的 Git 文本模式界面，它允许你浏览 Git 仓库中的更改。它还可以充当各种 Git 命令输出的分页器。使用这个工具可以让我很好地了解在哪个提交中发生了哪些更改，最新的提交合并是什么等等。
2023-01-09 21:12:58
1302
原创 使用Docker快速搭建Hfish蜜罐
HFish是一款社区型免费蜜罐，侧重企业安全场景，从内网失陷检测、外网威胁感知、威胁情报生产三个场景出发，为用户提供可独立操作且实用的功能，通过安全、敏捷、可靠的中低交互蜜罐增加用户在失陷感知和威胁情报领域的能力。HFish具有超过40种蜜罐环境、提供免费的云蜜网、可高度自定义的蜜饵能力、一键部署、跨平台多架构、国产操作系统和CPU支持、极低的性能要求、邮件/syslog/webhook/企业微信/钉钉/飞书告警等多项特性，帮助用户降低运维成本，提升运营效率。
2023-01-04 21:05:28
1849
2
原创 网络空间搜索引擎及常用的端口漏洞
网络空间搜索引擎不同于普通的搜索引擎（百度等之类的），而是直接搜索网络中的主机，将主机信息汇聚成数据库，然后显示出主机的IP、端口、中间件、摄像头、工控设备banner等其他网络设备信息。常见的网络空间搜索引擎：shodan(国外)、zoomeye（国内）、fofa（国内）360Quake（国内）
2022-11-09 13:39:10
4294
原创 WSL和WSL2介绍及使用wsl在pycharm,vscode中搭建python项目环境
Windows Subsystem for Linux（简称WSL）是一个在Windows 10上能够运行原生Linux二进制可执行文件（ELF格式）的兼容层。它是由微软与Canonical公司合作开发，其目标是使纯正的Ubuntu 14.04 "Trusty Tahr"映像能下载和解压到用户的本地计算机，并且映像内的工具和实用工具能在此子系统上原生运行。WSL提供了一个微软开发的Linux兼容内核接口（不包含Linux代码），来自Ubuntu的用户模式二进制文件在其上运行。 [4] 该子系统不能运行所有
2022-06-16 21:58:31
9994
3
原创 使用Swagger生成 API 文档(go语言示例)
Swagger 是一套围绕 OpenAPI 规范构建的开源工具，可以设计、构建、编写和使用REST API。Swagger 包含很多工具，其中主要的 Swagger 工具包括：OpenAPI 是一个 API 规范，它的前身叫 Swagger 规范，通过定义一种用来描述 API 格式或 API 定义的语言，来规范 RESTful 服务开发过程，目前最新的 OpenAPI 规范是OpenAPI 3.0（也就是 Swagger 2.0 规范）。OpenAPI 规范规定了一个 API 必须包含的基本信息，这些信息包
2022-06-12 18:08:01
6603
1
原创 React入门大全
React是什么 一个专注于构建用户界面的 JavaScript 库，和vue和angular并称前端三大框架，不夸张的说，react引领了很多新思想，世界范围内是最流行的js前端框架，最近发布了18版本，加入了很多新特性 React英文文档https://reactjs.org/ React中文文档 https://zh-hans.reactjs.org/React有什么特点声明式UI（JSX）写UI就和写普通的HTML一样，抛弃命令式的繁琐实现组件化组件是react中最重要的内容，组件
2022-06-08 22:44:37
893
1
原创 Nginx +Keepalived 来实现高可用的架构项目部署
我这篇文章采用 Nginx +Keepalived 来部署一个高可用的架构，同时将组件都部署在内网，来保证服务的安全和性能。部署需要两台物理机 / 虚拟机，组件之间通过内网访问。所需的服务器如下表所示：两台服务器均为腾讯云 CVM，VIP（Virtual IP，虚拟 IP）为10.0.4.99。部署架构如下图所示：这里我来具体介绍下图中的部署架构。部署采用的这两台 CVM 服务器，一主一备，它们共享同一个 VIP。同一时刻，VIP 只在一台主设备上生效，当主服务器出现故障时，备用服务器会自动接管 V
2022-06-08 14:46:27
1822
原创 MSF(Metasploit)渗透测试---黑客工具使用指南
渗透测试者的困扰：在众多相同类型的工具，丌知道如何选择。认为需要掌插数百个工具软件，上千个命令参数，实在记丌住。新出现的漏洞 POC/EXP 有丌同的运行环境要求，准备工作繁琐。大部分时间都在学习丌同工具的使用习惯，如果能统一就好了，迚而 Metasploit 就产生了。POC，全称”Proof of Concept”，中文“概念验证”，常挃一段漏洞证明的代码。EXP，全称”Exploit”，中文“利用”，挃利用系统漏洞迚行攻击的劢作。Metasploit 框架是可以添加漏洞代码片段，就好比一个军火库，
2022-06-07 21:16:51
6661
8
原创 github搜索语法-信息搜集指南----总结
您可以使用文件查找器在仓库中搜索文件。 要在 GitHub 上的多个仓库中搜索文件，请使用 filename 代码搜索限定符。提示：1.在 GitHub.com 上，导航到仓库的主页面。2.在文件列表上方，单击 Go to file（转到文件）。3.在搜索字段中，键入要查找文件的名称。4.在结果列表中 ，单击要查找的文件。您可以在 GitHub 上搜索仓库，并使用这些仓库搜索限定符的任意组合缩小结果范围。您可以在所有 GitHub.com 内全局搜索仓库，也可以在特定组织内搜索仓库。要在搜索结果中
2022-06-06 10:57:40
3204
2
原创 Python 人脸识别系统
简介人脸识别不同于人脸检测。在人脸检测中，我们只检测了人脸的位置，在人脸识别任务中，我们识别了人的身份。本文重点介绍使用库 face_recognition 实现人脸识别，该库基于深度学习技术，并承诺使用单个训练图像的准确率超过 96%。识别系统用例寻找失踪者识别社交媒体上的帐户识别汽车中的驾驶员考勤系统了解人脸识别的工作原理我们将人的照片和他们的名字传递给模型。该模型拍摄每张照片，将它们转换为某种数字编码，并将它们存储在一个列表中，并将所有标签（人名）存储在另一个列表中。在预
2022-05-31 22:10:10
35286
21
原创 使用Burpsuite抓取IOS,Android(安卓)手机app数据
前言Burp Suite是用于Web应用安全测试、攻击Web应用程序的集成平台，它将各种安全工具无缝地融合在一起，以支持整个测试过程中，从最初的映射和应用程序的攻击面分析，到发现和利用安全漏洞。之前的文章已经详细介绍过了BurpSuite工具的使用，有不了解这款工具的可以去看看之前的文章https://blog.youkuaiyun.com/qq_45066628/article/details/124267042今天我们来介绍一下使用Burpsuite抓取IOS,Android(安卓)手机app数据的实际使用。
2022-05-22 12:00:00
3998
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人