- 博客(72)
- 收藏
- 关注
RSS订阅原创 vmware虚拟机中Ubuntu系统磁盘再次扩容_第2次
调整ext4文件系统大小以匹配扩容后的逻辑卷，类似xfs_growfs针对XFS文件系统。根据磁盘信息分析，问题主要出在LVM逻辑卷未完全利用物理磁盘空间。通过以上步骤，可以将未使用的30GB空间整合到根目录或独立挂载使用。LVM允许动态调整磁盘空间，无需重新格式化。标记分区为Linux LVM类型，避免与其他文件系统混淆。已占满68GB，但卷组（VG）未扩展。，总容量67GB（已用86%）：1MB（BIOS启动分区）：2GB（/boot分区）：68GB（LVM物理卷）卷组），优先选择此方案。
2025-04-15 11:16:58
90
原创 低资源需求的大模型训练项目---3、综合对比与选型建议
• 希望全面学习工业级大模型全流程（预训练→微调→强化学习→部署），且具备中端显卡（如RTX 3060）的用户。：阿里云提供了完整的预训练、微调、强化学习（RLHF）代码和文档，支持从数据处理到模型部署的全链路实践。：支持3小时内从零训练模型，提供预训练、SFT、LoRA、RLHF-DPO全流程代码，适合快速实验。：显存需求最低（2GB），且从零手搓全流程（架构→预训练→评估→应用），适合系统性学习底层原理。• 预算极低（仅入门级显卡或CPU）、希望快速验证算法原型（如LoRA微调、蒸馏）的用户。
2025-04-13 21:17:45
805
原创 低资源需求的大模型训练项目---调研0.5B大语言模型
• 参数仅0.5B，采用共享FFN设计降低冗余，在资源受限设备（如手机、平板）上推理速度达147 tokens/s，内存占用仅350MB。• 基于0.5B模型的思维链优化版本，通过软化奖励机制（分步得分）实现长思考链生成，但存在收敛至短推理模式的风险，需结合课程学习逐步训练。：数学推理、长文本逻辑处理准确率显著低于7B+模型（如Qwen2.5-72B的GSM8K得分95.8 vs. 0.5B的9.7）。（如百万级Token），建议使用A10或更高性能显卡，以避免显存瓶颈导致的频繁数据加载中断。
2025-04-13 20:11:22
481
原创 调研大模型训练语料处理工具
结合文档解析引擎（TextIn文档解析）、文本向量模型（TextInEmbedding）和OpenKIE信息抽取工具，支持多格式文档（PDF、Word、图表等）的结构化处理。通过合理选择工具，可提升语料处理效率50%以上（如olmOCR节省GPT-4o成本的97%），建议结合具体需求进行技术验证。◦ 开源（Apache 2.0），支持本地GPU和AWS多节点并行处理，百万页PDF处理成本约190美元。◦ 支持多领域场景（金融、医学、法律），已集成到多家头部厂商的预训练流程中。
2025-04-13 05:16:01
771
原创 调研大语言模型的知识编辑技术
大语言模型（LLMs）的知识编辑旨在通过高效、精准的方式修改模型内部存储的特定知识，以纠正错误、更新信息或消除偏见，同时保持模型的通用能力。：结合Elasticsearch与向量数据库实现混合检索，提升知识更新效率（如MaxKB）：AnyEdit通过分解长文本为知识块并迭代扰动隐状态，解决复杂知识更新问题。：识别影响特定知识生成的神经元（如Knowledge Neuron理论）：频繁编辑可能导致模型崩溃（现有方法将崩溃阈值从千次提升至万次）：支持超大规模模型的协同更新（如万亿参数模型）
2025-04-13 04:56:32
409
原创 远程桌面软件调研
开源免费、支持自建中继服务器（规避国际网络延迟）、全协议加密、支持文件传输和剪贴板同步。◦ Ubuntu端：需安装Linux客户端（支持Debian/Ubuntu的deb包）• 客户端安装：选择支持Linux协议的软件（如RustDesk/ToDesk）• 跨运营商（如电信→联通）建议选择BGP线路支持的软件（如ToDesk）• 防火墙设置：开放5900（VNC）、3389（RDP）或软件指定端口。：免费版限速（10 Mbps），专业版（约198元/年）解锁高速通道。
2025-04-13 04:30:54
804
原创 在线编辑数学公式
参考工具：https://www.processon.com/mathtypehttps://www.latexlive.com/• 特点：专业公式编辑软件，支持与Word、WPS等办公软件无缝集成，提供丰富的数学符号和模板库。AxMath还支持科学计算和公式编号管理，适合学术写作。• 适用场景：论文、教材编辑，需频繁插入复杂公式的文档场景。• 优势：图形化界面操作简单，支持LaTeX语法输入与实时预览。• 特点：基于TeX的排版系统，通过代码编写公式（如），支持复杂数学符号和公式结构（如矩阵、方程
2025-04-05 14:51:49
597
原创 低资源需求的大模型训练项目——调研MiniMind/白盒子指南
仅需单张RTX 3090显卡（24GB显存），支持3小时完成26M参数模型的端到端训练。• 混合专家架构（MoE）：426M参数版本仅激活27.5亿参数。：2GB显存即可运行，支持RAG/Agent等高级功能的手搓实现。• 梯度累积技术：支持小批量训练（batch_size=16）• LoRA适配（任务迁移）：仅微调1%参数即可适配新场景。• 预训练（语言理解）：基于通用语料建立基础语言能力。• 动态批处理：自动调整序列长度（32-128）• 指令微调（对话能力）：通过。
2025-04-02 14:06:41
476
原创 具身系列——Diffusion Policy算法实现CartPole游戏（模仿学习）
该代码实现了一个基于扩散模型（Diffusion Model）的强化学习策略网络。该实现展示了扩散策略的核心思想，但完整的扩散策略还需要实现完整的逆向采样过程，并可能需要调整噪声调度参数以获得更好的性能。：在动作空间逐步添加高斯噪声，将真实动作分布转化为高斯分布。：通过T步逐渐将专家动作添加高斯噪声，最终变成纯噪声。为噪声调度参数（网页4][网页5][网页8]）。：训练神经网络预测噪声，通过T步逐步去噪生成动作。预测噪声残差（网页5][网页6][网页8]）。（网页4][网页8][网页11]）。
2025-03-26 14:10:49
482
原创 Agent系列——Manus调研
通过这个代码示例，可以清晰看到Manus框架将Agent技术工程化的实现路径。开发者可基于此框架扩展更多工具链（如集成Selenium实现自动爬取招聘网站），构建完整的智能体应用系统。• 执行代理：基于ReAct模式实现，每个操作对应工具调用（如PDF解析）• 记忆代理：使用ChromaDB向量数据库存储岗位技能要求。• 规划代理：采用二叉树分解算法，将复杂任务拆解为原子操作。• 技能匹配准确率达到92%（GAIA基准测试方法）• 通过Docker容器隔离执行环境。• 使用gVisor实现内核级隔离。
2025-03-24 16:28:17
177
原创 具身系列——NLP工程师切入机器人和具身智能方向
职位高频词汇：VLM调优经验、核心算法（Diffusion、RL、VIT）、pytorch、仿真环境（Isaac Gym、Mujoco、webots）
2025-03-24 14:56:45
852
原创 音视频系列——Websockets接口封装为Http接口
本示例展示一个支持双协议（WebSocket流式接口+HTTP同步接口）的语音转文本模型服务，并提供将WebSocket接口封装为HTTP接口的代码实现。以上实现完整支持两种协议的混合调用模式，开发者可根据实际场景选择适配方案。如需测试完整代码，建议参考WebSocket官方测试方法建立端到端验证流程。• HTTP接口接收完整文件后自动切分为WebSocket流式分片。• 设置合理的数据块大小（建议1-4KB）• WebSocket连接存活时间。• 支持分片音频流实时识别。• 音频流分片处理延迟。
2025-03-22 00:12:48
1096
1
原创 Agent系列——agent领域的mcp协议讲解
通过该实现，开发者可将任意LLM应用快速接入企业级数据库系统，同时保障数据安全性和协议标准化。如需完整代码示例，可参考Anthropic官方SDK文档。MCP（Model Context Protocol）是由Anthropic提出的开放协议，旨在。），MCP协议将自然语言转换为SQL查询并返回结构化结果。“显示2025年第一季度北京地区销售额超过10万的订单”调用LLM生成SQL。
2025-03-21 11:21:20
425
原创 环境准备系列——使家里的工作站在公网上也可以通过ssh进行访问
先尝试申请公网IP+DDNS方案（延迟最低），若无公网IP则使用FRP穿透。所有方案均需配合密钥认证和防火墙加固。• 选择服务商（如No-IP、DynDNS），获取形如。• 在路由器或服务器安装客户端，输入账号与域名。：家庭宽带拥有公网IP（需向运营商申请）◦ 内部IP：服务器局域网IP（如。：无公网IP时通过第三方服务器中转。◦ 内部端口：SSH服务端口（如。• 登录路由器管理界面（通常为。：公网IP动态变化时自动解析。◦ 外部端口：自定义（如。
2025-03-21 11:17:18
422
原创 多模态系列——调研可在笔记本电脑端部署的多模态大模型
如需具体模型的部署配置文件或性能测试数据，可参考各项目的GitHub仓库（Gemma、Janus-Pro）。• 多模态支持：文本、高分辨率图像、短视频混合输入，动态图像切片技术可处理1小时视频仅需20秒。• 轻量化设计：1B参数模型支持CPU+GPU混合推理，显存占用可压缩至6GB。• 显存占用：4位量化后仅需4-5GB显存，剩余资源可用于图像预处理和缓存。• 多任务能力：同步支持图像生成（文生图）与理解（OCR+场景分析）：需平衡性能与资源消耗的场景（如视频分析）：侧重轻量化与图像生成能力（如创意设计）
2025-03-19 04:25:25
1078
原创 BabyAGI核心代码分析与Qwen模型适配实例
该实现已通过Qwen-72B模型测试，完整案例可参考网页5的简化版实现。建议运行时设置温度参数为0.3-0.7平衡创造性与稳定性。• 使用ChromaDB替代Pinecone实现本地存储（网页3）通过Prompt工程约束Qwen生成结构化任务列表（网页4）该循环通过无限迭代实现任务的动态生成与执行（网页1）• 调整Prompt模板适配Qwen的指令遵循能力。• 将OpenAI调用替换为Qwen API接口。支持文本生成、数据分析等多种任务类型（网页1）
2025-03-19 01:49:13
136
原创 Agent系列——BabyAGI调研
集成多模态能力后，BabyAGI可分解“数学题讲解”为“公式识别→步骤拆解→错题归纳”。：供应链异常处理，通过动态生成“订单核查→物流协调→客户通知”任务链，响应速度提升3倍。使用数值排序Prompt（如“返回编号列表”）动态调整队列顺序，确保关键任务优先执行。：在测试中，系统可完成从背景调研到章节撰写的全流程，生成超过5000字连贯文本。：基于目标拆解新任务，例如“写科幻小说”分解为“市场分析→角色设计→章节撰写”：增加伦理审查模块，过滤有害任务（如论文中提到的“回形针末日”风险）
2025-03-18 21:58:43
380
原创 Agent系列——Agent框架调研
知识领域关键技术点学习资源参考大模型集成Prompt工程、LoRA微调、API路由（如OpenAI/Gemini）多模态处理跨模态对齐（CLIP模型）、实时数据流处理规划与决策ReAct框架、树状推理（ToT）、强化学习策略优化工具调用API编排（如FastAPI）、安全沙箱机制、权限控制记忆管理向量数据库（Milvus）、短期/长期记忆分层存储设计性能优化延迟削减（TFX模型压缩）、分布式计算（Ray框架）实践建议从轻量级框架（BabyAGI）入手，理解基础架构后逐步扩展模块。
2025-03-18 21:55:31
584
原创 Docker系列——从零开始打包FunASR的Http服务
完整实现代码可参考FunASR官方runtime示例：https://github.com/modelscope/FunASR/tree/main/runtime/python/http。• HTTP API服务接口。• 预置中文语音识别模型。
2025-03-15 22:02:32
376
原创 模型蒸馏系列——开源项目
通过CLIP模型对齐教师模型的视觉-文本特征空间，例如将图像特征与文本描述映射到同一隐空间。：采用分组注意力（Grouped Attention）替代传统多头机制，降低内存占用30%：完整实现从数据清洗到模型部署的全流程，支持单卡低成本训练，代码全透明，适合教学与实践。：支持视觉-语言联合蒸馏，结合MoE架构提升参数效率（激活参数减少77%）：25.8M（约0.02B参数），比GPT-3小7000倍。：动态稀疏激活（仅20%神经元参与推理）：模仿教师模型的输出分布（KL散度损失）
2025-03-15 21:05:26
453
原创 具身系列——零样本倒水任务
的视觉编码层和策略网络结构，实现缝葡萄等更高精度的操作任务（需增加触觉传感器模拟）。• 采用CLIP模型处理视觉输入，将摄像头画面映射到512维特征空间。• 关节传感器数据（28自由度）与视觉特征拼接，形成680维状态向量。• 采用PPO算法保证训练稳定性（类似搜索中提到的GRPO优化）• 在策略网络中添加跨模态注意力层，实现不同杯具的泛化操作。该实例复现了搜索结果中机器人的核心能力，开发者可通过调整。• 动作频率达到100Hz，满足毫秒级响应需求。• 通过视频编码器提取人类动作的语义特征。
2025-03-15 20:43:48
325
原创 记录一些工具安装可以查看的博客
Ubuntu快速安装 Miniconda：Ubuntu 20.04版本快速安装 Miniconda（宝宝级攻略）_ubuntu20.04安装miniconda-优快云博客
2025-03-13 00:37:43
131
原创 vmware虚拟机中Ubuntu系统磁盘扩容_第1次
根本原因是 LVM 逻辑卷未完全占用sda3物理卷的空间，而非分区未挂载。通过扩展逻辑卷并调整文件系统即可利用剩余 39G 空间。
2025-03-12 20:02:44
398
原创 基于cross-attention算法关联文本和图像、图像和动作
基于cross-attention算法关联动作策略和图像，可以举一个可以运行的例子吗？基于cross-attention算法关联文本和图像，可以举一个可以运行的例子吗？
2025-03-08 11:15:02
253
原创 Docker系列——Win11安装VMware和Ubuntu并使用ssh访问部署模型
VMware：https://zhuanlan.zhihu.com/p/14645133730CDS Repository - /var/www/public/stage/session-02/cds/vmw-desktop/wsUbuntu：Ubuntu 22.04.5 LTS (Jammy Jellyfish)ssh&sftp：Download PuTTY: latest release (0.83)ssh&sftp连接vmware参考：Linux虚拟机配置ssh远程连接详细步骤(保姆级教程)_虚拟机安
2025-03-05 04:06:06
283
原创 模型蒸馏实践
深度学习中的模型蒸馏技术：实现流程、作用及实践案例-优快云博客https://zhuanlan.zhihu.com/p/22504630293
2025-02-19 11:01:59
205
原创 视频理解任务综述 & VLM多模态大模型概览
长视频通常持续数分钟甚至数小时，通常由多个事件组成，与短视频相比，包含更丰富的空间内容和时间变化。长视频理解不仅涉及空间和事件内的时间推理，还涉及事件间推理和来自不同视频事件的长期推理。与仅涉及静态视觉数据的图像理解任务不同，短视频理解还结合了来自多个视觉帧的时间信息。除了空间推理，事件内的时间推理和跨帧的时空推理在短视频理解中发挥着至关重要的作用。图像理解任务涉及单张图像用于各种视觉推理任务，如图像标注和以图像为中心的问题回答。通用图像理解模型：图像分类、目标检测、图像分割。
2025-01-09 14:34:28
285
原创 强化学习入门
RL学习路径理解DQN原理理解 标准版的策略梯度算法(Vanilla Policy Gradient)模仿学习实践Actor-Critic原理从大模型机器人到imitation Learning与diffusion policy、ACT(Action Chunking with Transformers)的关系大模型与机器人
2025-01-08 22:10:28
127
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人