自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(9)
  • 收藏
  • 关注

原创 Claude Code 生态一周占 6 席:哪些真能用,哪些只是热闹?| 开源周报(上)

本周 GitHub Trending 最热 5 个项目:andrej-karpathy-skills(Claude Code 四条行为规范单文件)、free-claude-code(代理到 NVIDIA NIM/Ollama 等 6 个渠道)、openai-agents-python(OpenAI 官方多 Agent 框架,MIT,生产可用)、GenericAgent(自进化极简 Agent 连续两周上榜)、thunderbolt(Thunderbird 开源 AI 客户端,仍早期)。

2026-04-27 09:15:00 751

原创 APK 逆向、企业架构、CUDA 内核:5 个小众但很硬的 GitHub 项目 | 开源周报(下)

本期精选 5 个垂直领域项目,按受众分级:claude-context(全代码库语义搜索 MCP,需 Zilliz+OpenAI 双账号)、android-reverse-engineering-skill(APK 反编译 HTTP API 提取 Skill,安全研究员立刻可试)、opensre(Public Alpha AI SRE Agent 框架)、arc-kit(企业架构师 Claude Code 插件)、DeepGEMM(DeepSeek FP8/FP4 GEMM CUDA 内核)。

2026-04-27 09:15:00 1078

原创 AI Agent 开始自我进化了!本周 GitHub 最火的 5 个开源项目 | 开源周报

本期上篇精选 5 个 GitHub 热门项目,涵盖 AI Agent、开发工具、AI 教育平台。hermes-agent 单周 +32,572 Stars 领跑全榜,内置学习循环让 Agent 越用越强;微软 markitdown 总 Stars 破 10 万仍在涨,是 LLM 文档处理首选工具。附完整安装命令。

2026-04-13 09:15:00 1066

原创 一个文本文件涨 5k Star,Google 端侧 AI 进了 App Store | 开源周报(下)

本期下篇精选 5 个 GitHub 热门项目:karpathy-skills(无代码 CLAUDE.md 配置)、Google Gallery(手机离线跑 Gemma 4 的正式 App)、NVIDIA PersonaPlex(实时全双工语音模型)、SEO Machine(Claude Code 博客工作区)、LiteRT-LM(已在 Chrome/Pixel Watch 上线的边缘推理框架)。

2026-04-13 09:15:00 1083

原创 Docker 部署 vLLM 实战指南(NVIDIA CUDA / AMD ROCm 全流程)

本文详细讲解如何使用 Docker 部署 vLLM 推理服务,分别覆盖 NVIDIA CUDA 与 AMD ROCm 两种 GPU 环境。内容包括 NVIDIA Container Toolkit 安装说明、官方镜像启动方式、模型缓存挂载、ModelScope 下载配置,以及容器内部署 DeepSeek 模型的完整流程。同时提供常见报错排查与显存优化建议,帮助开发者快速构建可迁移、可扩展的容器化大模型推理服务环境,适用于生产部署与企业私有化场景。

2026-02-27 15:51:40 2759

原创 vLLM 本地部署 DeepSeek 全流程实战(Linux + NVIDIA GPU + OpenAI API 兼容)

本文详细讲解如何在 Linux + NVIDIA GPU 环境下使用 vLLM 本地部署 DeepSeek 模型,并对外提供 OpenAI 兼容 API 服务。内容涵盖环境要求说明、Python 虚拟环境创建、vLLM 安装、模型下载(支持 ModelScope)、服务启动及接口测试全过程。通过实战演示,帮助开发者快速搭建高性能大模型推理服务,适用于私有化部署、接口服务化改造及高并发推理场景。步骤完整、命令可直接复制,适合有一定 Linux 基础的开发者参考使用。

2026-02-27 15:15:24 2006 1

原创 Docker 部署 Ollama 全流程指南:支持 CPU/GPU、生产环境可用的工程化实践

本文系统讲解如何使用 Docker 部署 Ollama,并实现 CPU 与 Nvidia/AMD GPU 加速运行,覆盖从基础安装、容器启动、GPU 配置验证到生产环境优化的完整流程。重点解决 Docker Compose GPU 不生效、数据持久化、资源限制、自动重启等常见踩坑问题,并补充模型存储规划与安全暴露建议。适用于本地测试、服务器部署、私有大模型 API 搭建及企业级工程落地场景,帮助你将 Ollama 从“能跑”升级为“可维护、可迁移、可扩展”的生产级服务方案。

2026-02-26 18:58:06 5844 1

原创 如何在本地部署 DeepSeek?Ollama 一步跑通全流程实战

本文通过 Ollama 在本地一步跑通 DeepSeek 大模型的完整实践,介绍了 Ollama 的核心特性、适用场景及安装方式,并详细演示了 DeepSeek 模型的拉取、运行及多种调用方式(CLI、HTTP API、第三方工具)。该方案无需复杂环境配置,适合希望进行大模型本地部署、降低使用成本并保障数据安全的开发者快速上手。

2026-01-08 16:09:17 1295

原创 大模型本地部署实践:为什么要做本地部署及方案选型

本文探讨了大模型从云端API转向本地部署的核心原因与选型逻辑。云端API初期成本低、易用,但随着业务深入,数据安全、成本可控性和服务稳定性问题凸显,推动团队转向本地部署。本地部署提供数据、成本、能力三方面可控性,但需承担硬件投入和运维成本。技术路线分为易用型(Ollama)、性能型(vLLM)和自研方案,需根据业务阶段选择。核心观点是本地部署需平衡复杂度与可控性,匹配当前需求而非追求终极方案。

2025-12-31 16:07:13 1321

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除