- 博客(73)
- 收藏
- 关注
RSS订阅原创 采用 Docker & GPU 部署的 Ubuntu 或者 windows 桌面环境
摘要：本文提供了Docker容器快速部署Ubuntu桌面环境的两种方案。主要指令包括：1)使用阿里云镜像下载24.04版CUDA 12.6.2镜像；2)创建NoMachine远程桌面容器，开放SSH(22)、4000和5000端口；3)创建KasmVNC容器方案。默认登录凭证为用户名/密码：ubuntu/ubuntu。建议配合NoMachine客户端使用，下载地址：https://www.nomachine.com/。两种方案均配置1GB共享内存和自动重启策略。(149字)
2025-06-04 14:06:24
306
原创 【Dify安装】解决 Dify 1.3.1 版本中 Ollama 或者 Openai 插件安装失败的问题
要解决 Dify 1.3.1 版本中 Ollama 插件安装失败循环的问题（特别是处理 "REMOTE_INSTALL_URL 字段必填" 的验证错误）
2025-05-14 10:41:08
560
原创 阿里发布并开源模型Qwen3，猛击OpenAI o1、DeepSeek-R1
以下是阿里Qwen3与DeepSeek-R1的对比分析，涵盖技术架构、性能表现、成本效率、训练策略及应用场景等核心维度
2025-04-29 15:31:06
1104
原创 【Qwen3】Qwen3创新点及关键特性深度分析
阿里巴巴于2025年4月29日正式开源的Qwen3系列大型语言模型，在模型架构、性能、应用场景及技术生态等方面实现了多项突破。
2025-04-29 14:51:16
694
原创 【大语言模型】大语言模型（LLMs）在工业缺陷检测领域的应用
大语言模型（LLMs）在工业缺陷检测领域的应用场景正在快速扩展，结合其多模态理解、文本生成和逻辑推理能力，为传统检测方法提供了新的技术路径。
2025-04-25 15:14:51
923
原创 【sglang模型部署】sglang部署embedding模型之gte-Qwen2-7B-instruct，然后接入dify知识库，做RAG系统。
【sglang模型部署】sglang部署embedding模型之gte-Qwen2-7B-instruct，然后接入dify知识库，做RAG系统。
2025-04-01 13:08:38
737
原创 【sglang】sglang出现如下报错sglang/srt/server.py“, line 631, in _wait_and_warmup assert res.status_code
【sglang】sglang出现如下报错sglang/srt/server.py", line 631, in _wait_and_warmup assert res.status_code
2025-03-11 10:28:08
219
原创 【GPU使用】如何在物理机和Docker中指定GPU进行推理和训练
如何在物理机和Docker中指定GPU进行推理和训练，我的机器上有4张H100卡，我现在只想用某一张卡跑程序，该如何设置。无法 import 某个package。
2025-03-03 17:10:08
599
原创 【大模型评测】如何评测大模型，大语言模型（LLMs）的评测框架、方法与挑战。当前主流评测基准（如GLUE、SuperGLUE）存在数据泄露、任务适配性不足及主观性缺失等局限性，未来需聚焦动态推理。
大语言模型（LLMs）的评测框架、方法与挑战。当前主流评测基准（如GLUE、SuperGLUE）存在数据泄露、任务适配性不足及主观性缺失等局限性，未来需聚焦动态推理、多轮对话和伦理安全等方向。
2025-03-01 17:01:57
1305
原创 【DeepSeek】DeepSeek让教学效果翻倍！AI教学案例大揭秘
DeepSeek作为一款功能强大的AI大语言模型，在教育领域的应用场景广泛且深入，能够显著提升教师的工作效率和教学质量，并为教务系统的智能化升级提供技术支持。
2025-02-28 16:27:17
1247
原创 【DeepSeek部署】vllm部署deepseek，推理过程和答案分开。
vllm部署deepseek，推理过程和答案分开。推理模型会在输出中返回额外的 `reasoning_content` 字段，该字段包含导致最终结论的推理步骤。其他模型的输出中不存在此字段。
2025-02-28 11:20:05
2223
原创 【GPU机器数据传输】Linux系统中跨机器大规模数据传输，rsync | bbcp | scp | sftp 对比。
我们在训练大模型的时候，需要在Linux系统中传输超大量数据，选择合适的方法需综合考虑传输速度、可靠性、网络环境及数据特性。Linux系统中跨机器大规模数据传输，rsync | bbcp | scp | sftp 对比。
2025-02-27 16:15:11
926
原创 【DeepSeek】DeepSeek 如何应用于政务系统？
DeepSeek作为一款高性能、低成本的AI大模型，近期在政务系统中得到了广泛应用，其技术能力和场景适配性正在推动数字政府的智能化转型。以下从应用场景、技术支撑、实际成效及未来方向等方面进行深度解析
2025-02-18 17:45:19
2915
原创 【Grok 3】Grok 3 的推理和多模态能力能超越DeepSeek吗？
Grok 3 是由马斯克旗下的xAI公司开发的最新AI模型，于2025年2月17日正式发布。其推理能力据称将超越包括ChatGPT和DeepSeek在内的其他领先AI模型。Grok 3引入了“思维链”（Chain of Thought）推理能力，使其能够像人类一样逐步处理复杂任务，显著提高了模型处理复杂查询和提供更连贯、更有逻辑的响应能力。此外，Grok 3在多模态功能方面也有显著提升，包括推理、编程能力以及文本和图像分析等。
2025-02-18 10:55:40
1213
原创 【大模型参数】Temperature的具体含义
利用大模型的API时，我们可以配置一些参数来改进大模型的生成效果。比如`temperature`、`top_p`、`max_tokens`、`stop`、`frequency_penalty`、`presence_penalty`等。那么这些参数究竟具有什么意义呢？
2025-02-14 15:49:32
648
原创 【大语言模型】在大语言模型中，user、assistant、system 三种角色的定位和功能有何不同。
在大语言模型（如GPT系列）中，user、assistant、system 是三种核心角色，它们的定位和功能不同，共同构成对话的上下文结构。
2025-02-13 17:54:01
2775
原创 【DeepSeek变现】普通人怎么用deepseek捞到第一桶金
对于普通人而言，利用DeepSeek赚取第一桶金的核心在于结合AI工具的高效性与市场需求，聚焦轻资产、低门槛的变现路径。
2025-02-13 13:44:31
1987
原创 部署 DeepSeek R1各个版本所需硬件配置清单
DeepSeek-R1 通过其卓越的推理性能和灵活的训练机制，在 2025 年的春节期间受到了广泛关注。DeepSeek-R1 是一款高性能的 AI 推理模型，主要通过强化学习技术来增强模型在复杂任务场景下的推理能力。在本地部署 DeepSeek-R1 时，尤其是完整的 671b 参数版本，对硬件的需求相对较高
2025-02-13 09:44:31
16453
原创 【Ollama】DeepSeek-R1部署解决Ollama局域网内不能通过http访问
【Ollama】DeepSeek-R1部署解决Ollama局域网内不能通过http访问
2025-02-10 09:25:08
867
原创 【Pytorch函数】PyTorch随机数生成全解析 | torch.rand()家族函数使用指南
PyTorch随机数生成全解析 | torch.rand()家族函数使用指南
2025-02-09 16:38:47
842
原创 【DeepSeek使用技巧】解锁DeepSeek隐藏技能，从入门到精通的智能对话秘籍
【DeepSeek使用技巧】🌟 **DeepSeek超能指南：从入门到精通的智能对话秘籍** 🌟 *附20+即用型提示词模板，小白秒变AI驯兽师*
2025-02-09 15:37:58
546
原创 【人工智能】程序员技术变现指南：这20个宝藏工具让你2025年效率翻倍！
程序员技术变现指南：这20个宝藏工具让你2025年效率翻倍！"ChatGPT-5已能自动修Bug，你却还在手动写单元测试？淘汰你的不是AI，而是不会用AI工具的程序员！这份全网独家的开发者生存指南，让你用工具杠杆撬动10倍生产力！"
2025-02-09 14:35:26
1045
原创 【向量数据库】chroma 向量数据库使用教程
Chroma 是一个面向 AI 的开源嵌入式向量数据库，由 Ariel Kennan 和 Jack Altman 创立的两组不同人马合并而成。Chroma 提供了两个版本：免费的开源嵌入式版本和付费的托管和企业版本。
2025-02-07 17:55:40
2502
2
原创 【模型部署】大模型部署工具对比：SGLang, Ollama, VLLM, LLaMA.cpp如何选择？
大模型部署工具对比：SGLang, Ollama, VLLM, LLaMA.cpp如何选择。在选择大模型部署工具时，需要考虑多个因素，包括性能、支持的语言和模型、硬件支持、易用性以及社区支持等。
2025-02-07 10:23:09
5596
原创 采用streamlit 、 langchain 和 SGLang 如何部署 deepseek r1？
采用streamlit 、 langchain 和 SGLang 如何部署 deepseek r1？以下是采用Streamlit、LangChain和SGLang部署DeepSeek R1的一般步骤： 环境准备 安装必要的库和工具：确保安装了Streamlit、LangChain和SGLang，以及其他可能需要的依赖项，如Python的相关科学计算库等。 获取DeepSeek R1模型：从官方渠道或其他合法来源获取DeepSeek R1模型的相关文件和参数。
2025-02-06 18:06:19
1578
原创 DeepSeek r1的技术突破、商业模式及行业影响展开讨论，总结核心观点
DeepSeek r1展现了中国AI在资源受限下的高效突破，其技术路径与开源策略可能重塑行业格局，但长期需解决模型多样性、算力生态及多模态等挑战，方能在全球AI竞赛中持续领先。
2025-02-05 15:14:03
353
原创 Total Params 是模型的“理论参数量”，反映整体复杂度； Activated Params 是“实际使用的参数量”，反映运行时效率。
Total Params 是模型的“理论参数量”，反映整体复杂度；Activated Params 是“实际使用的参数量”，反映运行时效率。在动态网络和稀疏计算场景中，二者差异显著，优化目标是最小化激活参数量，同时保持模型性能。
2025-02-05 11:25:42
1477
原创 强化学习中的 Reward Hacking 是什么意思？
Reward Hacking（奖励破解）是强化学习中的一个现象，指智能体通过利用奖励函数的设计缺陷，采取看似有效但实际违背设计者初衷的策略来最大化奖励。
2025-02-05 08:59:05
922
原创 DeepSeek-R1 技术报告
DeepSeek-R1 是 DeepSeek 团队推出的第一代专注推理能力的大语言模型系列，包含两个核心模型：DeepSeek-R1-Zero 和 DeepSeek-R1。两者的核心差异在于训练流程设计：(1) 纯强化学习驱动的推理涌现DeepSeek-R1-Zero 的突破性在于验证了 无需 SFT 的 RL 路径：(2) 冷启动与多阶段训练策略为解决 R1-Zero 的缺陷，R1 引入四阶段流程：(3) 高效蒸馏技术通过将 R1 的推理数据蒸馏至小模型，团队发现：DeepSeek-R1 通过 RL
2025-02-04 19:16:36
1507
原创 Baichuan大模型Base、Chat、Instruct等版本的区别
Baichuan大模型作为国内领先的开源语言模型，其不同版本（如Base、Chat、Instruct等）在训练目标、应用场景和性能特点上存在显著差异
2025-01-25 13:48:02
779
原创 多模态大模型未来发展趋势：技术深化、应用拓展与治理挑战
多模态大模型（Multimodal Large Language Models, MLLMs）作为人工智能迈向通用智能（AGI）的关键路径，正通过整合文本、图像、音频、视频等多模态数据，重塑AI技术的边界
2025-01-25 12:03:53
1492
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人