- 博客(65)
- 收藏
- 关注
RSS订阅原创 【sglang模型部署】sglang部署embedding模型之gte-Qwen2-7B-instruct，然后接入dify知识库，做RAG系统。
【sglang模型部署】sglang部署embedding模型之gte-Qwen2-7B-instruct，然后接入dify知识库，做RAG系统。
2025-04-01 13:08:38
157
原创 【sglang】sglang出现如下报错sglang/srt/server.py“, line 631, in _wait_and_warmup assert res.status_code
【sglang】sglang出现如下报错sglang/srt/server.py", line 631, in _wait_and_warmup assert res.status_code
2025-03-11 10:28:08
106
原创 【GPU使用】如何在物理机和Docker中指定GPU进行推理和训练
如何在物理机和Docker中指定GPU进行推理和训练，我的机器上有4张H100卡，我现在只想用某一张卡跑程序，该如何设置。无法 import 某个package。
2025-03-03 17:10:08
357
原创 【大模型评测】如何评测大模型，大语言模型（LLMs）的评测框架、方法与挑战。当前主流评测基准（如GLUE、SuperGLUE）存在数据泄露、任务适配性不足及主观性缺失等局限性，未来需聚焦动态推理。
大语言模型（LLMs）的评测框架、方法与挑战。当前主流评测基准（如GLUE、SuperGLUE）存在数据泄露、任务适配性不足及主观性缺失等局限性，未来需聚焦动态推理、多轮对话和伦理安全等方向。
2025-03-01 17:01:57
1080
原创 【DeepSeek】DeepSeek让教学效果翻倍！AI教学案例大揭秘
DeepSeek作为一款功能强大的AI大语言模型，在教育领域的应用场景广泛且深入，能够显著提升教师的工作效率和教学质量，并为教务系统的智能化升级提供技术支持。
2025-02-28 16:27:17
893
原创 【DeepSeek部署】vllm部署deepseek，推理过程和答案分开。
vllm部署deepseek，推理过程和答案分开。推理模型会在输出中返回额外的 `reasoning_content` 字段，该字段包含导致最终结论的推理步骤。其他模型的输出中不存在此字段。
2025-02-28 11:20:05
1137
原创 【GPU机器数据传输】Linux系统中跨机器大规模数据传输，rsync | bbcp | scp | sftp 对比。
我们在训练大模型的时候，需要在Linux系统中传输超大量数据，选择合适的方法需综合考虑传输速度、可靠性、网络环境及数据特性。Linux系统中跨机器大规模数据传输，rsync | bbcp | scp | sftp 对比。
2025-02-27 16:15:11
877
原创 【DeepSeek】DeepSeek 如何应用于政务系统？
DeepSeek作为一款高性能、低成本的AI大模型，近期在政务系统中得到了广泛应用，其技术能力和场景适配性正在推动数字政府的智能化转型。以下从应用场景、技术支撑、实际成效及未来方向等方面进行深度解析
2025-02-18 17:45:19
2647
原创 【Grok 3】Grok 3 的推理和多模态能力能超越DeepSeek吗？
Grok 3 是由马斯克旗下的xAI公司开发的最新AI模型，于2025年2月17日正式发布。其推理能力据称将超越包括ChatGPT和DeepSeek在内的其他领先AI模型。Grok 3引入了“思维链”（Chain of Thought）推理能力，使其能够像人类一样逐步处理复杂任务，显著提高了模型处理复杂查询和提供更连贯、更有逻辑的响应能力。此外，Grok 3在多模态功能方面也有显著提升，包括推理、编程能力以及文本和图像分析等。
2025-02-18 10:55:40
1112
原创 【大模型参数】Temperature的具体含义
利用大模型的API时，我们可以配置一些参数来改进大模型的生成效果。比如`temperature`、`top_p`、`max_tokens`、`stop`、`frequency_penalty`、`presence_penalty`等。那么这些参数究竟具有什么意义呢？
2025-02-14 15:49:32
505
原创 【大语言模型】在大语言模型中，user、assistant、system 三种角色的定位和功能有何不同。
在大语言模型（如GPT系列）中，user、assistant、system 是三种核心角色，它们的定位和功能不同，共同构成对话的上下文结构。
2025-02-13 17:54:01
1710
原创 【DeepSeek变现】普通人怎么用deepseek捞到第一桶金
对于普通人而言，利用DeepSeek赚取第一桶金的核心在于结合AI工具的高效性与市场需求，聚焦轻资产、低门槛的变现路径。
2025-02-13 13:44:31
1686
原创 部署 DeepSeek R1各个版本所需硬件配置清单
DeepSeek-R1 通过其卓越的推理性能和灵活的训练机制，在 2025 年的春节期间受到了广泛关注。DeepSeek-R1 是一款高性能的 AI 推理模型，主要通过强化学习技术来增强模型在复杂任务场景下的推理能力。在本地部署 DeepSeek-R1 时，尤其是完整的 671b 参数版本，对硬件的需求相对较高
2025-02-13 09:44:31
14751
原创 【Ollama】DeepSeek-R1部署解决Ollama局域网内不能通过http访问
【Ollama】DeepSeek-R1部署解决Ollama局域网内不能通过http访问
2025-02-10 09:25:08
750
原创 【Pytorch函数】PyTorch随机数生成全解析 | torch.rand()家族函数使用指南
PyTorch随机数生成全解析 | torch.rand()家族函数使用指南
2025-02-09 16:38:47
617
原创 【DeepSeek使用技巧】解锁DeepSeek隐藏技能，从入门到精通的智能对话秘籍
【DeepSeek使用技巧】🌟 **DeepSeek超能指南：从入门到精通的智能对话秘籍** 🌟 *附20+即用型提示词模板，小白秒变AI驯兽师*
2025-02-09 15:37:58
467
原创 【人工智能】程序员技术变现指南：这20个宝藏工具让你2025年效率翻倍！
程序员技术变现指南：这20个宝藏工具让你2025年效率翻倍！"ChatGPT-5已能自动修Bug，你却还在手动写单元测试？淘汰你的不是AI，而是不会用AI工具的程序员！这份全网独家的开发者生存指南，让你用工具杠杆撬动10倍生产力！"
2025-02-09 14:35:26
873
原创 【向量数据库】chroma 向量数据库使用教程
Chroma 是一个面向 AI 的开源嵌入式向量数据库，由 Ariel Kennan 和 Jack Altman 创立的两组不同人马合并而成。Chroma 提供了两个版本：免费的开源嵌入式版本和付费的托管和企业版本。
2025-02-07 17:55:40
1687
2
原创 【模型部署】大模型部署工具对比：SGLang, Ollama, VLLM, LLaMA.cpp如何选择？
大模型部署工具对比：SGLang, Ollama, VLLM, LLaMA.cpp如何选择。在选择大模型部署工具时，需要考虑多个因素，包括性能、支持的语言和模型、硬件支持、易用性以及社区支持等。
2025-02-07 10:23:09
4411
原创 采用streamlit 、 langchain 和 SGLang 如何部署 deepseek r1？
采用streamlit 、 langchain 和 SGLang 如何部署 deepseek r1？以下是采用Streamlit、LangChain和SGLang部署DeepSeek R1的一般步骤： 环境准备 安装必要的库和工具：确保安装了Streamlit、LangChain和SGLang，以及其他可能需要的依赖项，如Python的相关科学计算库等。 获取DeepSeek R1模型：从官方渠道或其他合法来源获取DeepSeek R1模型的相关文件和参数。
2025-02-06 18:06:19
1463
原创 DeepSeek r1的技术突破、商业模式及行业影响展开讨论，总结核心观点
DeepSeek r1展现了中国AI在资源受限下的高效突破，其技术路径与开源策略可能重塑行业格局，但长期需解决模型多样性、算力生态及多模态等挑战，方能在全球AI竞赛中持续领先。
2025-02-05 15:14:03
330
原创 Total Params 是模型的“理论参数量”，反映整体复杂度； Activated Params 是“实际使用的参数量”，反映运行时效率。
Total Params 是模型的“理论参数量”，反映整体复杂度；Activated Params 是“实际使用的参数量”，反映运行时效率。在动态网络和稀疏计算场景中，二者差异显著，优化目标是最小化激活参数量，同时保持模型性能。
2025-02-05 11:25:42
1319
原创 强化学习中的 Reward Hacking 是什么意思？
Reward Hacking（奖励破解）是强化学习中的一个现象，指智能体通过利用奖励函数的设计缺陷，采取看似有效但实际违背设计者初衷的策略来最大化奖励。
2025-02-05 08:59:05
700
原创 DeepSeek-R1 技术报告
DeepSeek-R1 是 DeepSeek 团队推出的第一代专注推理能力的大语言模型系列，包含两个核心模型：DeepSeek-R1-Zero 和 DeepSeek-R1。两者的核心差异在于训练流程设计：(1) 纯强化学习驱动的推理涌现DeepSeek-R1-Zero 的突破性在于验证了 无需 SFT 的 RL 路径：(2) 冷启动与多阶段训练策略为解决 R1-Zero 的缺陷，R1 引入四阶段流程：(3) 高效蒸馏技术通过将 R1 的推理数据蒸馏至小模型，团队发现：DeepSeek-R1 通过 RL
2025-02-04 19:16:36
1393
原创 Baichuan大模型Base、Chat、Instruct等版本的区别
Baichuan大模型作为国内领先的开源语言模型，其不同版本（如Base、Chat、Instruct等）在训练目标、应用场景和性能特点上存在显著差异
2025-01-25 13:48:02
665
原创 多模态大模型未来发展趋势：技术深化、应用拓展与治理挑战
多模态大模型（Multimodal Large Language Models, MLLMs）作为人工智能迈向通用智能（AGI）的关键路径，正通过整合文本、图像、音频、视频等多模态数据，重塑AI技术的边界
2025-01-25 12:03:53
1099
原创 2025年人工智能将渗透到人类生活的各个领域，您准备好了吗？
2025年，人工智能（AI）将以前所未有的深度和广度渗透到人类生活的各个领域，从工作方式到医疗健康，从日常生活到社会治理，其影响力将呈现多维度、多层次的变革。
2025-01-25 11:52:56
935
原创 2025年人工智能的发展趋势
2025年人工智能（AI）的发展将呈现多维度、深层次的变革，涵盖技术突破、行业应用、硬件创新、伦理治理等多个领域。以下结合最新行业动态与研究，总结2025年AI发展的核心方向。
2025-01-25 11:48:23
903
原创 SGLang安装教程，部署你的大模型，性能比vllm好，实现张量并行，数据并行，加快推理速度，亲测效果好。
SGLang安装教程，部署你的大模型，性能比vllm好，实现张量并行，数据并行，加快推理速度，亲测效果好。目前大模型部署工具主要是vllm，最近出现了SGLang，很多新开源大模型都支持SGLang的部署推理，例如deepseek-R1，Qwen2.5，Mistral，GLM-4，MiniCPM 3，InternLM 2， Llama 3.2等。
2025-01-23 11:50:20
12650
17
原创 2025大模型MiniCPM-o 2.6部署 & 测试，记录我踩过的坑坑，ImportError: flash_attn. Run `pip install flash_attn`
MiniCPM-o 是从 MiniCPM-V 升级的最新端侧多模态大模型系列。该系列模型可以以端到端方式，接受图像、视频、文本、音频作为输入，并生成高质量文本和语音输出。
2025-01-23 10:01:47
826
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人