- 博客(48)
- 收藏
- 关注
RSS订阅原创 DeepSeek-R1 蒸馏
蒸馏（Distillation，又称模型蒸馏、数据蒸馏、知识蒸馏等）是一种通过大模型（教师模型）生成或优化训练数据，使小模型（学生模型）能够高效学习的技术，其核心目标是降低训练成本并提升小模型的性能。DeepSeek-R1发布时，也顺便发布了使用其蒸馏数据训练的小参数模型，这些小参数模型在推理性能上也有了很大的提升，也间接证明了DeepSeek-R1模型的推理能力很强，能从其中提炼出高质量的数据。
2025-02-27 21:30:31
294
原创 DeepSeek-R1的一些影响
DeepSeek-R1火爆全球，肯定不仅仅是开源了一篇论文、一个模型那么简单，更多的是其带来的一些影响，这里简单聊聊。
2025-02-26 22:14:45
717
原创 强化学习演进：GRPO 从何而来
强化学习（Reinforcement Learning, RL）是机器学习的一个分支，其核心是让智能体（Agent）通过与环境（Environment）的交互，学习如何采取最优行动（Action）以最大化长期累积奖励（Reward）。
2025-02-26 17:03:42
1195
原创 LlamaIndex中使用本地LLM和Embedding
LlamaIndex默认会调用OpenAI的text-davinci-002模型对应的API，用于获得大模型输出，这种方式在很多情况下对国内用户不太方便，如果本地有大模型可以部署，可以按照以下方式在LlamaIndex中使用本地的LLM和Embedding
2025-02-22 22:41:20
378
原创 火山引擎火山方舟平台微调SFT——赋予通用大模型深度思考能力
本文介绍如何使用火山引擎上的火山方舟平台对大模型进行微调，使大模型能够服务于特定的场景。这里主要演示了使用长 CoT 的推理数据对 doubao-lite-32k 进行监督微调（SFT），以使 doubao-lite 大模型具备类似 DeepSeek-R1 的深度思考和推理能力。
2025-02-21 18:15:00
803
原创 【DeepSeek 系列】DeepSeek-R1
通过强化学习激励LLM的推理能力DeepSeek 的第一代推理模型，迈出了使用纯强化学习（RL）来提高语言模型推理能力的第一步，探索 LLM 在没有任何监督数据的情况下开发推理能力的潜力，重点关注它们通过纯 RL 过程进行自我进化。这也是第一项验证了 LLM 的推理能力可以纯粹通过 RL 来激励而无需 SFT 的开放式研究。
2025-02-21 14:27:03
950
原创 【DeepSeek 系列】DeepSeek-V3
延续了 DeepSeek-V2 的总体架构，将模型规模扩展到 671B（37B 激活），调整了专家路由的负载均衡策略，从使用辅助损失到使用无辅助损失的负载平衡策略以减少辅助损失对模型性能的影响，还使用了多 token 预测以实现更好更快的模型训练和推理。
2025-02-21 10:24:22
862
原创 【DeepSeek 系列】DeepSeek-V2
架构创新注意力机制：设计了 MLA，利用低秩键值联合压缩来消除推理时键值缓存（key-value cache）的瓶颈，从而支持高效推理。FFN：采用 DeepSeekMoE 中的高性能 MoE 架构，能够以经济的成本训练强大的模型。
2025-02-20 20:15:16
1084
原创 【DeepSeek 系列】DeepSeekMoE
基于创新的 MoE 架构，先训练了 2B 参数量的模型，验证了该架构的有效性，然后扩展到 16B 规模，评测结果同样展示了该架构的有效性和可扩展性。基于 DeepSeekMoE 16B 进行监督微调 SFT 构建了聊天模型证明了对 MoE 模型进行 SFT 能够进一步提升效果。最后更进一步将模型扩展到 145B 的规模。
2025-02-20 17:39:35
1029
原创 【DeepSeek 系列】DeepSeek LLM
用长期主义扩展开源语言模型：通过对 Scaling Laws 的重新深入研究，解决之前这方面工作中存在的问题，并提出新的观点和发现，以此来指导大模型后续的开发和扩展
2025-02-20 16:41:32
1092
原创 pyinstaller打包pytorch和transformers程序
记录使用pyinstaller打包含有pytorch和transformers库的程序时遇到的问题和解决方法。
2024-05-01 22:41:07
1993
2
原创 vLLM部署Qwen1.5-32B-Chat
使用大模型推理和服务部署框架vLLM部署Qwen1.5-32B-Chat，并记录在这过程中遇到的问题及解决方法
2024-04-12 17:02:31
3810
原创 配置JupyterLab远程密码访问
有些时候因为某些原因（如本地机器资源不足、数据不能离网等），需要使用本地电脑连接远程服务器进行开发工作，在这里记录下如何在远程Linux上配置Jupyter服务器，从而在本地电脑上远程密码连接JupyterLab进行开发。
2022-11-07 11:53:43
5177
3
原创 使用numpy.where函数出现的问题与思考
总结一句，编写程序代码时，如果只看函数的功能，有时可能会因为惯性思维导致一些自己觉得莫名其妙的错误，就像在这里，因为np.where函数的功能和if else语句的功能类似，所以也自以为其执行的逻辑也是一样的，而忘记了函数本身的执行逻辑，结果就出现错误了。所以，惯性思维是把双刃剑，有时能助你快速解决问题，有时也会给你带来一些麻烦，正确认识这一点，才能有效避免这一误区。
2022-09-27 15:17:44
1166
原创 【pandas数据分析】pandas数据结构
众所周知，数据结构在类库、编程语言甚至是整个计算机科学中都是极其重要的存在，它决定了数据的表达和承载能力、对数据的处理和操作的灵活度和高效性，也是一个类库或一门语言强大功能的其中一种表现。对于pandas这样一个专门做数据分析的类库而言，数据结构无疑是整个工具的基石，所有强大的功能和操作都是基于其数据结构实现的。前面的文章中简单提到了pandas中主要有两种数据结构：用于表示一维数据的Series用于表示二维数据的DataFrame在这里，我们对这两种数据结构做进一步的了解。
2022-09-22 11:01:57
2216
1
原创 【pandas数据分析】pandas功能和操作简单示例
本文使用pandas展示了一些例子，走马观花地看看pandas的一些功能和操作。这些示例基本上涵盖了pandas大部分的内容，通过这些示例，可以直观地感受下pandas的强大。
2022-09-14 19:08:13
1285
翻译 Docker概述
Docker是一个用于开发、发布和运行应用程序的开放平台。Docker使你能够将应用程序与基础设施分离，以便你可以快速交付软件。使用Docker，你可以像管理应用程序一样管理基础设施。通过利用Docker快速发布、测试和部署代码的方法，你可以显著减少编写代码和在生产中运行代码之间的延迟。
2022-09-08 16:26:15
1017
翻译 【pandas数据分析】pandas概述
pandas是一个快速、强大、灵活且易于使用的开源数据分析和操作工具，构建在Python编程语言之上，其提供了快速、灵活和富有表达性的数据结构，旨在使得处理关系型或有标签的数据变得简单直观。它旨在成为在 Python 中进行实际的、真实的数据分析的基本高级构建块。此外，它还有更广泛的目标，即成为任何语言中最强大、最灵活的开源数据分析/操作工具。它已经在朝着这个目标迈进。
2022-09-07 11:05:29
1581
原创 Stochastic Weight Averaging (SWA) 随机权重平均
Stochastic Weight Averaging（SWA）一种容易实现、简单、基本没有额外计算开销却能比较可观地提升DNN模型效果的方法
2022-08-26 11:24:22
1066
原创 【大数据折腾不息系列】(三) MySQL安装
本文主要介绍如何在Linux系统（这里为CentOS Stream 9）上使用yum安装MySQL，这样比较方便，不需要自己去官网下载安装程序和其他繁琐的操作，也是我们在Linux上比较熟悉的安装程序的过程。
2022-08-25 19:31:08
910
原创 深度学习开发环境搭建
使用anaconda+jupyter搭建深度学习开发环境，可以很方便地创建不同的python虚拟环境，也可以随时切换，提高开发的效率和便利性
2022-08-25 11:48:42
2590
原创 【大数据折腾不息系列】(二) Hadoop 3.0 安装
Hadoop自诞生至今已经成为了事实上的大数据标准，基于最初的Hadoop框架，有很多优秀的大数据组件被开发创造出来了，一步步形成了如今庞大的Hadoop生态。因此，对于想要接触了解大数据的人来说，学习Hadoop是必不可少的。因此，首先还是要从安装Hadoop开始。本文将尽可能以最简单的方式、最少的步骤搭建起一个可以使用的单节点伪分布式Hadoop。.........
2022-07-01 10:35:02
3045
原创 【大数据折腾不息系列】(一) VMware虚拟机和CentOS Stream安装
工欲善其事，必先利其器。折腾大数据这套东西之前，肯定需要一些工具和环境，我们可以随便操作而不用有所顾虑，最好的选择大概就是虚拟机，而操作系统肯定要选择Linux。这里虚拟机软件选择VMware Workstation，Linux发行版选择CentOS Stream 9，下面就开始介绍如何创建这样一个虚拟机。...............
2022-06-28 21:09:31
2863
5
原创 解决 Python 库安装 timeout 的问题
使用pip安装pip --default-timeout=6000 install package-name使用 conda安装conda config --set remote_read_timeout_secs 6000conda install package-name
2020-03-20 17:39:00
905
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人