不搞学术柒柒-优快云博客

原创快速下载huggingface模型到本地

官方详解地址。

2025-03-12 15:21:17 441

原创柒柒大模型基础之Tokenization 分词-1.1.1 分词介绍

例如，对于一个生僻词“unbelievable”，它可以被拆分成“un-”、“believ-”和“-able”这样的子词，这些子词在词表中出现的频率可能更高，从而避免了整个单词因未出现在词表中而无法处理的情况。然而，分词方式的选择和实现会引入一系列问题，这些问题可能导致模型在某些任务上表现不佳，甚至出现看似奇怪的现象。例如，对于单词"happy"和"unhappy"，BPE可能会先合并"ha"和"ap"，最终生成子词[“hap”, “py”]和[“un”, “hap”, “py”]。

2025-03-04 15:19:58 923

原创多头注意力如何进行拼接和线性变换

假设头1的输出是 ( A_1 )，头2的输出是 ( A_2 )，拼接后的矩阵 ( A ) 的形状为 ( [\text{序列长度} \times (d \times h)] )。假设每个头的维度是 ( d )，总共有 ( h ) 个头，那么每个头的输出维度是 ( d )。假设每个头的输出维度是2，我们有两个头，输入序列长度为3。

2025-03-04 02:11:23 664

原创 Transformer 多头注意力机制详解（示例详细推导）

今天，我们通过一个简单的例子来详细说明 Transformer 的多头注意力机制是如何工作的。假设我们有一个非常短的句子，只包含3个单词，我们用这个例子来逐步计算。

2025-03-04 02:02:37 996

原创 docker镜像导出后，跨平台造成nvidia-smi不可用的问题

如果是通过save保存到本地的，镜像是一个tar包，则可以在新电脑上通过：因为windows的docker底层使用的WSL，和Linux不一样，所以在一个平台制作导出的镜像在另一个平台使用时，可能会出现gpu不可用的问题。比如在Ubuntu系统加载Windows平台导出的镜像时，通过创建容器后，那么接下来的内容就会详细如何解决跨平台无法使用GPU的问题。

2025-02-27 14:13:23 716 1

原创 docker启动容器后又自动关闭，无法run起来（特别是在docker桌面端）

比如通过下面该命令run一个容器，容器生成后发现既没有任何报错也没有消息提示但是就是自动关闭了。docker容器运行必须有一个前台进程，如果没有前台进程执行，容器认为空闲，就会自行退出。容器运行的命令如果不是那些一直挂起的命令（运行top，tail、循环等），就是会自动退出。在最后加上/bin/bash就可以了。例如在上面的基础上。

2025-02-14 00:08:09 296

原创删除docker镜像和容器，磁盘空间未释放的问题

例如：D:\docker_files\DockerDesktopWSL\disk\docker_data.vhdx。

2025-02-13 18:55:54 207

原创远程VNC连接服务器桌面失败、terminal打不开、vncviewer黑屏等问题

要配置 VNC 服务器以监听所有网络接口，您需要确保在启动 VNC 服务器时不使用 -localhost 参数，或者将其设置为 no。以下是具体步骤：停止当前运行的 VNC 服务器：这将终止显示编号为 :5 的 VNC 会话。启动 VNC 服务器以监听所有接口：启动 VNC 服务器时，不使用 -localhost 参数，或者将其设置为 no。

2025-02-10 21:04:19 1476

原创 OpenPCDet部署流程和相关问题

跑训练代码train.py文件时，要在tools目录下，不然会报以下错误。其中使用pip安装torch等包记得换源。在./OpenPCDet路径下安装依赖。安装 SparseConv 库，使用。然后在./OpenPCDet路径下。则修改kornia版本为0.6.5。或者压缩包下载到本地解压。运行过程若出现以下报错。

2025-02-09 18:09:41 394