谭欣tanxin-优快云博客

原创 k8s配置+安装pytorch和cuda+安装各个包

因为某些未知的原因。docker运行一段时间后，突然gpu掉线，输入nvidia-smi。（如下图）看了很多解决方法，但是大多数都要重启系统或者服务器或者docker，但是镜像源是公共的，服务器也不好重启。因此重新建立一个pod并且安装上所有需要的包。担心还有下一次这样的问题出现，这里记录一下配置的过程和安装的所有命令。方便下一次重新配置。pod的配置填写好1：镜像源；2：命名空间；3：持久卷；4：pod的节点名称和tag；5：选择挂载的节点。点开挂载的节点，可以查看ip。

2024-11-28 09:51:33 281

原创歌手训练-- SVC模型

创建成功之后，点击进入jupyter（见下面第一张图），如果想看一下详情，可以把这个“请先看我”的记事本看完，也可以选择文档快速开始。我所用的电脑显卡算力不足，因此我选择了一个算力云服务平台。大家可以根据需要自行选择是在本地训练还是云端租卡训练。这是使用的是github上一个开源的音频转换的模型。这个路径下创建文件夹，将之前处理好的音频文件直接拖到这个界面中上传。在云平台上可以选择社区镜像，这里直接可以选择我们所需要的项目。随后开始训练，训练的时间会稍微久一些。随后，逐个运行预处理的代码块就好。

2024-10-17 16:13:18 331

原创音频文件分割并且去除掉人声过少音频

考虑到去除背景音乐之后一般歌曲的头尾人声都比较少，甚至是完全没有声音的。且训练模型时，音频文件长度应该在10-20s左右，音频文件太大会导致显存压力太大。因此，遍历所有文件夹，判断文件名是否为vocals.wav，并将其复制到另一个文件夹中，将该音频文件重命名为其所在的文件夹名加上vocals.wav。使用spleeter分割后的人声与背景音乐分别存储在很多文件夹中。有许多这样的文件夹存储分离的人声与背景音乐。其中人声的音频文件名为。因此，需要在此对音频文件进行分割并且删除人声较少的部分。

2024-10-17 15:52:17 241

原创 AI歌手训练预处理--音频文件人声分离

模型的训练需要大量的音频。鉴于国语与粤语的区别，因此我只选择了其中44首国语歌曲，尝试训练一下国语版的eason。这里需要用到一个github上开源的工具--slpeeter。通过这个工具，可以直接去分离人声与背景音乐，非常方便。另外，分离背景音乐与人声需要用到该工具下的双声道模型。将压缩包解压后将其中的模型复制到SpleeterGUI文件夹中的pretrained_models文件夹中（见上图）。下载好歌曲之后，需要去除背景音乐，得到纯净的人声。这个工具有gui版的，下载之后直接打开。

2024-10-16 22:03:16 475

原创卷积神经网络构建、层结构提取、提取参数及自定义初始化

提取网络中的参数并对其进行初始化。nn.module()中有两个关于参数的属性。和。前者是给出网络层的名字和参数的迭代器；后者给出一个网络的全部参数的迭代器。#给出网络层的名字#对权重进行初始化，权重是variable，取出其data属性即可。输出的网络层的名字。

2024-10-12 11:53:39 542

原创多层全连接神经网络实现MNIST手写数字分类

使用pytorch构建一个简单的三层全连接神经网络实现手写数字分类。该数据集可以直接下载，已经标注好了。图片是灰度图，只有一个通道，也比较小，比较适合拿来练手。

2024-09-24 17:34:39 525

原创简单的多层全连接前向网络

神经网络是受到模拟神经元的启发。在脑科学中，一个神经元可以对输入进行不同的操作，可以是正向刺激（激活放大），也可以是反向抑制（激活变小）。因此，在激活函数的作用下，我们可以用一层神经网络作为分类器，正样本让激活函数激活变大，负样本让激活函数激活变小。

2024-09-24 14:07:17 317

原创 Pytorch实现线性回归

f(x)是拟合的直线的值，实际值是y。现在的目的是要f(x)尽可能地接近y。而一般使用点到直线（拟合的直线）的距离差异来衡量接近程度。大致流程与一维回归相似，只是需要拟合的函数表达式变成了高次多项式，不是简答的直线方程（一元一次函数）。拟合出一条尽量符合（穿过）最多数据（点）分布的直线。可以得到一个关于a，b的二元函数。基于均方误差最小化来进行模型求解的方法也称为“最小二乘法”。因此通过对损失函数求偏导找到极（小）值即可得到最优参数。而对于一个一元函数，我们知道极值是在它导数为0处取得。

2024-09-23 20:09:10 716

原创 mat1 and mat2 must have the same dtype, but got Double and Float 报错

这个报错是因为你的输入数据和模型参数的数据类型不匹配。选择其中一种方法，确保数据类型一致即可。：如果你更想保持输入数据的。），而模型的参数默认是。

2024-09-23 16:21:01 3034

原创 pytorch基础

张量。是一个多维的矩阵，零维是一个点，一维是一个向量，二维即一般的矩阵，再多维就是多维数组。pytorch的Tensor与numpy中的ndarray相互转换。

2024-09-20 15:03:29 721

原创深度学习介绍（pytorch）

深度学习学习需要一定的python语言基础和微积分、线性代数的基础。bilibili上播放量较高的快速入门视频即可，了解python的基本操作即可。在后续的学习过程中遇到不会的再去搜索学习即可。快速上手，在实践中学习最好。深度学习中有大量的矩阵运算。不会线性代数也可以玩深度学习，但是在理论上理解起来会吃力。，Gilbert Strang老爷子讲得非常透彻；深度学习的根本即机器学习，但是对于快速上手，可以从一些简单的学习资源上入手。大概了解即可，对于数学推导部分有不会的可以暂时跳过。

2024-09-20 13:07:16 577

原创通过streamlit实现一个简单的ChatGPT对话界面

这是拿之前一个RAG-LLM对话界面改的。所以里面有一些注释（数据库或者模型之类）是之前的界面内容。之前在某宝上购买的open ai的key一直是中转的。商家提供了一个对话界面，直接在设置中粘贴购买的key就可以实现对话。但是今天下午购买了直连的key。中转的对话界面就不能使用了。只能通过代码获取回答，自己日常使用很不方便。因此做了一个简单的streamlit界面用于对话。

2024-08-28 19:07:04 2298

原创 ChatGPT无法发送消息，无任何反应

ChatGPT在另一个设备的浏览器登陆之后，自己电脑浏览器打开之后无法发送消息，没有其它选项。点进application，在cookie选项下。浏览器右键检查，将该页面缓存清除。

2024-08-28 15:38:34 534

原创 pycharm配置镜像源

中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/阿里云 http://mirrors.aliyun.com/pypi/simple/豆瓣(douban) http://pypi.douban.com/simple/如果想更改配置，以后安装包就不用每次都-i了。

2024-08-21 14:51:02 1087

原创 python通过API调用GPT并将回复保存为word文档

os是用来设置和获取环境变量的，docx是用来创建word文档的（这里要注意，在install的时候，记得安装python-docx库，docx库太旧了，其中没有Document函数。OpenAI是用来创建聊天实例的。这里我将调用GPT，并且获得输出文本的代码封装在一起，输入是prompt（也可以自行设置其它关于GPT的参数），输出是回复的文本。这里使用的API是中转的。因此需要加一个base_url。将回复的文本保存为word文档。然后环境变量.env文件设置。首先，需要用到的库。

2024-08-07 18:06:39 652

原创如何创建.env文件

因为项目需要配置环境变量，第一次操作。在论坛上找了很久，都是扯淡。说什么要在桌面用记事本创建一个1.env文件，然后再命令行里面rename，将文件名改为.env。其实只要在pycharm里面直接新建文件，然后命名为.env就可以了。

2024-08-02 17:50:59 721 1

原创如何在Hugging Face上下载模型

在这里就可以看到很多可下载的文件。一般来说，下载需要下载箭头标注的这几个文件。其中“pytorch_model.bin”是基于pytorch框架的模型文件，有时候也会有tf_model的模型文件。根据自己的框架进行选择。在Hugging Face上搜索到自己想要的模型，这里我自己搜索的是检索增强常用的模型。搜索到之后，点击“files and versions”。下载之后将其放在同一个文件夹下，然后在环境变量文件.env中，注明模型所在的文件地址即可。

2024-08-02 17:16:15 941

原创 llama_cpp python安装失败解决方案

在构建RAG-LLM系统时，用到了llama_cpp这个python包。但是一直安装不上，报错。安装visual studio 2022，并且勾选C++桌面开发选项与应用程序开发选项；尝试在安装包名改为“llama_cpp_python”无效。最后在Github上发现有人同样的报错。然后再继续安装llama_cpp即可。

2024-07-31 20:39:22 5100 1

tanixn的博客