- 博客(89)
- 收藏
- 关注
RSS订阅原创 Tensor列表索引本质
[1, 2, 3]]，返回： [ [ data[1], data[2], data[3] ] ][1, 2, 3]， 返回：[data[1], data[2], data[3]]双列表索引本质就是索引列表之间通过广播机制，达成一致。将原张量shape对应位置数字更改为索引列表的形状。[1] 返回：[data[1]]
2024-07-17 15:58:30
290
原创 训练通用教程-huggingface-datasets
利用datasets.Datasets.load_from_pandas构建数据集。使用datasets构建好数据集后，使用datasets.map方法进行训练。
2024-05-20 10:41:23
626
原创 datasets - huggingface常用属性与方法
更改数据集内容，返回一个新的数据集。可以使用这个方法进行训练预测。注意只有使用索引时，才会启动转换。本质就是pandas。
2024-05-16 11:12:59
286
原创 CRF和HMM的python复现。
已知：tokens = [x_1, x_2, x_3…x_n], labels = [l_1, l_2],以及转移概率矩阵T[labels, labels]和发射矩阵E[tokens, labels]\。{path22+t_{22}+e_{n2}}+e^{path23+t_{22}+e_{n2}}) \9.证明按照这种原则，即使按照前向分布计算，也会将所有路径计算出来。假设:x_{n-1}的各label概率为：p_{n-1} = [pre_1, pre_2]，其中\pre_1 = log(e。
2024-05-14 15:31:04
596
原创 torch.nn.LSTM
默认是0, 所有层所有链最后的隐藏态。:默认是0，所有层所有链最后的细胞态。: 输出的最后一层的隐藏态。输出的最后一层ht列表。
2024-04-09 19:45:19
977
原创 配置centos7 - yum源
将yum安装来源切换到阿里云的安装源上。阿里云的安装源：https://developer.aliyun.com/mirror/ centos7需要安装两个来源。
2024-03-04 14:53:37
633
原创 supervisor教程
子进程配置文件：/etc/supervisord.d/ 该文件夹下是supervisor管理的各个进程所属的配置文件。supervisor是一个统一管理批量化进程的工具，最主要的用处是接口或者程序半夜挂了，能够自己重新启动。主进程配置文件：/etc/supervisord.conf 就是supervisor本身的配置文件。supervisor是通过两个配置文件对进程统一管理，格式是ini，注释是前面加分号。官方网址：http://www.supervisord.org/使用pip和yum都可以安装。
2024-03-03 01:32:46
1726
原创 net-tools工具使用
这个工具的命令是：netstat。主要用来查找接口是否成功开启：netstat -tunlp。-p:显示pid/进程名称， 也就是验证是不是自己要开启的接口。-l: 仅显示处于监听状态的端口。
2024-03-01 15:14:04
2043
原创 os.getcwd()和__file__的区别。
os.getcwd()：当前执行那个文件就是这个文件的目录，而不是这行代码写的地方。__file__: 这行代码写在哪值就是哪。
2024-02-28 11:41:57
384
原创 pytorch张量创建、张量复制
注意：torch.Tensor(int1, int2,int3)会创建[int1, int2,int3]形状的张量，如果传入列表元组等，就会返回该列表元组张量。首先注意一点：在torch中，可导张量计算出的新张量也是可导的，新张量与原张量具有可导连接，那么原张量就不是叶子张量，新张量成了叶子张量。整数：torch.ShortTensor 16位，torch.IntTensor 32位，torch.LongTensor 64位。tensor.clone会保持原张量的微分传导图，并会叠加到结果上。
2024-02-27 21:02:58
746
原创 gunicorn使用模板
是一个python文件：my_gunicorn.conf.py，使用方式：gunicorn -c my_gunicorn.conf.py app_test:app，app_test是自己的web接口.py文件。gunicorn使用拢共就两部：1，写好配置，2，启动。编写启动模板：my_gunicorn.sh。重启：my_gunicorn.sh restart。启动：my_gunicorn.sh start。
2024-02-27 16:41:39
611
原创 shell命令单双引号
shell双引号"" - 作用相当于python中的f"{变量}ddd"，可以识别变量。shell单引号’’ - 作用就是所见即所得，变量会失去作用。
2024-02-27 16:38:16
418
原创 nginx配置文件入门
日志错误级别：debug | info | notice | warn | error | crit | alert | emerg，生产环境最好是warn以上。nginx.conf配置全文如下，语句结尾必须有分号。
2024-02-27 10:54:43
374
原创 nginx管理命令
两种管理方式nginx管理和systemctl管理，注意使用哪种方式开始就用哪种方式结束。nginx -T : 检测nginx.conf配置文件的语法，然后尝试加载后退出。一部分是管理命令，一部分是配置文件。systemctl restart nginx ： 重新启动nginx。nginx -s reload : 重新读取nginx.conf。nginx -t : 检测nginx.conf配置文件的语法。systemctl start nginx : 开始nginx。nginx : 直接运行nginx。
2024-02-26 16:26:53
492
原创 字符串split切割逻辑
dddd’，按照d切割，每碰到一个d就新生成一个子串，并将旧子串加入到结果列表中。本质上-初始一个子串，每遇到一个切分点，就新生成一个子串。
2024-02-22 10:24:27
323
原创 矩阵相乘的本质
矩阵与矩阵相乘，表示从出发状态-到达状态-第二个矩阵到达状态。所以第一个矩阵的列状态数量和第二矩阵的行状态要一致，也就是为什么二者要相等的实际意义。矩阵的行号可以表示为出发状态，列表示到达状态。
2024-02-16 17:02:09
425
原创 numpy随机选择函数
repalce : 是否放回， TRUE表示放回。FALSE表示不返回。a : 一维列表或者整数， 表示抽取的列表。size : 整数或者元组，抽取的矩阵形状。p : 随机选择的概率分布。
2024-02-16 11:45:08
410
原创 torch模型保存
加载方式一的模型： model = torch.load(‘./model.pth’)torch.save() - 作用是将对象保存到序列化文件中。torch.load() - 作用是将序列化文件生成回对象。
2024-01-19 17:20:58
1481
原创 pycharm配置远程开发环境原则与具体步骤
pycharm远程环境基本就是两个事。目的是为了解决一下这种麻烦的操作：将本地代码上传到服务器之后，用远程服务器的解释器运行服务器上的代码。
2024-01-19 15:30:29
598
原创 Python闭包与装饰
实际使用：装饰的本质就是装饰，不参与任何被装饰函数的功能。一般可以用于日志，或者全局变量的判断。定义：利用nonlocal声明函数组成部分中的变量，返回组成部分中的函数。实际使用：定义一个函数，该函数每次执行，都会从上一步的计算结果继续执行。定义：函数组成部分中的函数调用了参数，返回改函数。
2024-01-11 11:10:20
523
原创 linux开发-导入自定义包模块
在集成开发环境中，只要是在项目中的自定义包，是可以直接被导入的。在linux中，导入自定义模块，需要使用sys。import syssys.path.append('需要导入的模块所处的路径')import 所要导入的包。
2024-01-09 20:57:19
381
原创 pycharm配置远程环境与映射路径基本原则。
pycharm配置远程环境与映射路径基本原则。配置远程解释器之后。本质是更改映射路径。选择使用远程解释器后。新建一个项目。然后Pycharm中Tools->Development->Configuration，选中自己的远程环境，在左边的Mappings下映射自己的目录pycharm基本原则一个项目选择使用一个Python解释器。一个项目配置一个远程解释器，可以配置一个映射路径。映射路径可以右键上传。非映射路径不能上传，但是可以使用解释器。非映射路径其实也是上传到远
2024-01-09 17:12:06
1581
原创 python知识图谱-py2neo实现neo4j的dao类
py2neo的基本使用以及cypher的基本使用：https://blog.youkuaiyun.com/Akun_2217/article/details/135445147?
2024-01-08 16:52:25
811
原创 python-日志模块以及实际使用设计
本质就是更换日志处理器，利用logging.FileHandler()将日志信息输出到文件内。util/logger.py，设计如下，也可以按照自己的额外思路进行设计。logging.StreamHandler将日志信息输出到终端上。过滤器:过滤日志信息。过滤器:过滤日志信息。格式器:格式日志信息。格式器:格式日志信息。
2024-01-07 18:20:29
1918
1
原创 argparse学习使用
关键词参数开头必须是-或者–，后面名称可以随便填。可以填很多个，但是变量名是第一个。如果没传入，返回None。位置参数是必须的，除了关键词参数与值外，其他的值与位置参数一一对应。参数分为位置参数（必须），关键词参数（可选）。利用action参数。
2024-01-03 20:32:23
447
原创 yalm配置文件使用
yaml方便的地方在于如果key-value关系中，value是列表，yaml更方便进行操作。要么是list，嵌套map的做法就是在基本形式之上加一个横杠，代表列表中的一个元素。层级关系就是两种，这两种可以相互嵌套，但是最高的层级关系只能是字典和列表一种。1，使用缩进来表示层级关系， 且禁止使用tab 来缩进， 只可以使用空格。3，缩进长度可以为任意长度，但是同一层级的元素必须对齐。yaml的硬性规定，本质是方便对配置文件进行解析。yaml的load不做区分，可以加载文件或者字符串。
2024-01-03 11:10:28
668
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人