x66ccff

在进行大规模基准测试时，有效利用多核心CPU资源是至关重要的。本文介绍一种高效的多核心基准测试方法，该方法能够最大化CPU利用率，显著减少总体运行时间。

有了这种设置，您就可以在运行时动态更改超参数，而无需每次更改函数签名。这为您的函数提供了一个干净的接口，同时仍然提供了必要的灵活性来处理更改的超参数。特定于模型的预测函数接受任意数量的关键字参数(**kwargs)，你可以使用。如果你需要支持随每次运行而变化的不同超参数，你可能需要考虑使用函数参数、方法来获取值，默认值设置为None，如果没有提供其他适当的默认值。和用户可以在每次运行前修改的配置对象或字典的组合。，你可以使用它根据当前运行的需要更新配置设置。在这种方法中，你维护一个包含所有超参数的。

【代码】【python】模块测试方法三步走。

【代码】【python】Google 风格和 Numpy 风格 docstring。

是的，Python中的类可以包含其他类，这些类被称为嵌套类或嵌套类型。在类中定义嵌套类的语法与在模块中定义类的语法相同。python的类里可以写类吗。

在使用 line profiler 进行 python 性能分析时，可以得到每行代码的运行时间。但是在使用 GPU 进行计算的时候，计时的结果不一定是正确的，很有可能出现。

以九宫格布局，绘制同一个3D散点图的不同观察角度的图像。

本文以取 (bs, n, n) 张量的右上三角阵并展平为向量 (bs, n*(n+1)//2)) 为例，展示如何用 taichi 编写深度学习算子。如图，要把形状为bsnn的张量，转化为bs2nn1​的向量。我们先写一个最简单的最慢的纯 python 循环实现方法。

【代码】【pytorch】打印当前 Pytorch 保持的 tensor。

其中，expression是要添加到列表中的元素，element是for语句迭代的变量，sequence是要迭代的序列，condition是if语句的筛选条件。

【代码】【python】把 vscode 混乱的 %%prun 输出转 csv。

mul()和.add_()是 PyTorch 中的 in-place 操作，这意味着它们会直接在原变量上进行操作，而不会返回新的变量。相反，和是 Python 的运算符，它们会返回新的变量，不会改变原变量的值。对于大规模的数据处理，使用 in-place 操作可以节省内存空间。

在 jupyter notebook 中，我们会经常遇到修改模组后重新加载的情况，如果直接再次运行 import 语句，默认不会刷新原来的模组。

在实际应用中，如果发现模型训练过程中出现数值稳定性问题，或者需要加速训练过程，使用 LogSoftmax + NLLLoss 可能是一种较优的选择。在计算损失时，使用 NLLLoss 计算对数似然损失需要进行一次对数运算，而 CrossEntropyLoss 需要进行两次对数运算。在输入数值较大时，使用 Softmax 会导致溢出，而 LogSoftmax 则不会。而 LogSoftmax 之后，得到预测概率分布的对数。可以看到，这两种搭配方法计算的结果是一致的。，负对数似然损失就是将两个分布。

Python 的 lambda 函数是一种简化的函数定义方式，可以在不定义函数的情况下直接使用。其中 arguments 为参数列表，expression 为函数体。lambda 函数通常用于高阶函数中，如 map、filter、sorted 等。

【pytorch】训练时爆 Nan 的排查方法。

V_zero 依然是 None 的原因是，这个函数是在多线程中运行的，所以 V_zero 是线程的局部变量，不能被外部访问如果想要访问，可以用一个全局变量来保存即：

解决 multiprocessing 在 jupyter notebook 中不工作的问题。

screen 是 linux 下的会话管理工具，可以防止 ssh 断联问题。

也就是说，从设置随机种子的 numpy 代码产生的随机数都可复现。（一个常见误区是认为只有设置随机种子之后紧跟的一行代码可以复现）

简单例子演示 nn.DataParallel 单机多卡训练

训练模型时，使用什么 batch_size 能够帮我们最大化利用 GPU 的性能？给你一个函数，帮助你快速找到合适的 batch_size！参考：原文链接

介绍 Pytorch 官方文档的高斯负对数似然函数 Gaussian NLL Loss。

利用 GCN，在数据集上进行训练，根据图结构和特征字段（1433 维词向量），对结点 label 类别进行预测。

使用 NLTK 解析与生成上下文无关文法（Context-free Grammar）

利用 MNIST 训练 VAE 模型，并对潜空间进行可视化

reshape的用法

这是一个建立在贝叶斯推理和高斯过程基础上的受限全局优化包，它试图在尽可能少的迭代中找到一个未知函数的最大值。这种技术特别适用于的优化，在这种情况下，探索和利用之间的平衡很重要。贝叶斯优化的工作原理是构建一个函数的后验分布（高斯过程），它最能描述你要优化的函数。随着观测数据的增加，后验分布也在不断改进，算法也变得更加确定参数空间中哪些区域值得探索，哪些不值得探索，如下图所示。当你一次又一次地迭代时，考虑到它对目标函数的了解，算法会平衡其探索和利用的需要。

解决 torch.cuda.is_available() = False 的一个可能办法

参考将模型从 keras 的 LSTM 修改成 pytorch 上的 Transformer 模型，这里只给出与原文不同的地方。

参考这篇文章将相关的 keras 模型代码进行修改，改成对应的 pytorch 模型，现将有区别的部分放在这里。

本文使用了 keras-transformer 第三方库，进行唐诗生成

以唐诗生成模型为例，介绍4种文本分类模型

目标：使用 github 唐诗宋词数据库的 json 数据，训练一共唐诗生成器

webp 批量转换 jpg

wTΣw 为什么代表类内散度

SVM 对偶形式的推导，以及利用 Gurobi 求解 SVM 对偶形式

【copilot+python】python文本处理，转csv、markdown。

梯度下降法实现逻辑回归

梯度下降法解决线性回归问题（python）