misite_J

文章目录查看自己电脑支持的cuda信息cuda toolkits与cuda drivernvidia-smi与nvcc -Vdriver API与runtime API下载CUDA和cuDNNpytorch与cuda版本对应cuda与cudnn版本对应安装CUDA和cudnnCUDAcudnn环境变量配置安装完成后的验证CUDA多版本切换下载并安装Pytorchpytorch1.8.2 GPU版安装检查PyTorch GPU版本是否安装成功参考前言：“升级至cuda不需要将老的cuda版本手动卸载”，在安

印象中觉得transformers是一个庞然大物，但实际接触后，却是极其友好，感谢huggingface大神。原文见tmylla.github.io。​安装我的版本号：python 3.6.9；pytorch 1.0；CUDA 10.0。pip install transformerspip之前确保安装1.1.0+。​测试验证代码与结果python -c "from transformers import pipeline; print(pipeline('sentiment-an.

使用visdom可视化pytorch训练过程。​visdomVisdom是支持torch和Numpy实时数据可视化工具。Support by feakbooksearch 。可视化界面如下：​Preparation安装：pip install visdom启动：python -m visdom.server浏览器进入http://localhost:8097​Practiceutils.pyimport numpy as npfrom visdom impor.

导入依赖包import torch import numpy as npfrom torch.utils.data import DataLoaderfrom torchvision.datasets import mnistfrom torch import nnfrom torch.autograd import Variablefrom torch import optimf...

正则化（Regularization）机器学习中，许多策略被显式的设计来减少测试误差（可能会以增大训练误差为代价），这些策略统称为正则化。正则化的目的是限制参数过多或者过大，避免模型更加复杂。L1正则化和L2正则化是在损失函数后面会添加一个额外项，可以看做是损失函数的惩罚项。所谓“惩罚”是指对损失函数中的某些参数做一些限制。L1正则化和L2正则化的作用：L1正则化可以产生稀疏权值矩阵...

优化器优化器种类SGD: 随机梯度下降，每次迭代只训练一个样本，不能利用 CPU 或 GPU 并行计算 speed up，且每个样本都进行gradient descent，这无疑增加了样本中的概率，所以学习速度较慢。torch.optim.SGD(params, lr=, momentum=0, dampening=0, weight_decay=0, nesterov=False)AS...

概念理解感知机感知机（perceptron）是二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别（取+1和-1）。感知机对应于输入空间中将实例划分为两类的分离超平面。感知机旨在求出该超平面，为求得超平面导入了基于误分类的损失函数，利用梯度下降法 对损失函数进行最优化（最优化）。从神经网络模型的角度看，感知机是最简单的分类模型。多层感知机多层感知器（Multilayer P...

numpy实现梯度下降import numpy as np def func(x,y): return (1-x)**2+100*(y-x**2)**2#函数对x求导def dz_dx(x,y): return 2*x-400*(y-x**2)*x-2#函数对y求导def dz_dy(x,y): return 200*(y-x**2) value = n...

Pytorch是Facebook 的 AI 研究团队发布了一个 Python 工具包,是Python优先的深度学习框架改进现有的神经网络。Pytorch提供了更快速的方法——不需要从头重新构建整个网络，这是由于 PyTorch 采用了动态计算图（dynamic computational graph）结构，而不是大多数开源框架（TensorFlow、Caffe、CNTK、Theano 等）采用...

逻辑回归（Logistic regression）回归方法是对数值型连续随机变量进行预测和建模的监督学习算法。其特点是标注的数据集具有数值型的目标变量。回归的目的是预测数值型的目标值。逻辑回归对应线性回归，旨在解决分类问题，即将模型的输出转换为0/1值。逻辑回归直接对分类的可能性进行建模，无需事先假设数据的分布。最理想的转换函数是单位阶跃函数（也称Heaviside函数），但单位阶跃函数...