机器学习/深度学习
文章平均质量分 50
机器学习/深度学习中常见方法和概念的记录
所谓远行Misnearch
心中栽桃树,灼灼映桃花
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
边缘损失函数
本质上是为了在模型学习过程中拉大某两类节点的评分差距,在差距不够时施加惩罚,是一种常见的对比性损失或排序损失思想。可以成为边缘排名损失(margin-based ranking loss),鼓励某类节点的评分高于另一类节点。,假设差距是0.5,则损失是0.2,假设差距是0.8,则损失是0,损失越来越小。,否则就回产生损失,损失大小就是未满足差距的部分,代表了正类与负类的差距,显然希望这个差距大于等于。,即正类的评分比负类高至少。原创 2025-04-20 13:48:46 · 727 阅读 · 0 评论 -
one class classification
在one class classificaiton中,仅仅只有一类的信息用于训练,其他类别的(outlier)信息是缺失的,即区分两个类别的边界线是通过仅有的一类数据的信息学习得到的。二分类中常用的BCE Loss,理解这里的Loss就是判断模型的好坏并纠正,对于错误的预测,应该返回高值,对于良好的预测,应该返回低值。利用已知部分正常节点来检测异常,即只利用一类正常节点来实现二分类,这是one-class的任务。原创 2025-04-19 15:07:18 · 221 阅读 · 0 评论 -
sklearn.ensemble
这是一个集成方法,通过组合多个单一模型来构建更强大的预测模型的技术。核心思想是“集体智慧”,即多个模型的组合通常比单个模型的性能更优。两个著名的方法就是梯度提升树gradient-boosted trees和随机森林random forest。原创 2024-11-27 14:37:27 · 290 阅读 · 0 评论 -
提问GPT
AI模型即采用深度学习技术的人工神经网络。你不会被AI取代,而是会被熟练运用AI的人取代。原创 2024-10-29 17:11:16 · 771 阅读 · 0 评论 -
MSE Loss、BCE Loss
xand targety即均方误差,回归问题解决的是对具体数值的预测,使用于回归问题下的损失函数。使用MSE损失函数,受离群点的影响较大。原创 2024-10-22 19:07:39 · 720 阅读 · 0 评论 -
理解注意力
注意力计算过程中,会首先根据键和查询进行注意力计算,得到对应注意力分数,理解为键和查询的相关度,越相关则对应分数越高。再经过softmax映射为0,1之间,得到注意力权重。基本过程是query和键在注意力汇聚层中经过计算,得到了对应的注意力权重,再通过这个权重,对应键的值在输出就会占不同比例,从而实现对值的选择倾向。自注意力本质是计算序列中每个元素与序列中其他元素之间的相似性。查询、键、值都来自同一个地方,称为自注意力self-attention。了解查询query,键key,值value。原创 2024-10-22 14:02:07 · 292 阅读 · 0 评论 -
Linux服务器配置anaconda3,下载torch
如果上面安装全是yes,则已经配置好了环境变量,例如新建终端,可以看到已经是base环境了。因为环境需要,建议新建一个虚拟环境进行配置。这里选择python3.8的环境,然后激活该虚拟环境,原创 2024-10-01 17:10:17 · 607 阅读 · 0 评论 -
理解DataLoader
本质是一个可迭代的对象,使用iter()访问,不能使用next()访问。Pytorch中的DataLoader。原创 2024-09-16 10:44:03 · 317 阅读 · 0 评论 -
F1-SCORE
进一步理解P和R,以好坏瓜的分类为例,P代表的就是被分类器分类成好瓜的样本中,确实是好瓜的比例,因此可以得到P = TP / (TP + NP)。如何利用P,R量化分类器的性能,P-R曲线不太好求,因此引入了f1-score,其越接近1,其性能越好。首先根据二分类问题,一定要了解混淆矩阵,这样就可以理解出四个关键:TP,FP,FN,TN。如上所示,上面的average参数用于多分类的情况,显然P和R,如果一大一小都不行,需要P,R都很高。对各个P,R求平均,然后再去F1。原创 2024-09-12 15:47:41 · 769 阅读 · 0 评论 -
Optuna的使用
Optuna是一个用于超参数优化的python库,可以帮助我们自动化选择最优的超参数组合。使用贝叶斯优化算法搜索超参数空间,其搜索空间,使用熟悉的python语法,例如条件语句和循环,定义搜索空间。optuna根据已有的实验结果,自动选择下一超参数组合进行实验,并逐渐收敛于最优解。原创 2024-09-09 18:03:05 · 1171 阅读 · 0 评论 -
np.load()读取npy文件
在读取文件的时候只需要添加上读取方式,那么就会使用给定模式对文件进行内存映射,内存映射的矩阵保留在磁盘上,并不是直接全部读取到内存里。文件特别大读取起来非常慢,甚至有可能导致电脑卡死。原创 2024-09-08 14:50:52 · 409 阅读 · 0 评论 -
overleaf上latex表格的使用,latex绘制三线表
表示在第 2 列到第 4 列之间绘制一条水平线,线条将紧贴第 2 列的左边和第 4 列的右边。这种控制可以使得表格中的线条更加精确地排版,提升表格的美观度。在表格排版中,\cmidrule 命令用于创建部分水平线,通常用在 LaTeX 表格中来控制列之间的线条格式。\toprule和\bottomrule分别代表上和下两条粗线。\midrule代表中间的线。r(right):在这一端不添加额外的间隔,线条将紧贴右侧列的边界。l(left):在这一端不添加额外的间隔,线条将紧贴左侧列的边界。原创 2024-08-08 23:01:07 · 2618 阅读 · 0 评论 -
论文实验结果绘图
涉及一些关键问题。原创 2024-08-07 10:11:42 · 998 阅读 · 0 评论 -
overleaf,latex使用过程中记录
这意味着所有动词(包括短动词,如 be、is、using 和 go)、名词、副词、形容词都应大写,包括连词中的两个词,而冠词、连词和介词则小写,除非它们直接跟在冒号或长破折号后面。条目类型:BibTeX 支持多种条目类型,包括 article(文章)、book(书籍)、inproceedings(会议论文)等,每种类型都有其特定的字段,如作者、标题、出版年份等。集成和自动化:在 LaTeX 文档中,用户可以通过简单的命令插入文献引用,并在编译时由 BibTeX 自动生成完整的参考文献列表。原创 2024-07-29 18:09:04 · 1355 阅读 · 0 评论 -
overleaf、latex快速了解
Overleaf是一款在线latex编辑器,不用配置本地环境。一般不会创建空项目来写论文,更多的是上传一个给定的Latex模板。编辑公式的工具,LaTeX在线:吴文中数学公式编辑器在线生成latext表格的工具,Create LaTeX tables online。原创 2024-07-25 19:40:11 · 1077 阅读 · 0 评论 -
nn.Bilinear介绍和原理
回归nn.LinearyxATb。神经网络的全连接层可以调用实现。原创 2024-07-12 15:44:40 · 1277 阅读 · 0 评论 -
vscode连接SSH——连接学校服务器,使用conda配置个人环境并使用
在vscode远程资源管理中配置配置文件,如下图:然后点击左下角进行连接:点击需要连接的服务器,输入对应密码即可登录成功。原创 2024-07-05 21:33:53 · 2296 阅读 · 0 评论 -
Sample larger than population or is negative
报错:ValueError: Sample larger than population or is negative。使用 random_indices = random.sample(range(num_nodes), 5)原因:当random.sample()中的第二个参数大于列表population的元素个数,就会报错。可以使用numpy的choice方法。原创 2024-06-25 15:13:02 · 458 阅读 · 0 评论 -
PyCharm:UserWarning: TypedStorage is deprecated. It will be removed in the future and..
该警告指正在使用的功能或方法已经被启用,并且未来可能会删除。这种输出涉及到日志输出,原创 2024-06-24 16:20:33 · 1745 阅读 · 0 评论 -
Pytorch Geometric(PyG)入门
PyG (PyTorch Geometric) 是建立在 PyTorch 基础上的一个库,用于轻松编写和训练图形神经网络 (GNN),适用于与结构化数据相关的各种应用。原创 2024-06-21 18:47:47 · 1366 阅读 · 0 评论 -
图神经网络工具篇
由纽约大学和亚马逊联手推出的图神经网络框架。原创 2024-06-14 19:43:51 · 379 阅读 · 0 评论 -
稀疏矩阵coo_matrix、csr_matrix
coo_matrix定以后shape就不可更改,但是data,row,col可以更改。data即元素,row,col分别是稀疏矩阵中元素的坐标位置。合并稀疏矩阵可以使用vstack()和hstack()。内存占用比csr_matrix少,易手工构建。原创 2024-06-12 11:33:11 · 380 阅读 · 0 评论
分享