- 博客(114)
- 资源 (18)
- 收藏
- 关注
RSS订阅原创 caltech数据集读取图片报错RuntimeError: output with shape [1, 224, 224] doesn‘t match the broadcast shape [3,
在做Caltech数据集分类的时候，由于图像尺寸基本上到了上百像素点，已经不能向CIFAR数据集一样一次性把图片全部读进显存，torch框架里面，dataloader对象保存的是图片的地址，每个batch都会去硬盘里面读取图片。
2024-06-02 23:13:18
547
1
原创 Win11右键怎么改回来？Win11文件系统右键恢复传统模式操作
Win11更新了文件系统的操作方式，右键文件后想快速按D删除文件或者M重命名文件都不方便，下面介绍一种恢复原菜单办法！
2023-04-23 22:44:05
750
1
原创 分类数据集踩坑记录，Caltech256，你礼貌吗？
通过路径读取图片后先将img转换为tensor，并判断tensor是不是单通道，如果单通道则直接复制为3通道。确保所有img为3通道之后再进行标准化和resize等操作。标签文件与数据集不匹配，标签文件长达30609，但实际图片为30607张（官方数据）。判断了下所有文件是否存在，出现两个奇葩index找不到文件。Caltech256主页，以及博主提供的免费数据集下载链接。
2022-09-03 15:44:05
1890
2
原创 一招包治pycharm DEBUG报错 UnicodeDecodeError: ‘utf-8‘ codec can‘t decode
马保国认证的解决方案
2022-07-29 17:59:13
2289
4
原创 OP_REQUIRES failed at save_restore_v2_ops.cc:109 : Not found: Failed to create a NewWriteableFile:
问题描述：一个bert+BiGRU+CRF模型代码，将tf1.13的代码改成了tf2.5的代码。然后运行出现这个错误：原因分析：网上说是checkpoint的保存路径过长，我把保存路径改到了c盘根目录，报错的位数从180位降到了100位，还是报错，路径名后面一堆乱码。所以改目录是不可行的。不过这个问题确实是保存路径的问题，我在尝试了很多遍后终于找到了答案。解决方案：错误写法：root_path = r'C:/RecSysProject/bert-bilstm-crf-ner/'正确写法：
2022-03-12 22:10:01
1298
原创 failed to run cuBLAS routine cublasSgemm_v2: CUBLAS_STATUS_EXECUTION_FAILED Blas GEMM launch failed
项目场景：一个命名实体识别模型，BERT+BiGRU+CRF。问题描述：在以前的笔记本上面，显卡2060，python3.7，tensorflow1.13，cuda10.0，cudnn7.4一直运行无错。把模型弄到台式机上面来，3060显卡，装了python3.7，tensorflw1.13，cuda10.0，cudnn7.4，显示以下错误：failed to run cuBLAS routine cublasSgemm_v2: CUBLAS_STATUS_EXECUTION_FAILEDTr
2022-03-04 14:01:36
3265
11
原创 pyhton XGBoost交叉验证的两种方法——极简源码
文章目录前言一、XGBoost.cv源码二、sklearn前言交叉验证其实就是对数据集进行了训练集与验证集的一个划分，一般来说对于自己写的一些算法，我们可以用sklearn的KFold方法进行数据集划分。而像XGBoost和LGBM这类工具都是大佬写的，自然顺带也给你封装了一个交叉验证方法。中本文将会介绍基于XGBoost自带的交叉验证方法和通过sklearn的划分数据集的交叉验证方法。一、XGBoost.cv源码XGBoost.cv，其中cv是cross validtion的缩写，即交叉验证。
2022-01-24 18:28:28
6053
原创 XGBoost 基于graphviz的模型可视化_可显示中文极简源码
文章目录前言一、源码及解决方案前言之前试了试XGBoost的可视化，结果中文直接乱码，在网上查了资料，算是解决了。一、源码及解决方案import xgboost as xgbfrom xgboost import plot_treeimport pandas as pdimport ostraindata = pd.read_csv('data/alldata.csv')trainlabel = traindata.pop('价格')Model = xgb.XGBRegressor
2022-01-19 23:30:57
3161
原创 python XGBoost 极简代码求解特征重要性
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、源码前言XGBoost的特征重要性通过特征在所有弱分类器中节点出现次数来衡量，直接上源码。该源码读取训练数据采用csv格式，保存特征重要性使用json格式。一、源码import jsonimport pandas as pdimport xgboost as xgbfrom xgboost import plot_importancetraindata = pd.read_csv('data/allda
2022-01-19 23:12:51
1882
1
原创 城市生活知识图谱 ②爬取百度贴吧之长沙吧
文章目录前言一、长沙吧二、使用步骤1.引入库2.读入数据总结前言上期说到我们爬取了长沙美食吧的一些帖子数据，但是发现有点问题。长沙美食吧基本上都是打广告的，都是培训广告，没几个活人数据量太小了，一台机器奋斗一天才几千条数据，这是远远不够的一、长沙吧示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码如下（示例）：import numpy as npimport pandas as pdimport matplotli
2022-01-08 22:27:30
1066
原创 城市生活知识图谱 ①百度贴吧爬虫源码，长沙吧，长沙美食吧
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、数据格式二、网站分析三、源码总结前言本文发布时间为2022年1月7日，超过一定日期，代码可能无法运行。本文为构建城市生活知识图谱的第一步，即使用爬虫对百度贴吧中，长沙吧，长沙美食吧进行数据爬取。一、数据格式毫无疑问，语言选python，数据结构选json，json格式其实就是python中的字典格式，相当于将一个字典结构写入了txt文件，读出也只需要一行代码。由于爬虫存在很多种异常中断的可能，我们使用两个jso
2022-01-07 21:20:08
1355
原创 LSTM与BiLSTM的抽象理解——羽毛球双打
文章目录前言一、命名实体识别-NER二、LSTM三、Bi-LSTM总结前言LSTM的顶顶大名大家应该都听过，针对序列特征，LSTM相比于普通的RNN网络解决了两个棘手的问题，首先是通过门结构避免了梯度消失和梯度爆炸二点问题，然后通过增加一个cell状态捕捉长距离依赖。那么LSTM之后的改进工作呢，一个是简化版的GRU，另一个就是今天我们要讨论的Bi-LSTM网络。一、命名实体识别-NER在nlp种有一个任务叫做命名实体识别，简称NER。说的是给模型一句话，如何让模型将话里面的实体标注出来，比如说，
2022-01-03 14:27:21
2848
原创 Elastic 学习笔记一，Elastic与kibana的安装
Elastic系列文章目录提示：如果觉得文章不错，欢迎点赞收藏，有问题可以在评论区讨论或者私信问我，每日在线中。文章目录Elastic系列文章目录前言一、Elastic是什么？二、使用步骤1.引入库2.读入数据总结前言如果觉得文章不错，欢迎点赞收藏，有问题可以在评论区讨论或者私信问我，每日在线中。一、Elastic是什么？文章是写给小白和入门选手看的，扯什么高大上的全局搜索，分布式，我自己也还没弄明白。总之，ES，就是牛逼，就是现在很多公司在用的搜索引擎。它是基于另外一个叫做Lucene的搜
2021-11-10 15:51:45
2193
原创 Python 各种数据保存与读取方法——numpy，dict，dataframe等等
文章目录前言一、写入与读取1.Dataframe转csv，xlsx2.numpy(ndarray转npy)3.dict转txt总结前言往往在做机器学习或者深度学习的时候，数据预处理部分需要大量的时间，如果每次debug都重新预处理数据，这样速度非常慢。我有一个embedding的数据预处理过程，重新跑一次要两分钟，但是将预处理完的数据保存至本地后，导入数据只需要10秒，速度差距非常大。一、写入与读取1.Dataframe转csv，xlsxDataframe可以考虑转换为csv文件或者exc
2021-09-28 12:14:06
2753
4
原创 torchvision中调用各种transform源码分享_高斯_标准化等
提示：麻烦点赞，拒绝白嫖文章目录前言一、数据增强二、Transform1.基础使用示例2.标准化3.其他Transform总结前言torchvision中封装好了多种图片数据增强的操作，调用非常的方便，今天一起来学习以下各个transform的使用方法。一、数据增强数据增强是一个很有效地提升模型精度的方法，通过让模型学习一些经过转置，加噪等形式的特征，可以使得模型拥有更好的鲁棒性。但是需要注意的是，并不是任何时候都适合去无脑的把所有Transform安排上。首先，如果训练集数量非常充足，但特
2021-09-28 12:12:56
804
原创 Matlab DNN多层感知机进行图像分类——附源码分享
提示：麻烦点赞，拒绝白嫖文章目录前言一、数据来源二、使用步骤1.引入库2.读入数据总结前言Python不香吗？非得用matlab来搞机器学习的东西？不是不是，matlab也有集成了许多机器学习算法，当然，都是一些非常基础的机器学习算法。深度学习还是得向python看齐。今天试用了一下matlab自带的DNN模型，封装在newff函数里，寥寥几行代码，非常简洁。提示：以下是本篇文章正文内容，下面案例可供参考一、数据来源打开画图软件自己画了10张图片，5张为A，5张为B，如下：将它们再次
2021-09-27 20:41:09
1857
原创 pytorch_预训练inceptionresnetv2自定义类别数量_源码分享
系列文章目录9种经典图片分类卷积模型系列合集（推荐程度依次递减）：Se_resnet50Resnet50Xceptioninceptionresnetv2resnextbninceptionshufflenetv2polynetvggmImagenet的预训练inceptionresnetv2是1000个类别，根据笔者添加了一个bottleneck层和一个head层使得可以进行自定义类别训练。源码from __future__ import print_function, di
2021-09-27 20:34:41
1140
原创 pytorch_预训练bninception自定义类别数量_源码分享
系列文章目录9种经典图片分类卷积模型系列合集（推荐程度依次递减）：Se_resnet50Resnet50Xceptioninceptionresnetv2resnextbninceptionshufflenetv2polynetvggmImagenet的预训练bninception是1000个类别，根据笔者添加了一个bottleneck层和一个head层使得可以进行自定义类别训练。源码from __future__ import print_function, division
2021-09-27 20:29:54
368
1
原创 pytorch_预训练polynet自定义类别数量_源码分享
系列文章目录9种经典图片分类卷积模型系列合集（推荐程度依次递减）：Se_resnet50Resnet50Xceptioninceptionresnetv2resnextbninceptionshufflenetv2polynetvggmImagenet的预训练polynet是1000个类别，根据笔者的经验，预训练的网络结构是不能更改的，改了效果就不行，只能在末尾增加一个（1000，classes）的全连接层，中间还有一层dropout，这样效果是最好的。源码from __fut
2021-09-27 20:27:16
297
原创 pytorch_预训练Se_resnet50_自定义类别数量_源码分享
系列文章目录9种经典图片分类卷积模型系列合集（推荐程度依次递减）：Se_resnet50Resnet50Xceptioninceptionresnetv2resnextbninceptionshufflenetv2polynetvggmImagenet的预训练Se_resnet50是1000个类别，根据笔者的经验，预训练的网络结构是不能更改的，改了效果就不行，只能在末尾增加一个（1000，classes）的全连接层，中间还有一层dropout，这样效果是最好的。源码注意：最好的
2021-09-27 20:25:31
3345
11
原创 pytorch_预训练Resnet50_自定义类别数量_源码分享
系列文章目录9种经典图片分类卷积模型系列合集（推荐程度依次递减）：Se_resnet50Resnet50Xceptioninceptionresnetv2resnextbninceptionshufflenetv2polynetvggmImagenet的预训练Resnet是1000个类别，根据笔者的经验，预训练的网络结构是不能更改的，改了效果就不行，只能在末尾增加一个（1000，classes）的全连接层，中间还有一层dropout，这样效果是最好的。源码import torc
2021-09-27 20:25:05
1666
1
原创 pytorch_预训练vggm_自定义类别数量_源码分享
系列文章目录9种经典图片分类卷积模型系列合集（推荐程度依次递减）：Se_resnet50Resnet50Xceptioninceptionresnetv2resnextbninceptionshufflenetv2polynetvggmImagenet的预训练vggm是1000个类别，根据笔者添加了一个bottleneck层和一个head层使得可以进行自定义类别训练。源码from __future__ import print_function, division, absol
2021-09-27 20:24:48
393
原创 pytorch_预训练Xception_自定义类别数量_源码分享
系列文章目录9种经典图片分类卷积模型系列合集（推荐程度依次递减）：Se_resnet50Resnet50Xceptioninceptionresnetv2resnextbninceptionshufflenetv2polynetvggmImagenet的预训练Xception是1000个类别，根据笔者的经验，预训练的网络结构是不能更改的，改了效果就不行，只能在末尾增加一个（1000，classes）的全连接层，中间还有一层dropout，这样效果是最好的。源码"""Porte
2021-09-27 20:24:13
2207
2
原创 pytorch_预训练shufflenetv2自定义类别数量_源码分享
系列文章目录9种经典图片分类卷积模型系列合集（推荐程度依次递减）：Se_resnet50Resnet50Xceptioninceptionresnetv2resnextbninceptionshufflenetv2polynetvggmshufflenetv2是一个轻量级的网络，速度很快。但Imagenet的预训练shufflenetv2是1000个类别，根据笔者添加了一个bottleneck层和一个head层使得可以进行自定义类别训练。源码import torchfrom
2021-09-27 20:23:46
1209
原创 pytorch_预训练resnext自定义类别数量_源码分享
系列文章目录9种经典图片分类卷积模型系列合集（推荐程度依次递减）：Se_resnet50Resnet50Xceptioninceptionresnetv2resnextbninceptionshufflenetv2polynetvggmImagenet的预训练resnext是1000个类别，根据笔者的经验，预训练的网络结构是不能更改的，改了效果就不行，只能在末尾增加一个（2048，classes）的全连接层，中间还有一层dropout，这样效果是最好的。源码from __fut
2021-09-27 20:23:08
484
原创 python(调包侠)——实现风格迁移Style Transfer
提示：麻烦点赞，不要白嫖文章目录前言一、风格迁移Style Transfer是什么？二、调包步骤1.引入库2.定义函数3.设置风格图片4.加载模型5.加载图片数据6.风格迁移总结前言作为一个新手加菜鸡，直接手撸底层源码时不现实的，所以，调包的学习是必不可少的，可以用它来验证你的代码是否有误。久而久之，你就成了调包侠。一、风格迁移Style Transfer是什么？图像风格迁移，就是将某张图的风格转移到其他图像上去，具体说明意思直接看效果吧。首先，风格图片是这张：迁移开始：好吧，非常
2021-08-10 21:48:54
1988
原创 遗传算法GA求解TSP问题——matlab手撸源码
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pandas是什么？二、Matlab源码1.引入库2.读入数据总结前言TSP问题在物流配送等领域具有十分重要的应用价值，以传统方法如穷举法，随机法，进行求解其复杂度和求解质量都无法接受。目前，遗传算法求解TSP问题表现出了非常好的效果，在一个可接受的时间内得出了一个较优解，本文旨在对不同规模的TSP问题，其对应的最有GA算法参数就行探讨，在保证求解质量的前提下尽量减小计算量。实验结果表明，本文提出的参数在200个城市规
2021-08-10 16:27:33
1892
2
原创 2021科大讯飞_环境空气质量评价挑战赛_LineRegression_baseline0.04385
文章目录前言一、环境空气质量评价挑战赛二、使用步骤1.LineRegression总结前言没事的话就也来参加一下这些比赛吧，只要进入前20%就有证书发啦，以后说不定有用噢一、环境空气质量评价挑战赛参赛链接这是一个时间序列问题，数据是没有缺失的，是一个典型的回归问题，后续可能考虑提升树啊，XGBoost，lightGBM，DNN，LSTM等等二、使用步骤1.LineRegression代码如下（示例）：import numpy as npimport pandas as pdfro
2021-08-09 16:26:07
787
2
原创 Matlab_20行代码手撸纯矩阵运算KNN分类算法
文章目录前言一、KNN原理二、使用步骤1.matlab源码总结前言提示：KNN效果其实很拉。提示：以下是本篇文章正文内容，下面案例可供参考一、KNN原理如果说这个世界上有最简单的分类方法，那么毫无疑问就算KNN了。物以类聚，人以群分，KNN的精髓一句话概括，对任何一个样本，找出K个相似的样本进行投票决定新样本类别。那么相似怎么判断？就引入了距离度量和相似度度量：距离度量说人话就算欧几里得距离，再说人话就算,算了没啥好说的了，两个数据之间如何求欧几里得距离这个我就不教了吧。相似度度量就算余弦相
2021-08-05 15:30:15
625
原创 Matlab SA for Feature Selection(模拟退火求解特征选择)
文章目录前言一、SA原理二、源码1.matlab源码总结前言提示：本文在matlab平台实现了SA算法用于求解特征选择问题。一、SA原理通过模拟金属退火这一过程发现，从高温时粒子的不稳定状态到低温时粒子的稳定状态，其间并不是一直都往稳定的状态变化，也有小概率会往更加不稳定的状态变化，但最有总能收敛到一个比较好的局部最优解。SA算法是最经典的元启发式算法之一，已经被证明——只要时间足够就一定能收敛到全局最优解？忘了是不是记错了哈哈。不过对于复杂的问题上时间就是不可接受的了，只是理论上证明。..
2021-08-05 15:04:13
932
原创 Python 不调包实现Hierarchical Clustering——层次聚类(合并法)
提示：本文不调用sklearn等包，直接使用numpy和pandas完成了Hierarchical Clustering，即层次聚类算法的实现。文章目录一、Hierarchical Clustering之算法原理二、python源码1.Hierarchical Clustering.py2.读入数据总结一、Hierarchical Clustering之算法原理算法介绍首先呢，Hierarchical Clustering是属于无监督的聚类方法，具体来说又分为多种更细的方法，如合并法、分解法.
2021-07-28 21:48:51
1587
原创 python Scipy求解等价凸优化问题之Ridge_Regression(岭回归)
提示：本文不调用sklearn等包，直接使用scipy.optimize，numpy和pandas完成了Ridge_Regression，即岭回归算法的实现。文章目录一、Ridge_Regression岭回归之算法原理？二、python源码1.Ridge_Regression.py2.读入数据总结一、Ridge_Regression岭回归之算法原理？岭回归是一种常见的方法，简单来说就是在线性回归 Y = β X + b 的基础上加入了正则项，减少了过拟合，其实也就介绍完了，这个正则项可以转变成一.
2021-07-28 20:12:21
1124
原创 python cvxpy安装过程中遇到的坑
最近在环境配置中需要cvxpy这个库。win10+Anaconda+python37的环境下直接使用pip install cvxpy时遇到如下问题：Failed building wheel for cvxpyFailed building wheel for ecosFailed building wheel for scsCould not build wheels for cvxpy which use PEP 517 and cannot be installed directly百
2021-07-17 16:37:24
1280
原创 python 量化投资期末作业nomis加，付费
#%% mdFinal ProjectInstructions:This project should be done in a group.Your group was assigned at orientation and you can find it in blackboard as wellComplete each task askedAfter you are done. save and upload in blackboard.Please check that you ar
2021-07-17 00:57:21
611
原创 Matlab 使用四阶龙格库塔求解二阶隐式微分方程_ode45
接到一个任务，要用四阶龙格库塔求解一个微分方程。虽然是计算机人，面对数学系的内容不能怕，果断下了个挑战书。
2021-07-10 00:20:58
8019
9
原创 ValueError: cannot set a row with mismatched columns Pandas报错，超级折磨人
遇到了个很麻烦的问题，百度基本上没找到解决方案，所以来记录一下。第一步是从另外一个DataFrame中摘取了一行保存为一个新的DataFrame命名为submit,第二步时想将oof_test保存为submit的一列，出现报错ValueError: cannot set a row with mismatched columns Pandas解决方案：# 首先丢弃index，因为如果index不同的话，虽然仍然是列拼接，但会在不同的行submit = test[['日期']]submit
2021-07-04 16:29:06
12114
1
原创 pandas 设置列名但是原列名为空，吐血经验，看看不亏
写个作业，pandas.read_excel导入了50列数据，其中第一列为空列名。我想把第一列列名设置为 ‘date’ ，网上找了很多方法，基本上就是一下两种：df.rename(columns={‘xxx’:‘yyy’})，你大爷的，我这第一列是空列，所以xxx无论输入什么都找不到，我尝试了空字符不行，Unnamed: 0也不行，0也不行，淦。df_ind.columns = [‘aaa’,‘bbb’,‘ccc’,‘ddd’,…] ，淦，我这表有50列，难道全部写在notebook上面交这个作业吗
2021-06-29 13:44:37
6976
11
原创 pyinstaller 安装后找不到exe文件，只有py文件
最近要打包一个软件，按照网上的教程安装了pyinstaller，再script下没找到exe文件，纳闷了，后来发现原来是装了个盗版的，我装成了pyinstall，这个包只有py文件，不会有exe文件。只有pyinstaller才会有exe文件，FK**...
2021-06-27 15:04:07
3436
4
Japan Credit.zip
2021-05-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人