- 博客(18)
- 收藏
- 关注
RSS订阅原创 避免读取.csv 文件,格式报错的统一方法
因此为避免在读取时，报错，或者乱码，我们可以在读取文件之前，先对文件格式进行检测，然后将检测的格式带入到pd.read_csv(file,encoding = '检测的格式')这是由于我们的csv 文件格式不确定导致的，有的时候是gbk 格式，有的时候是utf-8格式，大家在使用pd.read_csv()读取csv 文件时，是否遇到过。
2025-04-01 15:48:02
235
原创 深度学习超参数优化Hyperot和NNI 对比[3]
hyperot 和NNi 对比，发现超参数优化的结果，学习率一致，但其他几个参数，均存在差异。可能和空间范围给的不够宽，有关系，但范围给大，训练时长会加大，后面有感兴趣的小伙伴可进行探究。关于 Hyperot 和 NNI 的使用，我在前面部分进行了详细介绍，包括具体的使用案例，接下来，我对这两种优化方法进行了对比。对比发现，重复性很差，因此，我增加迭代次数至100次（由于设置了早停机制，并没有运行100次，就停止了）
2025-03-26 16:56:51
145
原创 深度学习超参数优化方法汇总[2]
第一、总体介绍：查看NNI 官网第一、总体介绍：通过对NNI官网及上述资料的阅读，整理快速上手NNI 进行深度学习调参步骤：1、已经完成训练模型代码的编写model.py，即可以手动给定超参数，进行模型训练；2、下载nni库，pip install nni；3. 添加配置文件，search_space.json；4. 编写主文件 main.py。因此整体代码包括：数据集、main.py 、model.py 、search_space.json（nni 是自动生成的）
2025-03-26 15:24:03
621
原创 深度学习超参数优化方法汇总[1]
Hyperopt是一个强大的python库，用于超参数优化，由jamesbergstra开发。Hyperopt使用贝叶斯优化的形式进行参数调整，允许你为给定模型获得最佳参数。它可以在大范围内优化具有数百个参数的模型。但是有个问题，由于Hyperopt 是随机搜索，导致每次训练的结果都不一致，不稳定，大家如果有稳定的优化调参工具可评论分享出来。trials = Trials() 的作用是记录中间过程和最终结果，可使用trials.best_trial。1.定义神经网络、模型训练类。有需要数据集的，可私信我。
2025-03-25 17:19:59
329
原创 如何理解深度学习中的隐藏层个数和隐藏层尺寸
神经网络结构包括输入层、隐藏层和输出层，其中输入层大小取决于输入特征数，输出层大小由输出目标值确定，而隐藏层的个数和尺寸，如何确定？首先理解一下，隐藏层个数和尺寸，如下图所示：x，y 中间的就是隐藏层个数，而每个隐藏层的神经元数量就是隐藏层的尺寸。隐藏层个数和尺寸如果比较小，容易欠拟合，而如果过大，又会导致过拟合，因此合理使用隐藏层的个数和尺寸，是决定模型效果好坏的关键参数。注：对于非时序数据，一般2个隐藏层足够了，如果涉及CV、NLP 可能需要更多（2-10个左右）
2025-03-25 15:44:43
766
原创 如何在anaconda 中导出和导入虚拟环境(window)
1. 在电脑开始菜单下，找到anaconda3 下的prompt ,右击以管理员身份运行；虚拟环境导出成功，且保存在当前地址下，该地址未C：\Window\systerm32\。4.输入 conda env export > myenvironment.yaml。2.使用conda env list ，查看虚拟环境；3. 激活所需要导出的虚拟环境，如 pytocch。可视化点击inport ，选择导入地址即可。二、将导出的虚拟环境导入到另一台电脑中。一、导出虚拟环境步骤。
2025-02-12 15:32:49
680
原创 强化学习在化工装置中应用落地
因为公司项目需求，某环保公司找到我们，希望能实现蓄热式热力氧化炉节能控制，为此我们给出的方案是：蓄热式热力氧化炉动态模拟环境+强化学习训练，训练效果稳定后，在实体装置上继续训练，实现强化学习在蓄热式热力氧化炉节能控制方案。
2024-12-02 14:33:58
324
原创 Python 创建虚拟环境的三种方式
为实现项目与项目之间的环境隔离，避免库之间的版本冲突，在全局开发环境开发一片净土，用于不同的项目方式一：virtualenv步骤一：pip install virtualenv步骤二：virtualenv myenv 创建虚拟文件夹myenv步骤三：myenv\Scripts\activate 激活虚拟环境；步骤四：安装第三方库，pip install -r -requirements.text；
2024-09-06 18:06:53
3122
2
原创 常用异常检测算法汇总
孤立森林（Isolation Forest）是一种基于树结构的异常检测算法，其原理可以简述为：通过随机选择特征和随机选择分割点的方式，将数据集逐步分割成较小的子集，直到每个子集只包含一个数据点，这样就形成了许多隔离的数据点，而异常点只需要经过较少的分割就可以被隔离出来，因此它们的路径长度会比正常点短，在所有树中平均路径越短的样本、异常得分越高。自编码器，是一种无监督学习模型，本质是通过神经网络构建一个降维模型，与PCA相似，但Autoencoder在使用非线性激活函数时克服了PCA线性的限制。
2024-07-15 14:03:13
1067
原创 pyqt5 可视化 算法训练耗时长，会导致界面卡死，解决方案
注：这里有一个点，需要注意：如果信号发射的，就有整数、字符串、列表等，可以将其放到一个容器中（list/dict),统一进行发射输出，等SearchLstm（） 接收之后，内部进行拆解；但是对于小白来说，尤其是通过qtdesigner 实现信号与槽的同学来说，好像还是不知道怎么去实现。因此，我讲解一下，我是如何一步一步实现的！3）最后一步，明确信号的触发机制，我们确定了信号以及信号控制的槽函数，那么什么时候发出这个消息呢，这就需要信号的触发机制，2）在主函数中，实例化类，并与主函数通讯；
2024-06-10 16:03:44
257
原创 使用regsvr32 注册dll 文件相关问题
原因在于文件路径中CPP Source 中间有空格，因此应使用。一般出现这个问题的原因在于 权限问题，使用管理员权限注册即可。开始->右击->终端管理员->双击，进入之后，输入。
2024-04-05 21:54:02
2403
1
原创 阿里云线上服务器安装虚拟环境（python）
vim ~/.bashrc后，增加 export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3。原文链接：https://blog.youkuaiyun.com/qq_51921514/article/details/129209145。2.我们可以在安装一个virtualenvwrapper工具，它可以更加方便的帮我们管理虚拟环境。1.安装virtualenv以后，已经可以创建和激活虚拟环境了，但是使用起来却不是那么的方便。workon demo # 切换到demo虚拟环境。
2023-06-04 20:04:33
525
1
原创 【rancher 拉取发布更新镜像没反应】
公司通过阿里云codeup 构建镜像推送，然后通过rancher拉取 发布，之前项目部署一直没问题，后来突然，rancher 拉取发布没反应，更新新镜像之后，仍然在旧镜像上run,如下所示。这些都做完之后，还是无反应，因此使出必杀技，重启节点 （节点就是机器），也就是进入虚拟机，之后reboot 就好了，最终通过重启节点解决了这个问题，和个人容器镜像没关系。并容器镜像服务里，创建了镜像仓库，命名空间，和代码源，对代码元进行授权。之后修改流水线yaml ，改为自己的。弄好之后就可以点击运行镜像构建了。
2023-03-23 21:33:46
994
原创 运维小白（公司腾讯云磁盘利用率＞95% 报警），解决方案
其中22表示的是网络开放的端口是22（一般都是22号端口，除非被远程的机器被人修改了端口），使用 du -Sh / | sort -rh | head -n10 命令。我们看到大部分文件都是log 垃圾文件 ，使用删除功能完成该报警事件。xxx 表示 登陆用户名 ，119.20.35.61 表示内网地址。我们看到50G 占用了28G ，想查看大部分是什么内容。首先通过ssh 远程登陆磁盘报警的服务器。高效查看磁盘占用情况。
2023-02-11 15:22:42
565
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人