tensorflow:用自己的CSV数据集套用mnist的DBN模型(python实现)

本文介绍如何使用深度信念网络(DBN)模型处理流量特征数据,参考MNIST的DBN模型代码,将SiteB.UDP.arff.gz数据集转化为CSV并进行预处理,调整模型参数以适应9个特征和4个类别的分类任务。在尝试运行模型时遇到cost为nan的问题,需要进一步调试和优化。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

试图用深度学习的DBN模型,来处理流量特征数据集。

(1、选用公共数据集LiWeiDataset——SiteB.UDP.arff.gz,下载网址:http://www.cl.cam.ac.uk/research/srg/netos/projects/brasil/data/index.html

2、模型参考MNIST的DBN模型实现代码,下载地址:https://github.com/xiaohu2015/DeepLearning_tutorials/blob/master/models/dbn.py)

公共数据集的初步处理:数据集共774141个流,提取700000万作为室友数据集,并将数据集分为训练集(600000)和测试集(100000);其中训练集分为无监督训练集(550000)和验证训练集(50000)。

DBN模型的初步整理:由于参考的DBN模型的通用性,作为我的尝试性代码不需要所有的代码模块,为了代码目的性更清晰易懂,我通过尝试性地删减代码,并保证最终的代码模块仍然能够完整成功的实现 mnist 的分类,最后整理了我所需的代码模块实际上可以就用以下4个 .py 文件,并删除了文件中不必要的代码,方便后续直接明确的对代码进行修改:

第一步:导入数据集到DBN模型,是否成功跑通

1、试探性的套用模型,所以先选取数据集中的一部分数据(10000行10列)作为尝试—— SiteBUDP_test_label.csv ,行是数据量,列是9个数据特征标签和1个数据类别标签(分类4个类别)。

由于持有的数据集是CSV文件格式的(mnist数据的读取是封装在程序里调用的函数里,并不是通用的),于是先读取CSV文件数据(注意:数据文件和代码放在同一个目录下运行):

[python] 

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值