跑yscacaca/HHAR-Data-Process出现的问题

最新推荐文章于 2024-11-04 19:21:48 发布
转载 最新推荐文章于 2024-11-04 19:21:48 发布 · 275 阅读 · 0
文章标签：

#python

本文介绍了一次尝试运行大数据处理脚本的经历，在处理一个2GB大小的文件夹时遇到内存不足的问题。文中详细分析了问题的原因，并探讨了解决内存瓶颈的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

直接按照说明跑：

python dataAli-sameUserDevice.py
python pairDataFile.py
python sep_HHAR_data.py

但在sep_HHAR_data.py的时候一直跑不出来，我发现这个代码处理的是Dataset_AccGry_SourceDevice-Creation_Time-avgTime这个文件夹下的文件，这个文件夹有2G，代码里需要存储一个dict，是针对所有的文件，这就造成了需要大量的内存来存储这些信息，自己电脑内存比较小就会卡

 

free -h看的是内存、buffer、cache和swap

-h：G为单位 -m：M为单位

total是总共，used是已使用，free是未使用

我的dict使用的都是mem，即内存

buffer 用于存放要输出到磁盘的数据，而cache是从磁盘读出存放到内存中待今后使用的数据。它们的引入均是为了提供IO的性能

swap为虚拟内存

【PaperReading】AGCN: Attention-driven Graph Clustering Network
小哲的博客
09-26 913
and the.在聚类问题中，传统的卷积网络模型（如自动编码器（auto-encoder， AE））和图卷积网络（graph convolutional network, GCN）的整合方法吸引了很多人的注意，其中使用自动编码器用以提取节点的属性特征，使用图卷积网络捕获图的拓扑特征。（i）缺乏灵活的组合机制来自适应地融合这两种特征，最终去学习判别性表示（ii）忽略不同层 embedding 的多尺度信息，进行后续的聚类分配导致聚类结果较差。为此，提出了一种新的深度聚类方法，称为。
论文解读（AGCN）《 Attention-driven Graph Clustering Network》
「 虚幻私塾」
02-18 2750
Python微信订餐小程序课程视频 https://edu.youkuaiyun.com/course/detail/36074 Python实战量化交易理财系统 https://edu.youkuaiyun.com/course/detail/35475 Paper Information Title：《Attention-driven Graph Clustering Network》Authors：Zhihao Peng, Hui Liu, Yuheng Jia, Junhui HouSource：2021, ACM Mu
UCI-HAR-Dataset：UCI-HAR数据预处理
02-15
UCI-HAR-数据集 UCI-HAR数据预处理 原始数据集以及项目描述和确认可从以下网站获取： : 数据集包含从Samsung Galaxy S智能手机的加速度计收集的数据。 上面的python脚本包含将原始数据转换为最终整齐数据集的代码行 Python脚本执行以下操作： 合并训练和测试集以创建一个数据集。 仅提取每个测量的均值和标准差的测量值。 使用描述性活动名称来命名数据集中的活动 用描述性变量名称适当地标记数据集。 根据步骤4中的数据集，创建第二个独立的整洁数据集，其中包含每个活动和每个主题的每个变量的平均值。
HAR数据集
bucan804228552的博客
12-20 7336
1.UCI-HAR 数据集介绍 1.1基本背景 UCI 人类活动识别数据集是以智能手机采集的传感器数据为基础的活动识别，创建于2012年，实验团队来自意大利热那亚大学。 这些数据是从30名年龄在19岁到48岁之间的志愿者身上收集的，这些志愿者将智能手机绑在腰间，进行6项标准活动中的一项，通过开发的手机软件记录运动数据。记录的运动数据是来自智能手机（特别是三星Galaxy S II）的x、y和z加速度计数据（线性加速度）和陀螺仪数据（角速度），采样频率为 50Hz（每秒50个数据点）。每名志愿者进行两次活动序
UCI-HAR-Dataset
06-17
运行分析.R 获取和清理数据课程项目 这是在线课程从 Coursera 获取和清理数据的课程项目的存储库。 您可以在 CodeBook.md 中找到有关数据的信息。 R 代码用于创建一个新的整洁数据集，其中包含来自原始数据的每个活动和每个主题的每个变量的平均值。 下载数据后： 将其解压缩到 R 工作目录下的数据目录中。 您可以运行 R 代码 run_analysis.R 或获取它。 它将生成一个名为“FinalData.txt”的文本文件。 这是所需的数据集。
2024最全-人类活动识别（HAR）数据集整理-持续更新
最新发布
hellolifei1985的博客
11-04 4634
随着可穿戴设备和物联网的普及，如何从这些设备收集的大量数据中准确识别出人们的各种活动，成了一个不小的挑战。比如说，如果你在跑步时，你的智能设备能准确识别出你在做什么，并据此调整音乐播放列表，那体验是不是会更好？这些成果不仅为学术研究提供了新的方向，也为实际应用打下了坚实的基础。无论是健康监测、运动分析，还是智能家居和老年护理，HAR技术都能提供精准的数据支持，推动这些领域的创新和发展。想象一下，你的智能手表不仅能告诉你走了多少步，还能分析你的运动模式，甚至预测你的健康状况，这背后就是HAR技术的功劳。
三个数据库hapt、hhar、uci数据，利用LSTM分析实现分类
11-30
对比分析自监督学习和attention机制
【LIMU-Bert论文阅读】
weixin_43659314的博客
12-01 1709
该文章为LIMU-BERT: Unleashing the Potential of Unlabeled Data for IMU Sensing Applications的阅读文摘。
利用LSTM对hapt、hhar、uci数据库进行分类研究
与传统RNN相比，LSTM通过引入门控制机制来解决传统RNN训练过程中出现的梯度消失和梯度爆炸问题，因此在处理长期序列数据时更加有效。 描述还要求进行“对比分析自监督学习和attention机制”。自监督学习是无监督...
DFCN:深度融合集群网络
05-26
我们总共采用了六个数据集，包括三个图形数据集（ACM，DBLP和CITE）和三个非图形数据集（USPS，HHAR和REUT）。 要在这些数据集上训练模型，请从（访问代码：4622）或下载它们。 代码结构与用法 在这里，我们提供了...
HAR-using-Keras:在人类活动识别数据集上比较两个标准深度学习模型（例如CNN和RNN）的准确性
05-02
HAR-using-Keras 在人类活动识别数据集上比较两个标准深度学习模型（例如CNN和RNN）的准确性。 受以Tensorflow编写的Burakhimmetoglu的精彩博客（ ）的启发，我决定在Keras中进行编码。 我试图复制相同的体系结构，但对RNN进行了一些修改。 该代码还包括简单的Mutli层感知器的实现，以将其准确性与RNN和CNN进行比较（效果非常差）。 主要目的是比较时间序列数据的不同深度学习模型（例如递归神经网络和卷积神经网络）的准确性。 此处使用的数据集是人类活动识别（HAR）数据集，可在此处找到（ ）。 Ipython Notebook包含有关每个模块功能的简短描述。 如果发现错误或相同问题，请回来。
Meta-HAR: Federated Representation Learning for Human Activity Recognition
bucan804228552的博客
02-13 2440
目录一、Title1.1前言： 一、Title 1.1前言：
Structural Deep Clustering Network阅读与翻译
ziqingnian的博客
11-07 2583
文章作者信息： Structural Deep Clustering Network 结构化深度聚类网络 深度聚类算法SDCN，首次将GNN用到聚类上，由北邮、腾讯和清华联合发表在WWW2020上。 Abstract Deep clustering(deep learning approaches)将深度学习强大的表征能力融入到聚类任务中。有效的学习数据的表征是深度聚类的关键。但是现有的工作仅关注数据自身的特性，在学习表征(representation learning)时很少考虑数据的结构。基
UCI-HAR数据集CNN分类
bucan804228552的博客
09-06 3186
UCI-HAR的深度学习模型分类
HAR(Human Activity Recognition)数据库(以后再也不用发愁训练数据啦)
热门推荐
zhaoyu106的博客
11-21 1万+
下载地址： https://archive.ics.uci.edu/ml/index.htmlWelcome to the UC Irvine Machine Learning Repository!We currently maintain 351 data sets as a service to the machine learning community. You may view all
hand_dataset开源数据集的处理及标注
Wu_GuiMing的博客
03-24 6763
步骤1：点击链接，下载hand_dataset开源数据集，如下图所示： 下载成功后，得hand_date.rar压缩包，解压此压缩包，其数据内容如下图所示： 由于开源数据集数据标注部分采用的M语言开发，这里开发者需下载Matlab，本文使用的Matlab 2019b版本，关于Matlab的下载和安装这里自行下载安装即可。 步骤2：下载成功后，打开Matlab，如下图所示： 步骤3：接下来进行训练数据的制作，进入Matlab点击打开按钮，进入hand_dataset数据集，选择相应training_da.
基于图神经网络的聚类研究与应用
Datawhale
05-29 5637
Datawhale干货本文编辑：Datawhale用手机上网的时候，总有种感觉，推荐的视频是我爱看的，推荐的美食是我爱吃的，大家长的又好看，说话又好听。有时候会对自己发出灵魂拷问：难...
Heterogeneity Activity Recognition Data Set类别
weixin_33894992的博客
06-07 551
Heterogeneity Activity Recognition Data Set：https://archive.ics.uci.edu/ml/datasets/Heterogeneity+Activity+Recognition   经过https://github.com/yscacaca/HHAR-Data-Process处理后，类别对应的gt： gtType = ["bike", "...
UCI-HAR数据集的处理
bucan804228552的博客
06-04 2175
UCI-HAR数据集的滑窗处理
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值