Alphoseven的博客

利用Dataset类使用超过内存大小的训练集进行训练神经网络

Alphoseven — Sun, 30 May 2021 09:34:15 +0800

如何利用容量大于内存的数据集训练神经网络在训练神经网络的时候，我们常常会遇到训练集大于RAM的情况。如果直接暴力读取会出现MemoryError，那这个时候我们应该怎么办呢？在实验中，笔者欲利用TCGA数据库中PANCANCE的dnam数据进行训练神经网络。但是，处理完的dnam数据集大约60G，这显然超出了PC的运存（当然，如果有实验室提供的服务器就另说了）。笔者使用PyTorch框架中的Dataset类解决次问题，特此记录一下该粗糙的解决方案。笔者使用的深度学习框架为PyTorch1.7.1。

python如何逐行读写大数据？

Alphoseven — Fri, 21 May 2021 21:39:08 +0800

Python处理大数据——逐行读写数据文章目录Python处理大数据——逐行读写数据前言I. 导入必要的库II. 逐行读取TXT数据III. 逐行写入CSVi. 为什么我们要用split('\t')？前言最近在深度学习过程中，要处理很大的训练集。有些训练集的大小甚至会超出PC的运存，导致我们无法直接使用“暴力”地直接读取数据的方式。最终我的解决办法是考虑逐行读写数据的方式，特此记录一下。逐行读写数据的方式有很多种，这里只是给出其中一种方式……若有不足之处，还请见谅^ _ ^ 我们的目标是将几个t

机器学习——eXtreme Gradient Boosting（XGBoost）模型实战

Alphoseven — Sat, 27 Feb 2021 16:10:54 +0800

XGBoost实战笔记，帮助你快速入门XGBoost

《C Primer Plus》学习笔记——第五章编程练习

Alphoseven — Tue, 03 Mar 2020 15:49:00 +0800

5.11.1 1 #include 2 #define sec 60 3 int main(void) 4 { 5 6 int second; 7 float hour,moment; 8 9 printf("请输入秒代表的时间："); 10 scanf("%d", &second); 1...

数据分析新手的尝试，微笑着面对疫情

Alphoseven — Sun, 01 Mar 2020 23:35:21 +0800

记录一下对于folium的学习。可视化疫情分布和趋势

《C Primer Plus》学习笔记——第四章编程练习

Alphoseven — Thu, 27 Feb 2020 19:41:35 +0800

4.8.1 1 // 4.8.1 2 #include 3 int main(void) 4 { 5 char x[5]; 6 char m[10]; 7 8 printf("请输入您的姓式："); 9 scanf("%s", x); 10 printf("请输入名："); 11 ...

《C Primer Plus》学习笔记——第三章编程练习答案

Alphoseven — Wed, 26 Feb 2020 00:24:07 +0800

3.11.2 1 //提示输入一个ASCII码值，然后打印输入的字符 2 #include 3 int main(void) 4 { 5 int a; 6 printf("请输入ASCII码值： "); 7 scanf("%d", &a); 8 printf("这是相应的字符：%c", a); ...

Mac上的Homebrew安装和oh my zsh安装等相关问题

Alphoseven — Tue, 18 Feb 2020 15:09:03 +0800

Homebrew的安装：方法一：官网下载但是Homebrew在国内的访问速度有点揪心，所以此种方法推荐给能稳定科学上网的人。官网地址：

机器学习——Tree Methods and Random Forest随机森林

Alphoseven — Sun, 22 Dec 2019 17:42:01 +0800

Random Forest随机森林学习提要： 1·介绍Tree Methods； 2·引入Random Forest； 3·Coding. Introduction to Tree Methods: 为了方便理解，我们先举一个例子。想象一下，每个周末，你都想约上你的朋友一起去打球。但是，你的朋友有时候来有时候不来。对于他来说，和不和你一起去打球可能取决于如下因素：天气状况、风速、湿度、温度等。...

Support Vector Machines及数据可视化实战篇

Alphoseven — Wed, 18 Dec 2019 14:21:43 +0800

支持向量机实战

机器学习——Support Vector Machines支持向量机模型

Alphoseven — Sat, 14 Dec 2019 17:00:02 +0800

学习目标： 1·了解什么是Support Vector Machines； 2·Coding代码 Introduction：首先明确，支持向量机模型是解决分类问题的非常好的一个工具。

机器学习——建立因果连系（传递熵）

Alphoseven — Wed, 11 Dec 2019 16:23:17 +0800

因果联系的建立（Causality Inference) 学习目标： 1·了解什么是信息熵； 2·如何建立因果联系； 3·代码coding. 信息熵由信息论之父——克劳德·艾尔伍德·香农提出，并首次用数学公式阐明了概率与信息冗余度之间的关系。为了方便理解，我们可以参照热力学里面的熵来理解信息熵。在热力学中，我们用熵来度量体系混乱程度，熵增代表物质向无规则方向发展即体系越来越混乱。其次，我们可以通...

机器学习——人工神经网络模型LSTM

Alphoseven — Tue, 03 Dec 2019 15:20:32 +0800

#LSTM的学习 ##学习目标：1·理解什么是人工神经网络。 2·深入理解LSTM（长短期记忆网络） 3·Code 代码 ##浅析人工神经网络：在谈人工神经网络模型之前我们先来了解一下生理上的神经网络。下面是个对比图： Neural Science Computer Science 人工神经网络实际上就是模仿人类的神经元之间连结，就像图灵模型也是基于人类运算行为而提出的一个模型。在人体...

机器学习——LinearRegression（Python学习笔记）

Alphoseven — Thu, 28 Nov 2019 14:09:21 +0800

**机器学习模型--线性回归（学习笔记）** #使用Python进行的线性回归分析各大城市的降水与气温之间的关系。 ##首先，什么是线性回归？线性是自然界、人类社会中比较普遍的一种关系，比如说房价的预测、金融的预测等等都会运用到线性的知识。但是我们在看待问题的时候一定要注意：相关性不代表因果性！！！举个例子...