某Android 设备的物理存储(Nand)分区分析

RK3368 Android 9.0 实战:NAND闪存容量告急下的系统分区瘦身指南 本文详细介绍了在RK3368平台上运行Android 9.0时,面对4GB NAND闪存容量不足的问题,如何进行系统分区瘦身的实战指南。通过调整分区表结构、精简系统镜像内容和优化vendor分区等策略,有效解决存储空间不足的挑战,确保系统稳定运行。 阅读详情

只是记录自己的理解,难免有些错误,有时间会补充和更正。

以某具体 android 设备为例(Cortex A9双核 + 4GB iNand + 1GB DDR3),

记录获取该设备存储分区信息的方法,获取驱动设备信息,主要让大家有一个形象的认识,不涉及驱动具体实现(据说4层);

本文是从iNand存储的角度出发理解分区信息(YAFFS2),涉及到基于RAM的文件系统(EXT4,VFS),仅限于帮助理解物理存储分区。

一. 分区信息的读取

1. 获取分区及大小, 执行命令 cat /proc/partitions, 执行结果见下面:

#本处的1block=1KB;不要和NAND里面的block概念(64pages or 128pages) 混淆了。结合下面步骤2.中 mount 命令得到的对应关系,估算其 system 分区(即mtdblock8)大小为 1048576 * 1024 KB = 1GB
 shell@android:/ # cat /proc/partitions	 	 
   major minor  #blocks  name   
   31        0       4096 mtdblock0
   31        1       8192 mtdblock1
   31        2      16384 mtdblock2
   31        3      16384 mtdblock3
   31        4     393216 mtdblock4
   31        5     131072 mtdblock5
   31        6     524288 mtdblock6
   31        7       4096 mtdblock7
   31        8    1048576 mtdblock8
   31        9      16384 mtdblock9
   31       10    1482752 mtdblock10

 2. 显示分区属性及对应情况执行  mount

从下面的执行返回可以看出 mtdblock8 对应 system 分区, 文件系统是 ext4 ,权限是只读。

shell@android:/ # mount 
rootfs / rootfs rw 0 0
tmpfs /dev tmpfs rw,nosuid,relatime,mode=755 0 0
devpts /dev/pts devpts rw,relatime,mode=600 0 0
proc /proc proc rw,relatime 0 0
sysfs /sys sysfs rw,relatime 0 0
none /acct cgroup rw,relatime,cpuacct 0 0
tmpfs /mnt/asec tmpfs rw,relatime,mode=755,gid=1000 0 0
tmpfs /mnt/obb tmpfs rw,relatime,mode=755,gid=1000 0 0
none /dev/cpuctl cgroup rw,relatime,cpu 0 0
/dev/block/mtdblock8 /system ext4 ro,noatime,nodiratime,barrier=1,data=ordered,noauto_da_alloc 0 0
/dev/block/mtdblock6 /data ext4 rw,nosuid,nodev,noatime,nodiratime,barrier=1,data=ordered,noauto_da_alloc 0 0
/dev/block/mtdblock5 /cache ext4 rw,nosuid,nodev,noatime,nodiratime,barrier=1,data=ordered,noauto_da_alloc 0 0   
/dev/block/mtdblock9 /oem ext4 rw,nosuid,nodev,noatime,nodiratime,barrier=1,data=ordered,noauto_da_alloc 0 0
/sys/kernel/debug /sys/kernel/debug debugfs rw,relatime 0 0
/dev/block/vold/31:10 /mnt/sdcard vfat rw,dirsync,nosuid,nodev,noexec,noatime,nodiratime,uid=1000,gid=1015,fmask=0702,dmask=0702,allow_utime=0020,codepage=cp437,iocharset=iso8859-1,shortname=mixed,utf8,errors=remount-ro 0 0
/dev/block/vold/31:10 /mnt/secure/asec vfat rw,dirsync,nosuid,nodev,noexec,noatime,nodiratime,uid=1000,gid=1015,fmask=0702,dmask=0702,allow_utime=0020,codepage=cp437,iocharset=iso8859-1,shortname=mixed,utf8,errors=remount-ro 0 0
tmpfs /mnt/sdcard/.android_secure tmpfs ro,relatime,size=0k,mode=000 0 0


 3. 执行命令 busybox df -h  #如果没有busybox push进去一个,chmod之后到该文件夹下执行这个命令。

    其实第一步的手工计算是没有必要的,就一目了然了,但也验证了我们的计算没错。^&^

     shell@android:/sdcard # busybox df -h
     Filesystem                Size      Used Available Use% Mounted on
     tmpfs                   438.0M     36.0k    438.0M   0% /dev
     tmpfs                   438.0M         0    438.0M   0% /mnt/asec
     tmpfs                   438.0M         0    438.0M   0% /mnt/obb
     /dev/block/mtdblock8   1023.2M    497.6M    525.6M  49% /system
     /dev/block/mtdblock6    503.9M    155.3M    348.7M  31% /data
     /dev/block/mtdblock5    126.0M      4.0M    121.9M   3% /cache
     /dev/block/mtdblock9     15.7M      4.0M     11.7M  26% /oem
     /dev/block/vold/31:10     1.4G    269.6M      1.1G  19% /mnt/sdcard                               
     /dev/block/vold/31:10     1.4G    269.6M      1.1G  19% /mnt/secure/asec


         

二:分区的创建过程,形象起见,从上层说起。

1. 创建映射,将底层创建好的块设备加载。 这一步很简单,使用mount命令,指定参数创建。

   具体是通过在 init.rc 或者 init.YourProject.rc 中添加, 而init.rc 是由 android第一个被启动的程序 init去解释执行的,非本文内容。

    
    on fs
    # mount mtd partitions
    mount ext4 mtd@system /system wait ro noatime nodiratime noauto_da_alloc
    start readahead
    mount ext4 mtd@userdata /data wait noatime nodiratime nosuid nodev noauto_da_alloc


    

 2. 驱动创建块设备,这里是MTD驱动,真正涉及驱动代码,本文只简单的说能形象认知的部分。

 2.1 查看驱动产生的block设备,得到如下返回信息,只关注 mtdblockX就可以, 是可读写的block设备。
	 shell@android:/dev/block # ls -l
   ls -l
   brw------- root     root       7,   0  loop0
   brw------- root     root       7,   1  loop1
   brw------- root     root       7,   2  loop2
   brw------- root     root       7,   3  loop3
   brw------- root     root       7,   4  loop4
   brw------- root     root       7,   5  loop5
   brw------- root     root       7,   6  loop6
   brw------- root     root       7,   7  loop7
   drwxr-xr-x root     root               mtd
   brw------- root     root      31,   0  mtdblock0
   brw------- root     root      31,   1  mtdblock1
   brw------- root     root      31,  10  mtdblock10
   brw------- root     root      31,   2  mtdblock2
   brw------- root     root      31,   3  mtdblock3
   brw------- root     root      31,   4  mtdblock4
   brw------- root     root      31,   5  mtdblock5
   brw------- root     root      31,   6  mtdblock6
   brw------- root     root      31,   7  mtdblock7
   brw------- root     root      31,   8  mtdblock8
   brw------- root     root      31,   9  mtdblock9
   drwx------ root     root               vold


    继续深入到子目录 mtd/by-name 获取到如下信息,是软链接到 mtdblockX 的某些名字,这些名字使用场景本文不再深究,应该是RAM中调用有关系。
   shell@android:/dev/block # cd mtd/by-name
   cd mtd/by-name
   shell@android:/dev/block/mtd/by-name # ls -l
   ls -l
   lrwxrwxrwx root     root      backup -> /dev/block/mtdblock4
   lrwxrwxrwx root     root      boot -> /dev/block/mtdblock2
   lrwxrwxrwx root     root      cache -> /dev/block/mtdblock5
   lrwxrwxrwx root     root      kernel -> /dev/block/mtdblock1
   lrwxrwxrwx root     root      kpanic -> /dev/block/mtdblock7
   lrwxrwxrwx root     root      misc -> /dev/block/mtdblock0
   lrwxrwxrwx root     root      oem -> /dev/block/mtdblock9
   lrwxrwxrwx root     root      recovery -> /dev/block/mtdblock3
   lrwxrwxrwx root     root      system -> /dev/block/mtdblock8
   lrwxrwxrwx root     root      user -> /dev/block/mtdblock10
   lrwxrwxrwx root     root      userdata -> /dev/block/mtdblock6   	


   
   2.2 与虚拟内存空间的关系

虚拟内存是经过MMU管理的4G内存空间,是一个逻辑内存的线性映射,而只有MMU和cache才是ARM core必须集成的,只能说神奇的MMU;

   下面的信息是 ./kernel/drivers/mtd/mtdpart.c 中 printk 出来的;
    Creating 11 MTD partitions on "YOUR_DEVICE_DRIVER_NAME":
    0x000000400000-0x000000800000 : "misc"
    0x000000800000-0x000001000000 : "kernel"    #8MB~16MB = 8MB
    0x000001000000-0x000002000000 : "boot"
    0x000002000000-0x000003000000 : "recovery"
    0x000003000000-0x00001b000000 : "backup"
    0x00001b000000-0x000023000000 : "cache"
    0x000023000000-0x000043000000 : "userdata"   #512MB 
    0x000043000000-0x000043400000 : "kpanic"
    0x000043400000-0x000083400000 : "system"     #1024MB
    0x000087400000-0x000088400000 : "oem"        #2164MB~2180MB = 16MB
    0x000088400000-0x0000e2c00000 : "user"       #2180MB~3628MB = 1448MB


    至于上面显示的内存地址为什么是 12*4 = 48bit, 估计是高位内存预留,即最大内存可支持 2^4 * 4GB = 64GB; 

    由于本处高16bit都是0,所以最大虚拟内存还是4GB,与本文无关,忽略。

2.3 iomem空间信息
对外部硬件的读取是io口映射到io memory的方式来进行的,而x86平台的ioports在arm版的linux下仅保留了节点。
从下面的地址范围可以看出
 0x1009 0000 ~ 0x1050 3fff 在backup区;
 0x2001 8000 ~ 0x2007 bfff 在cache区;
 0x6000 0000 ~ 0x8edf ffff   跨越 system / oem / user 三个区。

shell@android:/ # cat /proc/iomem
   cat /proc/iomem
   10090000-10090097 : Mali-400 GP
   10091000-1009102f : Mali-400 L2 cache
   10093000-10093023 : Mali-400 MMU for GP
   10094000-10094023 : Mali-400 MMU for PP 0
   10095000-10095023 : Mali-400 MMU for PP 1
   10096000-10096023 : Mali-400 MMU for PP 2
   10097000-10097023 : Mali-400 MMU for PP 3
   10098000-100990ef : Mali-400 PP 0
   1009a000-1009b0ef : Mali-400 PP 1
   1009c000-1009d0ef : Mali-400 PP 2
   1009e000-1009f0ef : Mali-400 PP 3
   10104000-1010428f : hx280enc
   10104400-10104593 : vdpu_io
   10108000-10109fff : rk-camera-rk30.33
     10108000-10109fff : rk-camera-rk30
   1010c000-1010dfff : lcdc0 reg
     1010c000-1010dfff : rk30-lcdc
   1010e000-1010ffff : lcdc1 reg
   10110000-10113fff : rk29-ipp
   10114000-10115fff : rga
     10114000-10115fff : rga_io
   10118000-10119fff : rk29_i2s.0
     10118000-10119fff : rk29_i2s
   10124000-10125fff : rk_serial.0
     10124000-10125fff : rk_serial
   10180000-101bffff : usb20_otg
   101c0000-101fffff : usb20_host
   10214000-10217fff : rk29_sdmmc.0
   10500000-10503fff : rk29xxnand
   20018000-2001bfff : rk29-pl330.1
     20018000-2001bfff : rk29-pl330
   2002d000-2002dfff : rk30_i2c.0
     2002d000-2002dfff : rk30_i2c
   2002f000-2002ffff : rk30_i2c.1
     2002f000-2002ffff : rk30_i2c
   20056000-20057fff : rk30_i2c.2
     20056000-20057fff : rk30_i2c
   2005a000-2005bfff : rk30_i2c.3
     2005a000-2005bfff : rk30_i2c
   2005e000-2005ffff : rk30_i2c.4
     2005e000-2005ffff : rk30_i2c
   20060000-20063fff : rk30-tsadc
     20060000-20063fff : rk30-tsadc
   20068000-2006bfff : rk_serial.3
     20068000-2006bfff : rk_serial
   2006c000-2006ffff : rk30-adc
     2006c000-2006ffff : rk30-adc
   20078000-2007bfff : rk29-pl330.2
     20078000-2007bfff : rk29-pl330
   60000000-8edfffff : System RAM
     604c5000-60a7013b : Kernel text
     60a72000-615dc217 : Kernel data
   8f400000-8fffffff : fb2 buf
   90000000-90bfffff : ipp buf
   90c00000-917fffff : fb0 buf
     90c00000-917fffff : rk-fb
   96800000-9fffffff : System RAM

2.4 ioports 信息

ARM嵌入式Linux已经很少使用,所以打印出来是空返回。

shell@android:/ # cat /proc/ioports
cat /proc/ioports
shell@android:/ #



从NAND到UFS:手机存储技术的进化史与未来猜想 本文深入探讨了手机存储技术从NAND到UFS的进化历程与未来趋势。详细解析了闪存技术的底层革命、接口协议的世代更迭,以及苹果NVMe方案的独特优势。文章还预测了未来存储技术的三大发展方向,包括3D堆叠极致化、新型存储介质商用化和存算一体架构,为读者揭示了手机存储技术的未来可能性。 阅读详情

相关推荐

Linux磁盘存储底层原理:块设备、分区表与文件系统全解析

在Linux系统中,‘磁盘’并非物理硬件的直接映射,而是一套分层抽象体系——从底层的块设备(如/dev/sda)开始,经由分区表(MBR/GPT)划分逻辑区域,再通过文件系统(ext4/xfs/btrfs)构建可读写的目录结构,最终挂载到统一命名空间。理解块设备的I/O接口特性、分区对齐对SSD性能的影响、日志机制与Extent设计如何提升ext4可靠性,以及挂载生命周期导致df与du差异等核心原理,是保障服务器存储稳定、规避rm -rf误操作、实现高效故障排查的技术根基。本文深入拆解这一完整技术栈。

weixin_34393428的博客 330

Android 手机开机不断重启故障分析

1、目前拿到编号为066E的故障翻译机,通过Android logcat日志分析初始报错现象是Android系统的zygote的AndroidRuntime在不断重启。 具体现象如下: 1. 07-26 07:48:43.625 2378 2378 D AndroidRuntime: >>>>>> START com.android.internal.os...

lb5761311的专栏 5776

避开这些坑!RK3568 Android11分区表配置指南:parameter.txt的MTD分区定义详解

本文详细解析了RK3568 Android11系统中parameter.txt文件的MTD分区配置要点,帮助开发者避开常见陷阱。从文件结构、字节对齐到Recovery模式设计,全面指导如何优化NAND Flash布局,确保系统稳定启动和高效运行。特别强调4MB对齐规则和分区大小计算,避免因配置不当导致的启动失败或OTA问题。

weixin_29182481的博客 81

Android 分区布局详解

在 Android 10 中,根文件系统已不再包含在 ramdisk.img 中,而是合并到了 system.img(即在创建 system.img 时始终将 BOARD_BUILD_SYSTEM_ROOT_IMAGE 视为已设置)。搭载 Android 10 的设备: 使用 system-as-root 分区布局(由编译流程自动执行,且不可选择更改这种行为)。 必须使用 ramdisk,这对于 dm-linear 而言是必需的。 必须将 BOARD_BUILD_SYSTEM_ROOT_IMAGE 设

从0到1,突破自己 5858

Android 存储架构深度解析:Disk、Partition与Volume的区分与关联

Android存储系统采用层次化架构,包含物理层(Disk)、管理层(Partition)和访问层(Volume)。Disk是物理存储介质如eMMC/UFS;Partition是逻辑划分如system/userdata分区;Volume是用户可访问的存储实体。从Android 10开始引入动态分区、文件级加密等创新技术。开发中可通过lsblk、mount等工具查看存储信息,需注意分区对齐、权限控制等优化点。随着硬件发展,Android存储架构将持续演进,适应多样化设备需求。

学无止境 1万+

打造个性化Android存储:MTD分区自定义教程

Android系统的存储结构包括内部存储和外部存储。内部存储通常指的是设备内置的存储介质(如eMMC或UFS),而外部存储则多指SD卡。在优化过程中,了解不同存储介质的特点和限制至关重要。MTD(Memory Technology Device)是Linux内核的一个子系统,专门用于简化对不同类型非易失性存储器设备的访问。这些设备包括但不限于NOR和NAND闪存。MTD的核心目的是提供一个更接近硬件层的接口,这样开发者可以更高效地使用存储资源,而不需要关注底层技术的复杂性。

weixin_29997223的博客 1166

在Android中使用SyncAdapter同步数据全攻略

https://www.jianshu.com/p/dc9a2693478e

wintersweetforever的博客 802

AndroBench 5.0.1 安卓存储性能检测工具实战使用指南

AndroBench 5.0.1 提供四大核心测试模块:连续读写、随机读写、数据库操作模拟和HTML5加载性能,全面覆盖安卓设备存储子系统的典型负载场景。其中,连续读写测试采用128KB大块数据传输,反映大文件拷贝能力;随机读写则基于4KB小数据块,模拟应用频繁调用资源的真实情况。| 测试类型 | 数据块大小 | 测试目的 || 连续读取 | 128KB | 视频导出、文件复制速度评估 || 连续写入 | 128KB | 应用安装、系统更新效率分析 |

weixin_29903713的博客 2882

查看 linux flash 分区大小,mtd,nor,nand,partition

很多系统只用了一个nand就够了。有的用2个,像我的,2个nor,创建了好几个mtd,不知道mtdblock对应哪个。其实只要到proc看看就行了:1、cat /proc/mtd显示分区名称、大小2、cat /proc/partition显示block。。。。。。

LYJ个人博客,记录技术、八卦、生活,分享各种心得,期待与朋友们一同进步 3万+

codevs 1620 轮船问题 DP 解题报告

某国家被一条河划分为南北两部分,在南岸和北岸总共有N对城市,每一城市在对岸都有唯一的友好城市,任何两个城市都没有相同的友好城市。

Hawo11的博客 819

Cadence Spectre仿真保姆级教程:从DC/AC到PSS/PV,手把手教你搞定模拟电路分析

作为业界标准的Cadence Spectre仿真器,以其精确的算法和丰富的分析类型,成为每个模拟IC工程师必须掌握的利器。本文将带你从零开始,系统掌握Spectre仿真的核心技能,从最基础的DC工作点分析到复杂的PSS相位噪声仿真,每个步骤都配有详细的操作指导和实用技巧。记得我第一次使用Spectre仿真一个简单的两级运放时,花了整整三天时间才得到正确的AC响应曲线。过程中踩过的坑、浪费的时间,现在想来都是宝贵的学习资源。与传统的AC分析不同,STB分析可以在不破坏环路的情况下评估稳定性。

weixin_30898555的博客 338

nand内核分区的烧写

cat /proc/mtd flash_eraseall /dev/mtd6 nandwrite -p /dev/mtd6 kernel

菜鸡搞计算机 392

WPF 解决listview值更改时页面没有刷新

WPF 解决listview值更改时页面没有刷新。

weixin_52475977的博客 1387

给RK3368安卓9.0系统‘瘦身’:详解parameter.txt分区表,为你的4GB设备腾出更多用户空间

本文详细解析了RK3368安卓9.0系统的分区表优化方法,通过调整parameter.txt配置文件,有效释放4GB设备的用户空间。从分区表底层逻辑到实战优化步骤,帮助开发者精简系统分区,提升存储利用率,特别适合存储受限的嵌入式设备调试与优化。

weixin_33698823的博客 431

金现代面试题—— i++,++i, &&,&|自动装箱和自动拆箱(int,byte,float等)|取int等基本类型的最大值

public static void main(String[] args){ int i=1,j=1; if(i++==2&&++j==2){ i=7; } System.out.println(“i=”+i+”,j=”+j); } 请给出 输出结果:

老孟嘚吧嘚 1398

省三医院新门诊大楼网络安全建设项目实施方案

为了响应国家建设数字医疗,构建医联网、医共体的号召,新门诊大楼现有计算机网络,实现各门诊室、药房、医学影像科室及后勤科室的终端数据互通。在互联网出口以三层模式部署两台防火墙,作为连接公网的出口设备;出于等保合规和自身业务安全的考虑,现需要该网络上通过网络安全设备实现安全建设。公网出口防火墙,配置攻击防御策略,防御互联网上的病毒进入内网。公网出口防火墙配置攻击防御策略,防御外网对内网的入侵行为。服务器取得边界防火墙,配置攻击防御策略,入侵防御策略。公网出口防火墙配置入侵防御策略,防御外网对内网发起的D。

m0_63645854的博客 2017

RK3368安卓9.0升级后卡Recovery?手把手教你分析串口日志定位NAND/EMMC分区问题

本文详细解析了RK3368安卓9.0升级后卡Recovery的常见问题,重点指导如何通过串口日志分析NAND/eMMC分区问题。从硬件确认、设备树配置到分区表重建,提供了一套完整的排查流程和解决方案,帮助开发者快速定位并修复存储分区错误。

weixin_30664615的博客 1189

【2025最新版】ABAP 开发百科全书专栏文章目录(上)

本文汇总了一系列SAP ABAP技术文章,内容涵盖实用技巧合集、函数式编程实践(如Currying、reduce应用)、设计模式实现(如Visitor、Singleton)、动态代理与Mock技术、性能优化方案(如Lazy Loading)、日期处理与内存管理,以及ABAP与JavaScript的编程范式对比。还涉及CDS视图、Fiori字段追踪、单元测试优化等实战经验,深入剖析了ABAP底层机制(如Internal Session、Function Module实现原理),并提供了多种反模式改进方案。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 2485

Android系统分区的艺术:RK3368存储空间优化与性能平衡

本文深入探讨了RK3368平台在Android 9.0系统下的存储空间优化与性能平衡策略。通过分析系统分区表设计、空间压缩技巧和I/O性能调优方法,帮助开发者在4GB NAND闪存限制下实现高效存储管理,显著提升设备启动速度和用户体验。

weixin_29199873的博客 542

将Windbg附加到软件进程上排查异常闪退的问题

使用Windbg和Process Explorer排查因为内存泄漏导致的软件异常闪退问题。

dvlinker的技术专栏 1万+

【用unity实现100个游戏之10】复刻经典俄罗斯方块游戏(附项目源码)

当今游戏产业中,经典游戏的复刻一直是一项受欢迎且具有挑战性的任务。俄罗斯方块是一个深入人心、令人上瘾的经典游戏,在过去几十年里一直享有广泛的流行度。其简单而富有策略性的玩法吸引了无数玩家的关注。因此,我决定利用Unity引擎来复刻这款经典游戏,以让更多的人重新体验其中的乐趣。通过使用Unity引擎,我能够利用其强大的工具和功能,从头开始构建一个与原版俄罗斯方块游戏相似的游戏。

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 2803

小米手机存储空间真相:从闪存原理到安卓系统,详解空间占用与优化

在移动设备存储领域,NAND闪存的工作原理是理解存储空间管理的核心基础。与机械硬盘不同,NAND闪存基于块(Block)进行擦写操作,这导致了写入放大(Write Amplification)现象,直接影响闪存寿命和性能。为了应对这一挑战,行业引入了预留空间(Over-Provisioning, OP)、磨损均衡和垃圾回收等关键技术。预留空间并非“偷空间”,而是保障闪存长期稳定运行、维持写入性能的必要“保修费”,这是所有使用NAND闪存设备(如SSD、U盘)的通用工程实践。在安卓系统生态中,除了OP空间,系

weixin_29171129的博客 343

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

智能手机虚拟内存扩展:基于 UFS 闪存的 Swap 分区设置与性能损耗分析

RAM 访问延迟在纳秒级($t_{RAM} \approx 10$ ns),而 UFS 闪存延迟在微秒级($t_{UFS} \approx 100$ μs)。设 Swap 命中率为 $h$(数据在 Swap 中的比例),则有效延迟为: $$ t_{eff} = (1 - h) \cdot t_{RAM} + h \cdot t_{UFS} $$ 例如,若 $h = 0.3$(中度负载),$t_{eff} \approx 30$ μs,比纯 RAM 慢 3000 倍。)应位于 UFS 主分区,确保高速访问。

2501_93877319的博客 2443

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

RK3368 Android 9.0升级后卡Recovery?手把手教你分析串口日志定位NAND Flash分区问题

本文详细解析了RK3368 Android 9.0升级后卡Recovery的问题,重点介绍了如何通过串口日志分析NAND Flash分区问题。文章提供了从存储架构变革到设备树配置的完整解决方案,帮助开发者快速定位和修复动态分区与NAND Flash兼容性问题,特别适合Rockchip平台开发者参考。

weixin_28729205的博客 332

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

上一篇: 9个有趣的心理学现象
下一篇: 关于定制 android 恢复出厂设置的一点思路
勤奋专注
博客等级 码龄19年 80粉丝 69原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值