linux内核日志及printk结构浅析

Linux内核之 printk 打印 Linux 内核之 printk 打印 阅读详情

转载:http://blog.chinaunix.net/uid-20543672-id-3211832.html

 这段时间复习了一下内核调试系统,注意看了一下printk的实现以及内核日志的相关知识,这里做一下总结。

一、printk概述

    对于做Linux内核开发的人来说,printk实在是再熟悉不过了。内核启动时显示的各种信息大部分都是通过她来实现的,在做内核驱动调试的时候大部分时候使用她就足矣。她之所以用得如此广泛,一个是由于她使用方便,还有一个重要的原因是她的健壮性。它使用范围很广,几乎是内核的任何地方都能调用它。你既可以在中断上下文、进程上下中调用她,也可以在任何持有锁时调用她,更可以在SMP系统中调用她,且调用时连锁都不必使用。这样好的适应性来源于她的设计,一个由三个指针控制的简单“ring buffer”。

   注意上面说到的是:“几乎”在内核的任何地方都可以使用。那什么地方使用会有“问题”?那就是在系统启动过程的早期,终端初始化之前的某些地方虽然可以使用,但是在终端和控制台被初始化之前所有信息都被缓存在printk的简单的ring buffer(环形缓冲区)中,直到终端和控制台被初始化之后,所有缓存信息都被一并输出。

     如果你要调试的是启动过程最开始的部分(如setup_arch()),可以依靠此时能够工作的硬件设备(如串口)与外界通信,使用printk()的变体early_printk()函数。她在启动过程初期就具有在终端上打印的能力,功能与prink()类似,区别在于:
(1)函数名
(2)能够更早地工作(输出信息)
(3)她有自己的小缓存(一般为512B)
(4)一次性输出到硬件设备,不再以ring buffer的形式保留信息。
      但该函数在一些构架上无法实现,所以这种办法缺少可移植性。(大多数构架都可以,包括x86和arm)。

     所以,除非要在启动初期在终端上输出,否则我们认为printk()在任何情况下都能工作。这点从内核的启动代码中就可以看出,在已进入start_kernel不久就通过printk打印内核版本信息了: printk(KERN_NOTICE "%s", linux_banner);。

二、printk的使用

   printk()和C库中的printf()在使用上最主要的区别就是 printk()指定了日志级别。

(1)日志等级
内核根据日志级别来判断是否在终端(console)上打印消息:内核把级别比某个特定值低的所有消息显示在终端(console)上。但是所有信息都会记录在printk的“ring buffer”中。

  printk有8个loglevel,定义在中:
  1. #define KERN_EMERG "<0>" /* 系统不可使用 */
  2. #define KERN_ALERT "<1>" /* 需要立即采取行动 */
  3. #define KERN_CRIT "<2>" /* 严重情况 */
  4. #define KERN_ERR "<3>" /* 错误情况 */
  5. #define KERN_WARNING "<4>" /* 警告情况 */
  6. #define KERN_NOTICE "<5>" /* 正常情况, 但是值得注意 */
  7. #define KERN_INFO "<6>" /* 信息型消息 */
  8. #define KERN_DEBUG "<7>" /* 调试级别的信息 */

  9. /* 使用默认内核日志级别 */
  10. #define KERN_DEFAULT ""
  11. /*
  12. * 标注为一个“连续”的日志打印输出行(只能用于一个
  13. * 没有用 \n封闭的行之后). 只能用于启动初期的 core/arch 代码
  14. * (否则续行是非SMP的安全).
  15. */
  16. #define KERN_CONT ""
     如果使用时没有指定日志等级,内核会选用DEFAULT_MESSAGE_LOGLEVEL,这个定义位于kernel/printk.c:

  1. /* printk's without a loglevel use this.. */
  2. #define DEFAULT_MESSAGE_LOGLEVEL CONFIG_DEFAULT_MESSAGE_LOGLEVEL
    可以看出,这个等级是可以在内核配置时指定,这种机制是从2.6.39开始有的,如果你不去特别配置,那么默认为<4>,也就是KERN_WARNING。
    内核将最重要的记录等级 KERN_EMERG定为“”,将无关紧要的调试记录等级“KERN_DEBUG”定为“<7>”。
    内核用这些宏指定日志等级和当前终端的记录等级console_loglevel来决定是不是向终端上打印,使用示例如下:

  1. printk(KERN_EMERG "log_level:%s\n", KERN_EMERG);
    当编译预处理完成之后,前例中的代码实际被编译成成如下格式:

  1. printk( "<0>" "log_level:%s\n", KERN_EMERG);
     给一个printk()什么日志等级完全取决于你。那些正式、且需要保持的消息应该根据信息的性质给出相应的日志等级。但那些为了解决一个问题临时加得到处都是的调试信息可以有两种做法:
    一种选择是保持终端的默认记录等级不变,给所有调试信息KERN CRIT或更低的等级以保证信息一定会被输出。
    另一种方法则相反,给所有调试信息KERN DEBUG等级,而调整终端的默认记录等级为7,也可以输出所有调试信息。
    两种方法各有利弊。

    这里说到了调整内核的默认的日志级别,在我3年半前的学习笔记《 Linux设备驱动程序学习(2)-调试技术 》中有介绍,可以通过 /proc/sys/kernel/printk来改变,或者C程序调用syslog系统调用来实现。但是现在的glibc的函数接口改了,由于 syslog 这个词使用过于广泛,这个函数的名称被修改成 klogctl,所以原来博文中的代码无法使用了,以下是新版的 console_loglevel代码:

  1. #include <stdio.h>
  2. #include <stdlib.h>
  3. #include <string.h>
  4. #include <errno.h>
  5. //#define __LIBRARY__ /* _syscall3 and friends are only available through this */
  6. //#include <linux/unistd.h>
  7. /* define the system call, to override the library function */
  8. //_syscall3(int, syslog, int, type, char *, bufp, int, len);

  9. int main(int argc, char **argv)
  10. {
  11.       int level;
  12.       if (argc == 2) {
  13.             level = atoi(argv[1]); /* the chosen console */
  14.       } else {
  15.             fprintf(stderr, "%s: need a single arg\n", argv[0]);
  16.             exit(1);
  17.       }
  18.       if (klogctl(8, NULL, level) < 0) {
  19.             fprintf(stderr, "%s: syslog(setlevel): %s\n",
  20.                   argv[0], strerror(errno));
  21.             exit(1);
  22.       }
  23.       exit(0);
  24. }


(2)相关辅助宏
    如果确定printk所需要的日志等级,每次都要在其中添加以上宏,似乎有点麻烦了。所以内核黑客们定义了一些宏来方便printk的使用,这些宏在内核代码中也是随处可见:
  1. #ifndef pr_fmt
  2. #define pr_fmt(fmt) fmt
  3. #endif

  4. #define pr_emerg(fmt, ...) \
  5.      printk(KERN_EMERG pr_fmt(fmt), ##__VA_ARGS__)
  6. #define pr_alert(fmt, ...) \
  7.      printk(KERN_ALERT pr_fmt(fmt), ##__VA_ARGS__)
  8. #define pr_crit(fmt, ...) \
  9.      printk(KERN_CRIT pr_fmt(fmt), ##__VA_ARGS__)
  10. #define pr_err(fmt, ...) \
  11.      printk(KERN_ERR pr_fmt(fmt), ##__VA_ARGS__)
  12. #define pr_warning(fmt, ...) \
  13.      printk(KERN_WARNING pr_fmt(fmt), ##__VA_ARGS__)
  14. #define pr_warn pr_warning
  15. #define pr_notice(fmt, ...) \
  16.      printk(KERN_NOTICE pr_fmt(fmt), ##__VA_ARGS__)
  17. #define pr_info(fmt, ...) \
  18.      printk(KERN_INFO pr_fmt(fmt), ##__VA_ARGS__)
  19. #define pr_cont(fmt, ...) \
  20.      printk(KERN_CONT fmt, ##__VA_ARGS__)

  21. /* 除非定义了DEBUG ,否则pr_devel()不产生任何代码 */
  22. #ifdef DEBUG
  23. #define pr_devel(fmt, ...) \
  24.      printk(KERN_DEBUG pr_fmt(fmt), ##__VA_ARGS__)
  25. #else
  26. #define pr_devel(fmt, ...) \
  27.      no_printk(KERN_DEBUG pr_fmt(fmt), ##__VA_ARGS__)
  28. #endif

  29. /* 如果你在写一个驱动,请使用dev_dbg */
  30. #if defined(DEBUG)
  31. #define pr_debug(fmt, ...) \
  32.      printk(KERN_DEBUG pr_fmt(fmt), ##__VA_ARGS__)
  33. #elif defined(CONFIG_DYNAMIC_DEBUG)
  34. /* dynamic_pr_debug() uses pr_fmt() internally so we don't need it here */
  35. #define pr_debug(fmt, ...) \
  36.      dynamic_pr_debug(fmt, ##__VA_ARGS__)
  37. #else
  38. #define pr_debug(fmt, ...) \
  39.      no_printk(KERN_DEBUG pr_fmt(fmt), ##__VA_ARGS__)
  40. #endif
     从上面的代码大家应该就可以知道这些宏的使用了。值得注意的是:pr_devel和 pr_debug这些宏只有在定义了DEBUG之后才会产生实际的printk代码,这样方便了内核开发:在代码中使用这些宏,当调试结束,只要简单地#undef DEBUG就可以消除这些调试使用的代码,无需真正地去删除调试输出代码。

(3)输出速率控制

   在调试的时候,有时某些部分可能printk会产生大量输出, 导致系统无法正常工作,并可能使系统日志ring buffer溢出(旧的信息被快速覆盖)。特别地,当使用一个慢速控制台设备(如串口), 过量输出也能拖慢系统。这样反而难于发现系统出问题的地方。所以你应当非常注意:正常操作时不应当打印任何东西,打印的输出应当是指示需要注意的异常,并小心不要做过头。

   在某些情况下, 最好的做法是设置一个标志变量表示:已经打印过这个了,以后不再打印任何这个信息。而对于打印速率的控制内核已经提供了一个现成的宏:
  1. #define printk_ratelimit() __printk_ratelimit(__func__)

     这个函数应当在你认为打印一个可能会出现大量重复的消息之前调用,如果这个函数返回非零值, 继续打印你的消息, 否则跳过它。典型的调用如这样:

  1. if (printk_ratelimit())
  2.     printk(KERN_NOTICE "The printer is still on fire\n");
  printk_ratelimit通过跟踪发向控制台的消息的数量和时间来工作。当输出超过一个限度, printk_ratelimit 开始返回 0 使消息被丢弃。我们可以通过修改 :

  1. /proc/sys/kern/printk_ratelimit( 可以看作一个监测周期,在这个周期内只能发出下面的控制量的信息) 
  2. /proc/sys/kernel/printk_ratelimit_burst(以上周期内的最大消息数,如果超过了printk_ratelimit()返回0)
来控制消息的输出.
   在中还定义了其他的宏,比如printk_ratelimited(fmt, ...)等,有兴趣的朋友就去文件中看看便知,很好理解的。


(4)最后特别提醒:
1、虽然printk很健壮,但是看了源码你就知道,这个函数的效率很低:做字符拷贝时一次只拷贝一个字节,且去调用console输出可能还产生中断。所以如果你的驱动在功能调试完成以后做性能测试或者发布的时候千万记得尽量减少printk输出,做到仅在出错时输出少量信息。否则往console输出无用信息影响性能。我刚开始学驱动的时候就犯过这样的白痴错误,在测试CAN驱动性能的时候居然printk出信息来核对,结果直接宕机。
2、printk的临时缓存printk_buf只有1K,所有一次printk函数只能记录<1K的信息到log buffer,并且printk使用的“ring buffer”


三、printk的内核实现

    对于Linux的printk内核日志,常常被称为kernel ring buffer,这是由于printk的缓存实现就是使用了一个简单的ring buffer(环形缓冲区)。但是这里需要注意的是,不要和内核trace系统ring buffer混淆,虽然他们都是为了跟踪调试,但是trace系统的ring buffer实现更加完善复杂,而printk使用的ring buffer则非常简单,其实就定义了一个字符数组:

  1. static char __log_buf[__LOG_BUF_LEN];
并使用了一套指针来管理:
  1. /*
  2.  * 在指向log_buf时并没有用log_buf_len做限制 - 所以他们
  3.  * 在作为下标使用前必须用掩码处理(去除CONFIG_LOG_BUF_SHIFT以上的高位)
  4.  */
  5.  static unsigned log_start; /* log_buf中的索引: 指向由syslog()读取的下一个字符 */
  6.  static unsigned con_start; /* log_buf中的索引: 指向发送到console的下一个字符 */
  7.  static unsigned log_end; /* log_buf中的索引:最近写入的字符地址 + 1 */

    具体的实现CU中已经有一位博友写过了,我这里就不再啰嗦了,我转载备份了一下:《printk实现分析》

四、用户空间访问内核日志

    用户空间访问和控制内核日志有两个接口:
   (1)通过glibc的klogctl函数接口调用内核的syslog系统调用
   (2)通过fs/proc/kmsg.c内核模块中导出的procfs接口:/proc/kmsg文件。
    他们其实最终都调用了/kernel/printk.c中的do_syslog函数,实现对__log_buf的访问及相关变量的修改。
    但值得注意的是:从/proc/kmsg中获取 数据,那么__log_buf 中被读取过的数据就不再保留(也就是会修改log_start指针), 然而 syslog 系统调用返回日志数据并保留数据给其他进程。读取/proc文件是 klogd的默认做法。dmesg命令可用来查看缓存的内容并保留它,其实它是将__log_buf中的所有内容返回给stdout,并不管它是否已经被读取过。

    这里我还是推荐大家 RTFSC – Read The Fucking Source Code,自己看这些代码比什么都强,我这里就只引个路。

    在用户空间有专门用于记录系统日志的程序,统称为“syslog守护进程”。早期及现在的大部分嵌入式系统使用的是klogd+syslogd组合,现在大多数发行版都使用rsyslogd或者syslogd-ng了。这些用户空间的程序我这里就不分析了,我不擅长,运维的可能比较清楚。我只知道一下他们大致的调用关系就好。

    这里我用一张图来总结一下内核printk和日志系统的总体结构:

Printk打印内核日志 Android 系统 printk 打印内核日志 阅读详情

相关推荐

printk 的实现

我们只有深入理解 printk的实现,才能知道在什么情况下能使用它,在哪些地方不能使用它,使用它会有什么问题。

2401_84143576的博客 183

内核日志及printk结构浅析

一、printk概述     对于做Linux内核开发的人来说,printk实在是再熟悉不过了。内核启动时显示的各种信息大部分都是通过她来实现的,在做内核驱动调试的时候大部分时候使用她就足矣。她之所以用得如此广泛,一个是由于她使用方便,还有一个重要的原因是她的健壮性。它使用范围很广,几乎是内核的任何地方都能调用它。你既可以在中断上下文、进程上下中调用她,也可以在任何持有锁时调用她,更可以

tangkegaga的专栏 9987

linux console printk 代码实现分析

对linux下8250串口驱动和console口实现方法及printk实现进行代码分析 内核版本2.6

Printk实现流程

一、初步结论 1.如何把字符串放到缓存,如何从缓存写到串口。 首先是在关中断,关调度,保持logbuf_lock自旋锁的情况下,将数据格式化后,放到printk_buf缓冲区,其大小为1K,也就是说,每次printk只能打印1K的内容。格式化完毕后,将数据再复制到log_buf缓冲区。由于在向串口输出的过程中,会暂时打开自旋锁,所以在SMP下,其他CPU可能继续向log_buf中存放数据,并由驱动...

wdjjwb的专栏 1499

电动车辆的动力总成控制

手把手教你学Simulink——电动车辆的动力总成控制在汽车工程领域,电动汽车(EV)的动力总成控制系统是确保车辆性能、效率和驾驶体验的关键。动力总成控制系统通常包括电机控制、电池管理系统(BMS)、能量回收系统等组件。通过使用Simulink,我们可以模拟和测试这些系统的运行情况,优化设计,并验证控制算法的有效性。

amy_mhd的博客 971

数据分析(二):学生成绩预测分析报告

表1 特征变量描述变量描述school学生的学校sex学生的性别age学生的年龄address学生的家庭住址类型famsize家庭规模Pstatus父母同居状况Medu母亲的教育Fedu父亲的教育Mjob母亲的工作Fjob父亲的工作reason选择学校的理由guardian学生监护人traveltime从家到学校的时间studytime每周学习时间failures过去的类失败次数schoolsup额外的教育支持famsup家庭教育支持。

m0_73963149的博客 4418

Linux驱动开发--字符设备读写和ioctl、printk实现

x:char、int类型的简单变量名成功为返回0,失败非0。

xinqi_1的博客 1152

海康VisionMaster表面缺陷滤波实战:从参数调优到工业检测落地

本文深入解析海康VisionMaster表面缺陷滤波模块在工业检测中的应用。通过铝壳划痕检测实战案例,详细阐述了从参数调优(滤波核尺寸、方向权重、偏移)到ROI划定、Blob后处理的完整流程,旨在帮助工程师有效提升检测信噪比,实现缺陷精准定位与高效识别,最终推动项目稳定落地。

weixin_29051811的博客 626

[linux-内核]内核日志及printk结构浅析

这段时间复习了一下内核调试系统,注意看了一下printk的实现以及内核日志的相关知识,这里做一下总结。 1、问题的引出: 做DPDK项目时,调试rte_kni.ko时,发现printk并不会向我们想想的那样把log信息显示在我们的终端上。有人总结了三个原因: 原因1:printk()有一个控制日志级别的字段,如果该字段的日记级别高于console默认的日志级别那么才会打印出来(数值越小日志级别越高,分为从0-7共计8个日志级别)。有一种简单的改变当前终端的日志级别的方法,echo 8 > /sy

u014426028的博客 1232

直流有刷电机控制 - 驱动电路(二)

1.如图所示为最常见的推挽驱动电路,我附加了具有正反转功能的电机驱动控制,正反转是由两个继电器组成。使用推挽电路来驱动NMOS管时充电电流和放电电流都很大,因此NMOS管导通快,关断也快,而且NMOS温度不会很高。下面来介绍一下该电路的原理。(1)PWM_MCU是由单片机给出的PWM波信号,该信号是由一些列高低电平的方波构成。当信号为高电平的时候Q3导通,经过R47再到Q5的g极,此时mos导通,如果是K1闭合是正转那么K2闭合就是反转。(2)当PWM低电平时使得Q3关断,Q6导通。

u011030644的博客 4721

张量分解浅谈(四 Tucker 分解)

学完了SVD算法之后,我们继续回到张量几大分解的学习上来,本期学习的主要内容是张量的 Tucker 分解 以及 前面的CP分解还留下一点没有说完,正好一并补齐!后面的公式我将采用颜色标记,红色代表必须掌握,蓝色尽量掌握! 在这之前先附一张图,包含了各种运算符号的名称含义,大部分是前面说过或者使用过的: Tensor decomposition一 . Tucker 分解公式介绍和原理二 . 张量的 n-Rank 一 . Tucker 分解公式介绍和原理 我们先来看一张被使用过很多次的Trucker 分解图

欢迎来到 豪哥 的博客 1万+

[linux-内核][转]内核日志及printk结构浅析

这段时间复习了一下内核调试系统,注意看了一下printk的实现以及内核日志的相关知识,这里做一下总结。 1、问题的引出: 做DPDK项目时,调试rte_kni.ko时,发现printk并不会向我们想想的那样把log信息显示在我们的终端上。有人总结了三个原因: 原因1:printk()有一个控制日志级别的字段,如果该字段的日记级别高于console默认的日志级别那么才会打印出来(数

sanchuyayun的专栏 821

告别I2C和SPI:用FPGA驱动DS18B20,一根线搞定温度采集(附Verilog代码)

本文详细介绍了如何利用FPGA通过单总线协议(One-Wire)驱动DS18B20温度传感器,仅用一根数据线实现高效温度采集。内容涵盖协议解析、Verilog代码实现及调试技巧,帮助开发者节省IO资源并提升系统性能。

weixin_42696271的博客 392

Linux 内核日志系统—printk的机制与应用

在 Linux 内核开发中,printk 是最常用的调试工具之一,主要用于输出内核日志信息。printk 不仅类似用户空间的 printf,还提供了日志级别管理功能。本文系统梳理了 printk 的使用方法、日志级别管理、日志信息的存储位置,以及输出过程的核心机制。通过解析源码和示例,详细展示了如何利用 console_loglevel 等宏调控日志输出行为,并剖析了内核是如何通过call_console_drivers 将日志发送到不同设备。

caiji0169的博客 4602

2 中望CAD二次开发-绘制图形(ZRX C++)

本文讲解中望CAD二次开发,关于块的概念及基本图形的绘制

cilvsuanna的博客 414

Rockchip eMMC寿命监控:SMART信息读取与预防性维护

擦写计数坏块数量温度使用时间。

小灰灰的博客 769

Linux kernel:修改内核 printk 日志等级

Linux kernel:修改内核 printk 日志等级设定

qq_34597963的博客 1万+

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Linux内核调试 | printk的使用

你会看到loglevel=x,修改的是控制台串口日志打印等级,但是实际在开发板系统上的bootargs添加loglevel参数,cat /proc/sys/kernel/printk节点参数是不行的,不知道为啥有知道的大佬可以留言。讲几篇常用内核驱动调试的方法,先从我最常用的printk的使用方法开始讲起, printk在内核源码中用来记录日志信息的函数,方便我们调试追踪代码,只能在内核源码范围内使用。本篇我们学会了四种控制日志级别的设置以及常用的使用方法,如有疑问,可以评论区留言,支持的话一键三连!

weixin_44458100的博客 1250

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

linux内核日志打印:printk和dmesg的用法

转自:https://blog.youkuaiyun.com/qq_29350001/article/details/52232128 用于检测和控制内核环缓冲。程序用来助用户了解系统的启动信息 Linux命令dmesg用来显示开机信息,kernel会将开机信息存储在ring buffer中 开机信息保存在/var/log目录中名称为dmesg的文件里 dmesg [ -c ] [ -n 级别 ] ...

xuhao07的博客 1万+

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

printk 内核打印

printk 在内核源码中用来记录日志信息的函数,只能在内核源码范围内使用,用法类似于 printf 函数。 printk 函数主要做两件事情: 将信息记录到 log 中; 调用控制台驱动来将信息输出。 printk 介绍 printk 将内核信息输出到内核信息缓冲区中,内核缓冲区在 kernel/printk/printk.c 中定义: static char __log_buf[__LOG_BUF_LEN] __aligned(LOG_ALIGN); 内核信息缓冲区是一个环形缓冲区(Ring Bu

程序员「阿基米东」的编程之旅 6655

linux内核中printk的打印级别

内核中预定义的内核log等级 // include/linux/kern_levels.h #define KERN_SOH "\001" /* ASCII Start Of Header */ #define KERN_SOH_ASCII '\001' #define KERN_EMERG KERN_SOH "0" /* system is unusable */...

夜风的博客 3万+

Linux内核调试利器——printk

在Linux开发环境下,打印log一直是最有效的调试方式,内核开发也不例外。先看一下下面这段代码:#include <linux/init.h> #include <linux/module.h>MODULE_LICENSE("Dual BSD/GPL"); MODULE_AUTHOR("Wang Shuxiao");static int hello_init(void) { printk(

shuxiaogd的专栏 2081

linux内核printk调试

linux内核printk调试(摘录《Linux安全体系分析与编程》) linux内核printk调试(摘录《Linux安全体系分析与编程》)1  printk及控制台的日志级别函数printk的使用方法和printf相似,用于内核打印消息。printk根据日志级别(loglevel)对消息进行分类。日

catamout的专栏 2万+
上一篇: Linux内核 printk知多少
下一篇: Ubuntu14.04_64编译libiconv出问题 ./stdio.h:1010:1: error: 'gets' undeclared here (not in a function)
老猫识途
博客等级 码龄15年 9粉丝 21原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值