25、Linux内核调试全攻略

Linux内核调试全攻略

1. 内核调试面临的挑战

调试现代操作系统，尤其是Linux内核，充满了挑战。随着处理器速度的提升和复杂度的增加，传统的调试方法如使用在线仿真器替换处理器已不再适用。此外，虚拟内存操作系统也带来了独特的调试难题。以下是调试Linux内核代码时会遇到的一些具体挑战：
- 编译器优化 ：GCC是一个优化编译器，Linux内核默认使用 -O2 优化级别进行编译。这会启用许多优化算法，改变代码的基本结构和顺序，例如大量使用内联函数。内联函数虽然能提高性能，但会使调试变得复杂，因为它会导致调试器报告的行号与源代码的行号不匹配。
- 单步调试困难 ：在Linux内核的许多区域，单步执行代码非常困难或根本不可能。例如，修改虚拟内存设置的代码路径，以及涉及处理器异常的转换，都会改变操作上下文，使得单步调试变得异常困难。
- 启动代码调试难 ：启动代码由于靠近硬件且可用资源有限（如没有控制台、内存映射有限等），调试起来特别困难。

2. 使用KGDB进行内核调试

有两种流行的方法可以在Linux内核中进行符号源级调试：使用KGDB作为远程gdb代理，以及使用硬件JTAG探针控制处理器。这里主要介绍KGDB的使用。

2.1 KGDB简介

KGDB（Kernel GDB）是一组Linux内核补丁，通过其远程串行协议为gdb提供接口。它实现了一个gdb存根，与运行在主机开发工作站上的交叉gdb进行通信。直到最近，目标设备上的KGDB还需要通过串行连接到开发主机，不过现在有些目标设备支持通过以太网进行连接。

2.2 KGDB内核配置

KGDB是一个内核特性，必须在内核中启用。可以从Kernel Hacking菜单中选择KGDB，并选择KGDB要使用的串行端口。同时，建议启用编译内核时包含调试信息的选项，这会在构建过程中添加 -g 编译器标志，以支持符号调试。

2.3 启用KGDB支持的目标设备启动

内核构建完成并支持KGDB后，需要通过内核命令行传递一个命令行开关来启用它。启用后，内核会在启动周期的早期在KGDB启用的断点处停止，以便使用gdb连接到目标设备。以下是使用U-Boot启动时启用KGDB的示例：

=> sete bootargs console=ttyS1,115200 root=/dev/nfs rw ip=dhcp gdb
=> bootm 200000

启动后，使用交叉gdb连接到目标设备：

$ ppc_4xx-gdb --silent vmlinux
(gdb) target remote /dev/ttyS0

2.4 有用的内核断点

为了在调试过程中方便控制内核执行，可以设置一些系统级断点。例如：

(gdb) b panic
Breakpoint 1 at 0xc0016b18: file kernel/panic.c, line 74.
(gdb) b sys_sync
Breakpoint 2 at 0xc005a8c8: file fs/buffer.c, line 296.

设置 panic() 断点可以在发生内核崩溃时触发调试器，以便检查系统状态；设置 sys_sync() 断点可以通过在目标硬件上的终端输入 sync 命令来暂停内核并进入调试器。

3. 调试Linux内核

3.1 调试特定平台代码

以AMCC Yosemite板为例，要修改或定制特定平台的代码，可以在平台特定的架构设置函数处设置断点，然后继续执行直到遇到该断点。示例如下：

(gdb) b yosemite_setup_arch
Breakpoint 3 at 0xc021a488: file arch/ppc/platforms/4xx/yosemite.c, line 308.
(gdb) c

3.2 gdb远程串行协议

gdb包含一个调试开关，可以观察开发主机上的gdb与目标设备之间使用的远程协议。启用此调试模式的命令如下：

(gdb) set debug remote 1

启用远程调试后，可以观察 continue 命令的执行过程。gdb会在目标设备上恢复所有断点，具体操作是先读取断点地址的内存内容，将其存储在主机上，然后用PowerPC TRap指令替换，以便在遇到断点时将控制权返回给调试器。

3.3 调试优化后的内核代码

编译器优化会给源代码级调试带来复杂性。例如，使用 -O2 优化级别编译内核时，gdb报告的断点行号可能与源代码的行号不匹配，这是因为编译器进行了函数内联优化。以下是一个示例：

$ ppc_44x-gdb --silent vmlinux
(gdb) target remote /dev/ttyS0
(gdb) b yosemite_setup_arch
Breakpoint 3 at 0xc020f438: file arch/ppc/platforms/4xx/yosemite.c, line 116.
(gdb) c

通过反汇编代码可以发现，编译器将 yosemite_set_emacdata() 子例程内联到了 yosemite_setup_arch() 函数中，导致行号不匹配。

3.4 gdb用户自定义命令

gdb在启动时会查找一个名为 .gdbinit 的初始化文件，并执行其中的命令。可以在该文件中定义自定义命令，例如连接到目标系统并设置初始断点：

$ cat ~/.gdbinit
set history save on
set history filename ~/.gdb_history
set output-radix 16
define connect
    target remote /dev/ttyS0
    b panic
    b sys_sync
end

3.5 有用的内核gdb宏

在调试内核时，使用gdb宏可以方便地查看系统中运行的进程信息。以下是几个常用的gdb宏：
- find_task宏 ：用于查找指定PID或任务结构体地址的任务，并显示其名称。

define find_task
  if ((unsigned)$arg0 > (unsigned)&_end)
    set $t=(struct task_struct *)$arg0
  else
    set $t=&init_task
    if (init_task.pid != (unsigned)$arg0)
      find_next_task $t
      while (&init_task!=$t && $t->pid != (unsigned)$arg0)
        find_next_task $t
      end
      if ($t == &init_task)
        printf "Couldn't find task; using init_task\n"
      end
    end
  end
  printf "Task \"%s\":\n", $t->comm
end

• ps宏 ：显示系统中所有任务的相关信息。

define ps
  task_struct_header
  set $t=&init_task
  task_struct_show $t
  find_next_task $t
  while &init_task!=$t
    task_struct_show $t
    find_next_task $t
  end
end

• task_struct_show宏 ：显示每个任务结构体的详细信息，包括地址、PID、状态、用户空间下一条指令指针、内核栈指针、关联设备和任务名称。

define task_struct_show
  printf "0x%08X %5d", $arg0, $arg0->pid
  if ($arg0 == $r2)
    printf "<"
  else
    printf " "
  end
  if ($arg0->state == 0)
    printf "Running   "
  else if ($arg0->state == 1)
    printf "Sleeping  "
  // 其他状态判断...
  if ($arg0->thread.regs)
    printf "0x%08X ", $arg0->thread.regs->nip
  else
    printf "           "
  end
  printf "0x%08X ", $arg0->thread.ksp
  if ($arg0->signal->tty)
    printf "%s   ", $arg0->signal->tty->name
  else
    printf "(none) "
  end
  printf "%s\n", $arg0->comm
end

• find_next_task宏 ：根据给定的任务地址，找到链表中的下一个任务。

define find_next_task
  set $t = (struct task_struct *)$arg0
  set $offset=( (char *)&$t->tasks - (char *)$t)
  set $t=(struct task_struct *)( (char *)$t->tasks.next- (char *)$offset)
end

• lsmod宏 ：显示内核中当前安装的可加载模块列表。

define lsmod
  printf "Address\t\tModule\n"
  set $m=(struct list_head *)&modules
  set $done=0
  while ( !$done )
    set $mp=(struct module *)((char *)$m->next - (char *)4)
    printf "0x%08X\t%s\n", $mp, $mp->name
    if ( $mp->list->next == &modules)
      set $done=1
    end
    set $m=$m->next
  end
end

4. 调试可加载模块

调试可加载内核模块（即设备驱动程序）是使用KGDB的常见场景。可加载模块的一个便利特性是，在大多数情况下，每次新的调试会话不需要重新启动内核。

4.1 调试挑战

调试可加载模块的难点在于获取模块目标文件中的符号调试信息。由于可加载模块是动态链接到内核中的，在模块加载之前，目标文件中的符号信息是无用的。而在模块加载之后，再设置断点调试模块的初始化函数就太晚了。

4.2 解决方案

解决方法是在内核代码中负责加载模块的位置设置断点，即在模块链接之后但初始化函数调用之前。以下是使用Linux内核的回环驱动 loop.ko 进行调试的示例：

$ ppc-linux-gdb --silent vmlinux
(gdb) connect
(gdb) b module.c:1907
(gdb) c

当断点触发后，使用 lsmod 宏获取模块的地址，然后使用 add-symbol-file 命令加载符号文件：

(gdb) lsmod
Address         Module
0xD102F9A0      loop
(gdb) set $m=(struct module *)0xD102F9A0
(gdb) p $m->module_core
$1 = (void *) 0xd102c000
(gdb) add-symbol-file ./drivers/block/loop.ko 0xd102c000

对于模块的初始化函数，由于内核会将其加载到单独分配的内存中，需要使用特殊的方法告知gdb这种寻址方案：

(gdb) add-symbol-file ./drivers/block/loop.ko 0xd102b000 -s .init.text 0xd1031000
(gdb) b loop_init
(gdb) c

5. printk调试

使用printk调试内核和设备驱动程序代码是一种流行的技术，因为printk已经发展成为一种非常可靠的方法。printk类似于C库函数 printf() ，可以在几乎任何上下文中调用，包括中断处理程序。

5.1 printk的局限性

printk需要一个控制台设备，并且在控制台设备初始化之前，有许多printk调用无法正常工作。

5.2 消息级别

printk允许添加一个字符串标记来标识给定消息的严重程度。头文件 .../include/linux/kernel.h 定义了八个级别：
| 级别 | 宏定义 | 描述 |
| ---- | ---- | ---- |
| 0 | KERN_EMERG | 系统不可用 |
| 1 | KERN_ALERT | 必须立即采取行动 |
| 2 | KERN_CRIT | 关键条件 |
| 3 | KERN_ERR | 错误条件 |
| 4 | KERN_WARNING | 警告条件 |
| 5 | KERN_NOTICE | 正常但重要的条件 |
| 6 | KERN_INFO | 信息性消息 |
| 7 | KERN_DEBUG | 调试级消息 |

5.3 设置日志级别

可以通过内核命令行参数设置默认的内核日志级别：
- debug ：将控制台日志级别设置为10，显示所有printk消息。
- quiet ：将控制台日志级别设置为4，显示所有严重程度为KERN_ERR或更高的printk消息。
- loglevel= ：将控制台日志级别设置为指定的值。

6. Magic SysReq键

Magic SysReq键是一个有用的调试辅助工具，通过一系列特殊的预定义键序列直接向内核发送消息。对于许多目标架构和板卡，使用串行端口上的简单终端模拟器作为系统控制台时，Magic SysReq键定义为一个中断字符后跟一个命令字符。

6.1 使用方法

以minicom终端模拟器为例，发送中断字符的方法是键入 Ctl-A F 。发送中断字符后，有5秒钟的时间输入命令字符，否则命令将超时。

6.2 命令示例

• 设置日志级别 ：输入一个0到9之间的数字，将默认日志级别设置为该数字。例如，输入 Ctl-A F 9 会将日志级别设置为9。
• 其他命令 ：还可以使用Magic SysReq键执行其他操作，如转储寄存器、关闭系统、重启系统、转储进程列表、将当前内存信息转储到控制台等。

总结

调试Linux内核是一项复杂而具有挑战性的任务，但通过使用KGDB、gdb宏、printk调试和Magic SysReq键等工具和技术，可以有效地解决各种调试问题。在实际调试过程中，需要根据具体情况选择合适的调试方法，并结合对内核架构和设计的理解，才能准确地定位和解决问题。

以下是使用mermaid绘制的KGDB调试流程：

graph TD;
    A[启动内核并启用KGDB] --> B[设置断点];
    B --> C[使用gdb连接到目标设备];
    C --> D[执行调试操作];
    D --> E{是否遇到断点};
    E -- 是 --> F[检查系统状态];
    F --> G[继续调试或修改代码];
    G --> D;
    E -- 否 --> D;

通过以上介绍，希望能帮助你更好地理解和掌握Linux内核调试的方法和技巧。在实际应用中，不断实践和探索，才能熟练运用这些工具和技术，提高调试效率。

Linux内核调试全攻略

7. 调试技巧总结与应用场景

为了更清晰地展示不同调试方法的应用场景和使用技巧，下面通过表格进行总结：
| 调试方法 | 应用场景 | 使用技巧 |
| ---- | ---- | ---- |
| KGDB | 调试内核整体运行、特定平台代码、可加载模块等 | 配置内核支持KGDB，设置断点，使用gdb连接目标设备，根据需要添加符号文件 |
| gdb宏 | 查看系统进程信息、模块信息等 | 定义并使用如find_task、ps、lsmod等宏，可根据需求修改宏内容 |
| printk | 跟踪代码执行流程、输出关键信息 | 根据消息重要程度设置不同级别，通过内核命令行参数调整日志级别 |
| Magic SysReq键 | 系统锁定、需要获取系统信息时 | 按照特定键序列输入命令，如设置日志级别、转储进程列表等 |

8. 调试注意事项

在进行Linux内核调试时，还需要注意以下几点：
- 优化级别影响 ：编译器优化会使调试变得复杂，尽量使用较低的优化级别（如 -O1）进行调试，避免因函数内联等优化导致行号不匹配等问题。
- 符号信息一致性 ：使用gdb调试时，传递给gdb的内核ELF文件必须与目标内核二进制文件来自同一内核构建，并且要确保编译时添加了 -g 编译器标志以包含调试信息。
- 模块调试时机 ：调试可加载模块时，要在内核加载模块的合适位置设置断点，以便及时加载符号信息并调试初始化函数。
- Magic SysReq键风险 ：Magic SysReq键的某些命令（如重启命令）可能会导致数据丢失和系统损坏，使用时要谨慎。

9. 调试案例分析

下面通过一个具体的调试案例，进一步说明如何综合运用上述调试方法解决实际问题。

9.1 问题描述

在开发一个基于AMCC Yosemite板的内核模块时，发现模块加载后无法正常工作，系统没有报错信息，需要找出问题所在。

9.2 调试步骤

1. 使用KGDB设置断点 ：

$ ppc_4xx-gdb --silent vmlinux
(gdb) connect
(gdb) b module.c:1907
(gdb) c

在模块加载的关键位置设置断点，等待模块加载触发断点。

2. 加载符号信息 ：

(gdb) lsmod
Address         Module
0xD102F9A0      自定义模块
(gdb) set $m=(struct module *)0xD102F9A0
(gdb) p $m->module_core
$1 = (void *) 0xd102c000
(gdb) add-symbol-file ./自定义模块.ko 0xd102c000

获取模块地址并加载符号文件，以便进行源代码级调试。

3. 使用gdb宏查看进程信息 ：

(gdb) ps

查看系统中所有任务的状态，确认模块相关进程是否正常。

4. 使用printk输出调试信息 ：
   在模块代码中添加printk语句，设置合适的消息级别：

printk(KERN_DEBUG "模块初始化开始\n");

根据日志级别设置，查看输出信息，跟踪代码执行流程。

5. 使用Magic SysReq键获取系统信息 ：
   在必要时，使用Magic SysReq键转储进程列表、内存信息等，辅助分析问题。

通过以上步骤，逐步排查问题，最终发现是模块初始化函数中的一个参数传递错误导致模块无法正常工作。修改代码后，重新编译加载模块，问题得到解决。

10. 未来调试技术展望

随着Linux内核的不断发展和硬件技术的进步，未来的内核调试技术可能会朝着以下几个方向发展：
- 智能化调试工具 ：利用人工智能和机器学习技术，自动分析调试信息，快速定位问题，减少人工调试的工作量。
- 可视化调试界面 ：开发更加直观、易用的可视化调试界面，让开发者可以更方便地查看系统状态、代码执行流程等信息。
- 远程调试能力增强 ：进一步提升远程调试的性能和稳定性，支持更多的网络连接方式，方便在不同环境下进行调试。

总结与回顾

本文全面介绍了Linux内核调试的各种方法和技术，包括使用KGDB、gdb宏、printk调试和Magic SysReq键等。通过详细的操作步骤、代码示例和案例分析，展示了如何在不同场景下运用这些调试方法解决实际问题。同时，还总结了调试注意事项和未来调试技术的发展趋势。

在实际调试过程中，要根据具体问题选择合适的调试方法，并不断积累经验，提高调试效率。希望本文能为你在Linux内核调试方面提供有价值的参考和帮助。

以下是使用mermaid绘制的综合调试流程：

graph TD;
    A[发现问题] --> B[选择调试方法];
    B --> C{KGDB};
    B --> D{gdb宏};
    B --> E{printk};
    B --> F{Magic SysReq键};
    C --> G[设置断点、连接目标设备等操作];
    D --> H[使用宏查看信息];
    E --> I[添加printk语句、调整日志级别];
    F --> J[输入命令获取系统信息];
    G --> K{是否解决问题};
    H --> K;
    I --> K;
    J --> K;
    K -- 是 --> L[结束调试];
    K -- 否 --> B;

通过不断学习和实践，相信你能够熟练掌握Linux内核调试的技巧，成为一名优秀的内核开发者。