嵌入式linux使用trace调试步骤记录

0.内核配置：
CONFIG_FUNCTION_TRACER
CONFIG_FUNCTION_GRAPH_TRACER

一、 function graph tracer的使用

1.1 步骤

1.挂载debugfs文件系统
mount -t debugfs none /sys/kernel/debug

2.进入tracing调试目录
cd /sys/kernel/debug/tracing

3.设置为function_graph功能
echo function_graph > ./current_tracer

4.添加需要跟踪的函数blk_update_request
echo ‘phytium_lpc_probe’ > ./set_graph_function

5.开启跟踪
echo 1 > ./tracing_on

6.执行自己的操作或者脚本，等待函数运行或者bug出现

7.关闭跟踪
echo 0 > ./tracing_on

8.取出log
cp ./trace ~/log.txt

优化：
1.设置函数过滤
echo vfs_open > ./set_ftrace_filter

2.设置当前进程pid过滤
echo $$ > /sys/kernel/debug/tracing/set_ftrace_pid

3.函数结束的反括号后带函数入口的注释
echo 1 > ./options/funcgraph-proc
echo 1 > ./options/funcgraph-tail

4.使能trace子进程
echo 1 > /sys/kernel/debug/tracing/options/function-fork

1.2 例子

function.sh脚本：

rm ~/0.log
#cd /sys/kernel/debug/tracing/
echo 0 > /sys/kernel/debug/tracing/tracing_on
#echo 1 > /sys/kernel/debug/tracing/options/func_stack_trace
echo 1 > /sys/kernel/debug/tracing/options/function-fork
#echo 1 > /sys/kernel/debug/tracing/options/sym-offset
echo $1 > /sys/kernel/debug/tracing/set_ftrace_pid
echo > /sys/kernel/debug/tracing/trace
echo function > /sys/kernel/debug/tracing/current_tracer

#echo load_balance > /sys/kernel/debug/tracing/set_ftrace_filter
echo try_to_wake_up > /sys/kernel/debug/tracing/set_ftrace_filter
echo select_task_rq_fair >> /sys/kernel/debug/tracing/set_ftrace_filter
echo wake_up_q >> /sys/kernel/debug/tracing/set_ftrace_filter

echo 1 > /sys/kernel/debug/tracing/tracing_on

cat /sys/kernel/debug/tracing/trace_pipe  |tee -a ~/0.log

可以使用命令 ./function.sh 8888运行，其中8888为bash控制台的pid。

cd /sys/kernel/debug/tracing/
echo 0 > tracing_on
echo > trace
echo $1 > /sys/kernel/debug/tracing/set_ftrace_pid
echo function_graph > /sys/kernel/tracing/current_tracer
echo do_interrupt_handler > set_graph_notrace
echo __delay >> set_graph_notrace
echo _printk >> set_graph_notrace
echo stack_trace_save >> set_graph_notrace
echo ww_mutex_unlock >> set_graph_notrace
echo ww_mutex_lock >> set_graph_notrace
echo 1 > ./options/funcgraph-proc
echo 1 > ./options/funcgraph-tail
echo ‘__filemap_fdatawrite_range’ > ./set_graph_function
#echo ‘do_writepages’ > ./set_graph_function
echo 1 > /sys/kernel/debug/tracing/tracing_on

cat /sys/kernel/debug/tracing/trace_pipe  |tee -a ~/0.log

二、kprobe的使用

1.挂载debugfs文件系统
mount -t debugfs none /sys/kernel/debug

2.进入tracing调试目录
cd /sys/kernel/debug/tracing

3.设置配置属性获取函数传入参数和返回值

echo 'p:myprobe do_fork clone_flags=%r0 stack_start=%r1 stack_size=%r2 parent_tidptr=%r3 child_tidptr=+0($stack)' > /sys/kernel/debug/tracing/kprobe_events
echo 'r:myretprobe do_fork $retval' >> /sys/kernel/debug/tracing/kprobe_events

上面是arm的用法，下面是X86的：

echo 'p bio_add_page arg1=$arg1 arg2=$arg2' > /sys/kernel/tracing/kprobe_events

4.开启探测并触发函数调用
echo 1 > events/kprobes/myprobe/enable
echo 1 > events/kprobes/myretprobe/enable

5.执行自己的操作或者脚本，等待函数运行或者bug出现

6.取出log
cp ./trace ~/log.txt

优化：
1.激活堆栈查看函数调用关系
echo stacktrace > trace_options

2.设置过滤PID信息
echo common_pid!=512 > events/kprobes/myprobe/filter

三、 trace event的使用

3.1 步骤

1.挂载debugfs文件系统
mount -t debugfs none /sys/kernel/debug

2.进入tracing调试目录
cd /sys/kernel/debug/tracing

3.设置events跟踪开关
ehco 1 > ./events/kmem/kmalloc/enable
ehco 1 > ./events/kmem/kfree/enable

4.开启跟踪
echo 1 > ./tracing_on

5.执行自己的操作或者脚本，等待函数运行或者bug出现

6.关闭跟踪
echo 0 > ./tracing_on

7.取出log
cp ./trace ~/log.txt

优化：
1.设置内存内存过滤信息
echo bytes_alloc==4096 > ./events/kmem/kmalloc/filter

3.2 例子

events.sh文件

echo > trace
echo $1 > set_event_pid
echo 1 > options/event-fork
#echo 0 > /sys/kernel/debug/tracing/events/sched/sched_switch/filter
echo 'prev_comm == "sysbench" || next_comm == "sysbench" ' > /sys/kernel/debug/tracing/events/sched/sched_switch/filter

echo 1 > /sys/kernel/debug/tracing/events/sched/sched_switch/enable
cat /sys/kernel/debug/tracing/trace_pipe |tee -a a

这个例子是查看sysbench进程的调度出去和调度进来的例子。