网络日志分析场景一：闪现Segmentation Fault为哪般？

下面的场景描述一起电商网站首页篡改案，管理员小王对各方调查取证,几经周折终于对系统进程、TCP连接和Apache的访问日志，进行分析最终找到了原因。当您看完事件描述后，您知道他在Apache日志中到底发现了哪些蛛丝马迹？您知道Apache出现的段错误表示什么含义？他今后该如何应对这种事件再次发生呢？

难度系数：★★★

关键日志：Apache访问日志

故事人物：小王（管理员）

事件背景   

   小王大学毕业后刚刚入职一家电商网站（westshop.com），在网络运维部工作，职位是系统管理员，上一任管理员刚跳槽，公司的重担就落在一个新人肩上，成了“救火队长”，经常干着费力不讨好的工作，挣钱不多，每个月除去开销再给家中父母寄些钱，就所剩不多了。

圣诞节临近，公司决定进行今年最后一轮打折促销活动，为此各个部门都开始了紧锣密鼓的部署工作，小王所在的IT部门，除了日常维护,开始加紧为接下来的大量访问做一些系统扩容的准备工作。由于工作任务紧张，小王无暇顾及网络安全问题，处于“亚健康”状态的系统一直带病运行着，随着节日的临近，网站用户访问数量激增，网站流量也不停的刷新纪录。

可好景不长，在系统运行了一段时间之后，一天，小王接到电话，有人反映主页被修改了，而且访问网站时断时续。公司老板得知此事，十分恼火，立即吩咐小王尽快处理好故障。小王接到任务后，开始了系统的取证工作。

步骤1：检查系统进程

由于担心程序被替换，事先小王就在他的home目录下加密保存了一些重要的系统二进制文件的拷贝，例如md5、ps、top及netstat等。他先用top命令查看了系统进程列表。显示如下：

从top命令结果显示上看，CPU利用率达到55.58这是为什么？接着他重启了Apache服务器，这台物理服务器上运行大概10多个虚拟站点，在重启httpd的那一刻，网站打开速度很快，可几分钟后就不行了，而且 Load Average的值，很快就飙升到了30～40一直居高不下,不一会儿CPU利用率就全占满了，发生这种情况疑似受到了DOS攻击。

1. 查看并发数

通过下面的命令查看并发数量。

#ps -ef|grep httpd|wc -l

2458

结果表示Apache能够处理2458个并发请求。

   2.查看详细连接情况

#netstat -nat|grep -i “80″|wc -l

2341

从以上结果看，没什么异常。“netstat –an”命令会打印系统当前网络连接状态，而grep -i “80″是用来提取与80端口有关的连接, wc -l进行连接数统计。

注意：还有实用的命令来得到连接信息

#netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

FIN_WAIT_1 286

FIN_WAIT_2 360

SYN_SENT 3

LAST_ACK 32

CLOSING 1

CLOSED 36

SYN_RCVD 144

TIME_WAIT 2520

ESTABLISHED 2