IIS中 .NET Web Api后台接口监控解决方案

一,设置IIS日志文件的生成

1.点击网站可以看见本机所有的托管网站且IIS自动分配了ID(这个ID待会要用到)

2.在IIS中打开需要监控端口的主页--》双击打开日志

1 选择日志格式 这里我们选择w3c 就ok 可以点击选择字段 添加自己所需字段 既然是监控 那肯定少不了 请求的接口(URI资源),发送的字节数(sc-bytes),接收的字节数(cs-bytes),响应时间(time-taken)等 

2 修改存放的路径,文件夹需要给IIS用户添加修改权限(方便读取完信息后移除或删除文件)

3 这里我们是监控接口的访问量,吞吐量和响应速度,所以只需要记录日志文件就好了 

4 计划我这里添加的是每个小时生成一个新的文件 为什么不设置每天嘞 因为我是想监控前几个小时的一个需求 所以要把生成一个文件的频率调高一点 不然你读取和修改这个文件会报错和IIS写日志冲突掉

5 使用本地时间进行文件命名和滚动更新 这里要注意的是IIS生成的日志文件名是使用本地时间 但是文件内的日志生成时间使用的是格林威治时间

6 设置完成后点击应用 就可以在设置的文件夹下看到有日志生成了 IIS还会自动加一个子目录 你IIS下有多少个网站这里就会生成多少个子目录 编号就是前面说的ID

到这里IIS的设置就完成了 

二,使用.Net读取IIS日志文件保存数据库并删除已读取文件

这里直接上代码

public void IISLogImport()
        {
            SqlConnection conn = new SqlConnection("Data Source=xxx,1433;Initial Catalog=xxx;User ID=xxx;Password=xxx;MultipleActiveResultSets=true;");
            conn.Open();
            DirectoryInfo directoryZCAFFT = new DirectoryInfo("D:\\File\\log_IIS");//文件地址
            FileInfo[] arrZCAFFT = directoryZCAFFT.GetFiles("*.log");//筛选一下日志文件
            if (arrZCAFFT.Length == 0) return;
            foreach (FileInfo file in arrZCAFFT)
            {
                if (file.Name.IndexOf(DateTime.Now.ToString("yyMMddHH")) != -1) continue;//如果是当前时间的文件则不进行读取操作
                //整理好的数据
                DataTable newDataT = new DataTable();
                newDataT.Columns.AddRange(new DataColumn[] {
                        new DataColumn("ID",typeof(int)),
                        new DataColumn("DateTime",typeof(DateTime)),
                        new DataColumn("URIStem",typeof(string)),
                        new DataColumn("BytesSent",typeof(Int64)),
                        new DataColumn("BytesReceived",typeof(Int64)),
                        new DataColumn("TimeTaken",typeof(Int64))});
                //打开txt文件 按行读取数据 
                StreamReader sr = new StreamReader(file.FullName, Encoding.UTF8);
                try
                {
                    string line = string.Empty;
                    while ((line = sr.ReadLine()) != null)
                    {
                        if (line[0] != '#')//#开头的都是描述去掉
                        {
                            string[] contents = line.Split(' ');//日志内容的分隔符都是空格 
                            //这里是需要刨掉的请求文件
                            string[] indexs = new string[] { ".txt", ".xml", ".Js", ".asp", ".htm", ".xslt", ".swf", ".cgi", ".html", ".ico", ".gif", ".png", ".js", ".css", "/files/" };
                            
                            string[] vals = (from val in indexs where contents[2].IndexOf(val) != -1 select val).ToArray();
                            //需要刨掉的某些接口
                            string[] indexs2 = new string[] { "/xxx.asmx", "/api/xxx.asmx", "/xxx.asmx/xxx" };

                            string[] vals2 = (from val in indexs2 where contents[2] == val select val).ToArray();
                            //符合条件的添加到dataTable
                            if (vals.Length == 0 && vals2.Length == 0)
                            {
                                DataRow row = newDataT.NewRow();
                                row["DateTime"] = Convert.ToDateTime(contents[0] + " " + contents[1]).AddHours(8);//格林威治时间转本地时间
                                row["URIStem"] = contents[2];
                                row["BytesSent"] = Convert.ToInt64(contents[3]);
                                row["BytesReceived"] = Convert.ToInt64(contents[4]);
                                row["TimeTaken"] = Convert.ToInt64(contents[5]);
                                newDataT.Rows.Add(row);
                            }
                        }
                    }
                    //批量导入数据库 这种方式速度比较快
                    SqlBulkCopy bulkCopy = new SqlBulkCopy(conn);
                    bulkCopy.DestinationTableName = "xxx";
                    bulkCopy.BatchSize = newDataT.Rows.Count;

                    if (newDataT != null && newDataT.Rows.Count != 0)
                    {
                        bulkCopy.WriteToServer(newDataT);
                    }

                }
                catch (Exception e)
                {
                    GeSmartLog.WriteLog("IISLogImport ERROR:" + e.Message + " FileName:" + file.Name);
                }
                //将读取完的数据删除文件
                sr.Close();
                file.Delete();
            }
            //删除7天以前的日志 
            common.ExeSQL2("delete dbo.xxx where DATEADD(DAY,7,[DateTime])<GETDATE()", conn);
            conn.Close();
        }

到这里接口的访问量,吞吐量和响应时间都已经可以统计出来了。这个方法需要在定时器中调用,这样日志文件的维护也基本上不用管了 。

其实在IIS中设置好后,log文件一生成,接口的监控基本上就完成了。因为日志文件就在那里 用C#也好 Python也好 都只是一个数据处理和展示的工作了

Windows全家桶真香 ,如有不对之处还请各路大神指点指点。

 

运行环境:window .net 1.1框架 http://download.microsoft.com/download/0/f/e/0fecf85c-fb50-4ca9-adf2-c4be7ec9b454/setup.exe 适用范围:虚拟主机提供商用于排查个别有问题的网站. 监控每一个WEB站点的资源使用状态,包括:CPU使用率,总的CPU时间,内存,最大内存,线程数,模块数等. 如果某个网站CPU占用率,或内存,最大内存非常大,标志该网站流量很大,或程序有问题. 软件功能: 应用程序:可以看到到当前机器运行的应用程序名称. 进程管理器:可以看到每一个进程序的详细信息.在win2000机器下运行备注字段会指明了虚拟主机的网站名称.在win2003机器下运行备注字段会指明了应用程序池的名称. IIS6.0设置:先加载IIS列表,可以选择需要监控的站点(按Shift键可以多选),再点击使用独立应用程池.这样就可以在进程管理器里,查看到每一个站点所对应的应用程池的进程序的CPU等情况.建议操作之前,先对IIS进行备份,然后监控完了,恢复IIS设置.在还原成初始状态. 如果全部使用独立应用程序池,对服务器的资源占用会有所增加,只把三四十个可以疑的站点设置独立应用程池,或者先30个站点共用一个池,找出是哪一个池有问题了,再把这个池里的站点设置成独立程序池,再具体查找. IIS5.0设置:先加载IIS列表,可以选择需要被监控的站点(按Shift键可以多选),然后点"安装监控器".再去进程管理器里查看站点所对应的进程的CPU情况.注意:建议操作之前,先对IIS进行备份,然后监控完了,恢复IIS设置.在还原成初始状态. 安装监示器之后,对服务器的资源占用会有所增加,建议不要把全部的程序都安装监控器,一次只安装三四十个可疑的站点即可. 注册(Register):注册本软件.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值