本文介绍了如何利用Nginx和Node.js构建统计系统，以解决第三方统计工具数据不准确和缺失的问题。首先阐述了构建统计系统的背景和需求，然后详细说明了v1.0.0版本的设计，包括前端数据统计规则和日志处理。进一步优化中，强调了Nginx的静态资源处理优势，建议通过配置分离统计日志，并警告了在Node中处理大文件时避免使用readFile，推荐使用stream和pipe。
一.背景
一个互联网企业少不了对自身业务的数据访问量的监控和分析。统计行业，如今CNZZ和百度作为两大巨头，是第一优先选择。
但是这两方的覆盖面积太广，难免有时候会有些“疏漏”：
- CNZZ和百度统计经常数据不一致
- 经常出现数据缺失（比如对于站点根目录的PV,UV访问）
作为企业肯定是对于自身业务的数据是第一关注点，那么数据准确率和迭代速度就成为了优先选择。
二.统计系统v1.0.0
1.数据统计前端规则
这里主要是说日志收集和处理方向，统计规则我说了，反正就是围绕cookies和localStorage再添加各种限制展开。有兴趣的可以看我的repo=> Pure_statistics ，这里讲述了对PV和UV的收集规则。
2.日志收集和处理
- 用静态资源作为“载体”
- rsyslog解析并推送到MySQL
这就是统计系统的雏形
不过久而久之就出现了瓶颈，rsyslog不灵活，迭代过程十分痛苦。
三.取其精华，去其糟粕
保留Nginx处理静态资源访问的优势，用对字符串十分友好的Node来处理日志，解析字段。
虽然Nginx和Node都是基于事件驱动的服务模型，但是不得不承认Nginx对于静态访问的处理
最低0.47元/天 解锁文章
扫一扫
2259
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
