Go语言实战-nginx日志处理之MongoDB篇

前面已经对nginx日志进行了分析处理，多个go程同时insert数据到MySQL，这对MySQL来说无疑是一次高并发

// 起5个go程，解析nginx的mq，并存入到mysql
go worker("worker1", mq, db)
go worker("worker2", mq, db)
go worker("worker3", mq, db)
go worker("worker4", mq, db)
go worker("worker5", mq, db)

针对这种高并发、海量的数据，存储到MongoDB是一个不错的选择

实践出真理，这里只改了前面代码的存储部分

// 将异常的nginx日志写入logs_info_exception表
db.Create(&infoException)

// 异常访问，存MySQL改成存MongoDB

// 将异常的nginx日志写入mongodb集合
collection.InsertOne(context.TODO(), infoException)

// 将正常的nginx日志写入logs_info表
db.Create(&info)

// 正常访问，存MySQL改成存MongoDB

// 将正常的nginx日志写入mongodb集合
collection.InsertOne(context.TODO(), info)

完整代码

pac