大型电商离线数据处理流程

电商网站，向后台发送请求，通过ngix转发给后台的tomcat服务器，服务器将接受到的请求打印成log，然后将日志定时发送到flume的指定目录里，通过flume的sink端连接hadoop的hdfs，将日志文件存储到hdfs上，然后将日志文件通过定时的MR和hive任务进行清洗和整合，然后将日志数据存储成新的hdfs文件或者是hive表，最后通过大数据平台对hive和hdfs中的文件进行符合业务需求的任务，然后将结果输出成数据库表，javaweb项目通过前台页面展示出来。