csdnliu123的博客

1.需求：数据来源各种各样，大量的数据中难免会有脏数据，我们需要将脏数据清洗掉，提高数据的准确度。 本次要将字段缺失的数据过滤掉，只留下保存度完整的数据。 2.项目开发： （1）清洗数据类： package com.xnmzdx.mapreduce.etl; import java.io.IOException; import org.apache.hadoop.io.LongWr...

一．项目需求 实时分析某电商网站产生的订单数据。 分析订单的有效订单量、订单总金额、优惠后总金额、下单用户数。 二．使用主要技术 Kafka，Storm，Zookeeper，Redis，MySql 三．项目架构 架构解析：从web端获取数据订单数据，存入kafka中，storm处理订单数据，在kafka中读取数据，将处理完成的数据写入redis和mysql中 四.项目开发： 模...