serendipity

1、系统数据流程设计为什么这里面需要kafka？1. 我们的业务有实时的业务，Spark可以和Flume做整合的2. 削峰平谷，处理一些高并发的场景3. 解耦，适合这种多场景对数据的多次使用埋点的数据是如何被采集的？采集的都是用户的行为，写一些代码（js，sdk），往后台发送，实时发送，每隔一段时间发送一个数据包（加密、压缩、转码，一次性发送多条）2、项目技术如何选型？技术选型主要考虑因素：数据量大小、业务需求、行业内经验、技术成熟度、开发维护成本、总成本预算数据采集传输：Flum

手机APP分析平台项目（一）手机APP分析平台项目（二）手机APP分析平台项目（三）手机APP分析平台项目（四）手机APP分析平台项目（五）手机APP分析平台项目（六）手机APP分析平台项目（七）5.2.5 对mongodb中的数据进行处理ErrorAnalyDaopackage com.youmeng.dao;import java.util.List;import com.alibaba.dubbo.config.annotation.Service;import com.yo

手机APP分析平台项目（一）手机APP分析平台项目（二）手机APP分析平台项目（三）手机APP分析平台项目（四）手机APP分析平台项目（五）手机APP分析平台项目（六）5.2.2 App错误日志AppErrorAnalypackage com.youmeng.entry;import java.io.Serializable;/** * 创建AppErrorAnaly实体类 */public class AppErrorAnaly implements Serializable

5.2 创建maven-web项目dubboView5.2.1 配置文件log4j2.xml<?xml version="1.0" encoding="UTF-8"?><Configuration status="info" monitorInterval="300"> <Appenders> <Console name="STDOUT"> <PatternLayout pattern="%d %-5p [%t] %C

5.1.9 将数据存储到hive和hbase中启动hive客户端，创建数据库：create database youmeng;创建日志表：create external table youmeng.apperrorlog( createtime string, appId string, deviceId string, appVersion string, appChannel string, appPlatform string, osTyp

5.1.7 mongodb存储实时计算结果ErrorDaopackage com.mongodb.dao;import java.io.IOException;import org.apache.commons.logging.Log;import org.apache.commons.logging.LogFactory;import org.bson.Document;import org.bson.types.ObjectId;import com.fasterxml.jackson

5.1.4 工具类PropertityUtilspackage com.utils;import com.typesafe.config.Config;import com.typesafe.config.ConfigFactory;/** * 从 .propertities 配置文件中获取key对应的value值 */public class PropertityUtils { public final static Config config = ConfigFactory.loa

五、代码5.1 创建maven-web项目appProject5.1.1 配置文件log4j2.xml<?xml version="1.0" encoding="UTF-8"?><Configuration status="info" monitorInterval="300"> <Appenders> <Console name="STDOUT"> <PatternLayout pattern="%d %-5p [

一、项目背景随着互联网日益发展，手机使用人数越来越多，手机应用也越来越多，每个应用最核心的就是运营了，运营的好坏直接决定了该app的盈利与否，那么就需要一个平台帮助这些app应用运营，这个平台可以知道某个app的使用情况。该项目主要分析五大类型数据，分别为用户启动行为，事件行为，页面浏览行为，用户使用行为，错误发生行为。分析后具体分为几大模块，分别为概况分析、用户分析、用户构成、留存分析、渠道分析、用户参与度分析，功能使用分析，终端分析，错误分析，以及用户预警，用户挖掘等大模块，最终可以实现展示所有a

1. 新增用户1.1 指标定义当某个具体的用户，在之前的历记录中，没有出现，这个人就是一个新用户星期一：新增 10W星期二：新增 20W星期三：新增 30W星期四：新增 10W星期五：新增 100W星期六：新增 20W星期日：新增 50W1.2 指标意义新增用户算出来的意义是什么 ？（这个指标有什么作用，为什么需要算这个指标）对于很多的app，在前期主要需要融资，怎么忽悠别人的钱，新增用户的数量就是最重要的一个参考指标之一，有些app为了圈投资人的钱，做数据，地推，扫码送礼品，地

1. 实时统计1.1 实时在线指标解释在线新增用户当前时间首次启动应用的用户数，每30秒更新一次，以设备为判断标准在线活跃用户当前时间使用应用页面的在线用户数，每30秒更新一次，以设备为判断标准昨日峰值显示昨日最高的30s同时在线新增/活跃用户数，以设备为判断标准，每天更新一次昨日峰值同比计算当前同时在线新增/活跃用户数，同昨日峰值的比例 （今日当前30s值-昨日峰值）/昨日峰值 * 100% （保留2位小数），每30秒更新一次在线用户柱状图展示5分