<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[bcdk1188的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/bcdk1188</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; bcdk1188]]></copyright><item><title><![CDATA[基于Spark Streaming的实时日志分析系统实践 Spark Streaming 在数据平台日志解析功能的应用]]></title><link>https://blog.youkuaiyun.com/bcdk1188/article/details/111475413</link><guid>https://blog.youkuaiyun.com/bcdk1188/article/details/111475413</guid><author>bcdk1188</author><pubDate>Mon, 21 Dec 2020 15:08:05 +0800</pubDate><description><![CDATA[前言

目前业界基于 Hadoop 技术栈的底层计算平台越发稳定成熟，计算能力不再成为主要瓶颈。 多样化的数据、复杂的业务分析需求、系统稳定性、数据可靠性， 这些软性要求， 逐渐成为日志分析系统面对的主要问题。2018 年线上线下融合已成大势，苏宁易购提出并践行双线融合模式，提出了智慧零售的大战略，其本质是数据驱动，为消费者提供更好的服务， 苏宁日志分析系统作为数据分析的第一环节，为数据运营打下了坚实基础。

数据分析流程与架构介绍业务背景

苏宁线上、线下运营人员，对数据分析需求多样化、时效性要求越来越高]]></description><category></category></item><item><title><![CDATA[基于Spark的电商用户行为实时分析可视化系统（Flask-SocketIO）]]></title><link>https://blog.youkuaiyun.com/bcdk1188/article/details/111475359</link><guid>https://blog.youkuaiyun.com/bcdk1188/article/details/111475359</guid><author>bcdk1188</author><pubDate>Mon, 21 Dec 2020 15:05:58 +0800</pubDate><description><![CDATA[基于Spark的电商用户行为实时分析可视化系统（Flask-SocketIO）

项目简介
	
	一、业务需求分析
		二、系统流程及架构
		三、系统技术版本以及相关部署配置
		四、系统具体实施
		五、系统运行
	


项目简介

由于做毕设之前学过大数据，但是一直没有做过一整套的实时数据分析系统，有点遗憾。所以毕业设计就自主选了这一套系统，算是对之前知识进行一次整合运行，也挑战一下自己。
该系统主要对用户行为日志（此项目使用的数据源是数据集，可以根据自己需求，在数据采集时监控网站用户数据存放目录或.]]></description><category></category></item><item><title><![CDATA[Spark电商用户行为分析1]]></title><link>https://blog.youkuaiyun.com/bcdk1188/article/details/111475330</link><guid>https://blog.youkuaiyun.com/bcdk1188/article/details/111475330</guid><author>bcdk1188</author><pubDate>Mon, 21 Dec 2020 15:04:58 +0800</pubDate><description><![CDATA[项目介绍

1. 技术框架
spark core spark sql 以及spark streaming 进行离线和实时计算业务模块2. 功能模块 4个
用户session分析

用户session统计分析
	session聚合指标计算
	按比例随机抽取session
	获取每天点击
	下单和购买排名前10的品类
	top10品类的点击量
	排名前10的session
页面单跳转化率统计：

计算关键页面之间的单步跳转转化率
	页面流匹配算法
热门商品离线统计:

每天统计出各个区域的top3热门商品
	使]]></description><category></category></item><item><title><![CDATA[常见用户行为分析模型解析（4）——用户行为路径分析模型]]></title><link>https://blog.youkuaiyun.com/bcdk1188/article/details/111475277</link><guid>https://blog.youkuaiyun.com/bcdk1188/article/details/111475277</guid><author>bcdk1188</author><pubDate>Mon, 21 Dec 2020 15:03:09 +0800</pubDate><description><![CDATA[用户行为路径分析同样是重要的数据分析模型，它为企业实现理想的数据驱动与布局调整提供科学指导，对精准勾勒用户画像也有重要参考价值。用户访问APP／网络，如同参观画展，观众是感受和传达画展参展方和展品的目的受众体，图画的展现布局不同，每一位观众根据自身喜好形成特有的参观顺序。为让观众沿着最优访问路径前进，需要策展者结合观众需求进行布局调整。这种自主式的数据分析方法，让业务人员都能科学进行数据分析。




什么是用户行为路径？

用户路径分析，顾名思义，用户在APP或网站中的访问行为路径。为了衡量网站优化的..]]></description><category></category></item><item><title><![CDATA[快速学习-电影推荐系统设计(实时推荐模块)]]></title><link>https://blog.youkuaiyun.com/bcdk1188/article/details/111475227</link><guid>https://blog.youkuaiyun.com/bcdk1188/article/details/111475227</guid><author>bcdk1188</author><pubDate>Mon, 21 Dec 2020 15:01:39 +0800</pubDate><description><![CDATA[实时推荐模块



基于模型的实时推荐模块



推荐优先级计算



基于内容的推荐



混合推荐-分区混合


]]></description><category></category></item><item><title><![CDATA[电影推荐系统-整体总结（五）实时推荐]]></title><link>https://blog.youkuaiyun.com/bcdk1188/article/details/111475072</link><guid>https://blog.youkuaiyun.com/bcdk1188/article/details/111475072</guid><author>bcdk1188</author><pubDate>Mon, 21 Dec 2020 15:00:26 +0800</pubDate><description><![CDATA[电影推荐系统-整体总结（五）实时推荐

一、Scala代码实现

1.自定义数据类--Model.scala




package streamingRecommender

/**
  * @Author : ASUS and xinrong
  * @Version : 2020/9/4
  *  数据格式转换类
  *  ---------------电影表------------------------
  *  1
  *  Toy Story (1995)
  *
  *  81 minute]]></description><category></category></item><item><title><![CDATA[Spark应用场景以及与hadoop的比较]]></title><link>https://blog.youkuaiyun.com/bcdk1188/article/details/111474471</link><guid>https://blog.youkuaiyun.com/bcdk1188/article/details/111474471</guid><author>bcdk1188</author><pubDate>Mon, 21 Dec 2020 14:35:02 +0800</pubDate><description><![CDATA[Spark应用场景以及与hadoop的比较

　　一、大数据的四大特征：

　　a.海量的数据规模（volume）

　　b.快速的数据流转和动态的数据体系（velocity）

　　c.多样的数据类型（variety）

　　d.巨大的数据价值（value）

　　

　　二.Spark和 Hadoop的不同

　　Spark是给予map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的有点，但不同与MaoReduce的是Job中间输出和结果可以保存在内存中，从而不用在读..]]></description><category></category></item><item><title><![CDATA[Spark及其应用场景初探]]></title><link>https://blog.youkuaiyun.com/bcdk1188/article/details/111474448</link><guid>https://blog.youkuaiyun.com/bcdk1188/article/details/111474448</guid><author>bcdk1188</author><pubDate>Mon, 21 Dec 2020 14:34:28 +0800</pubDate><description><![CDATA[Spark及其应用场景初探

最近老大让用Spark做一个ETL项目，搭建了一套只有三个结点Standalone模式的Spark集群做测试，基础数据量大概8000W左右。看了官方文档，Spark确实在Map-Reduce上提升了很多，可是官方明确提出了在Interactive Data方面性能提升最大。但是做ETL的数据之间是平行结构，没有任何交互，数据处理完直接就推送走了，也不用做任何缓存，因此完全体现不出来Spark的优势。具体可以用下面这个例子来说，


假设Hadoop集群中有一个文件，每行有一..]]></description><category></category></item><item><title><![CDATA[Spark的应用场景有哪些？]]></title><link>https://blog.youkuaiyun.com/bcdk1188/article/details/111474432</link><guid>https://blog.youkuaiyun.com/bcdk1188/article/details/111474432</guid><author>bcdk1188</author><pubDate>Mon, 21 Dec 2020 14:33:54 +0800</pubDate><description><![CDATA[Spark 是一种与 Hadoop 相似的开源集群计算环境，是专为大规模数据处理而设计的快速通用的计算引擎，现已形成一个高速发展应用广泛的生态系统，主要应用场景如下：

　　1. Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小;

　　2. 由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如web服务的存储或者是增量的web爬虫和索引。就是对于那种增量修改的]]></description><category></category></item><item><title><![CDATA[终于有人把分布式事务说清楚了！Java]]></title><link>https://blog.youkuaiyun.com/bcdk1188/article/details/109190711</link><guid>https://blog.youkuaiyun.com/bcdk1188/article/details/109190711</guid><author>bcdk1188</author><pubDate>Tue, 20 Oct 2020 22:04:33 +0800</pubDate><description><![CDATA[前言

这篇文章将给大家介绍一下对分布式事务的一些见解，并讲解分布式事务处理框架 TX-LCN 的执行原理，错误之处望各位不吝指正。



1. 什么情况下需要使用分布式事务？

使用的场景很多，先举一个常见的：在微服务系统中，如果一个业务需要使用到不同的微服务，并且不同的微服务对应不同的数据库。

打个比方：电商平台有一个客户下订单的业务逻辑，这个业务逻辑涉及到两个微服务，一个是库存服务（库存减一），另一个是订单服务（订单数加一），示意图如下：



如果在执行这个业务逻辑时没有使用分布式事务，当库存与订]]></description><category></category></item></channel></rss>