七七四十九的博客

项目以推荐系统建设领域知名的经过修改过的中文亚马逊电商数据集作为依托，以某电商网站真实业务数据架构为基础，构建了符合教学体系的一体化的电商推荐系统，包含了离线推荐与实时推荐体系，综合利用了协同过滤算法以及基于内容的推荐方法来提供混合推荐。项目采用Spark Streaming作为实时推荐系统，通过接收Kafka中缓存的数据，通过设计的推荐算法实现对实时推荐的数据处理，并将结构合并更新到MongoDB数据库。项目采用Redis作为缓存数据库，主要用来支撑实时推荐系统部分对于数据的高速获取需求。

共享单车是当前一种流行的出行方式，它在方便人们出行的同时也促进了共享经济的发展。针对不同地区和不同时段对共享单车的需求，以kaggle公开的国内共享自行车使用情况数据集为例，用python作为数据分析和模型构建的工具，对数据集进行预处理，数据分析、特征筛选、数据集划分、回归模型建立。数据预处理包括对原始数据集进行从数据缺失值分析与填补，特征类型转化，one-hot编码，归一化处理等，再引入线性回归、弹性学习、梯度提升、决策树和随机森林等多种机器学习算法进行模型构造和预测。