YG的博客

特征工程部分的代码。对电影数据进行特征处理。代码内容包含：对类别标签进行one-hot编码，以及multi-hot编码,以及数值特征的处理package com.wzhe.sparrowrecsys.offline.spark.featureengimport org.apache.log4j.{Level, Logger}import org.apache.spark.{SparkConf, sql}import org.apache.spark.ml.{Pipeline, Pipeli

import org.apache.log4j.{Level, Logger}import org.apache.spark.SparkConfimport org.apache.spark.sql.expressions.{UserDefinedFunction, Window}import org.apache.spark.sql.functions.{format_number, _}import org.apache.spark.sql.types.{DecimalType, FloatTy

//这里的flatMap是先对集合中每个元素进行操作然后再扁平化，而不是直接扁平化。//匿名函数逻辑：输入sample，输出成对序列pairSeq。先初始化输出pairSeq,以及初始化pair的前一个元素//if(previousItem != null)其实就代表着从第二个元素开始循环//:+表示在序列的屁股后面进行拼接//逻辑很好理解，关键是得习惯foreach, =>, :+这些自己不熟悉的操作 def generateTransitionMatrix(samples : RDD[

Sparrow Recsys的安装与运行IDEA的安装下载地址：直接百度即可安装教程：百度一大堆https://blog.youkuaiyun.com/m0_37220730/article/details/107589690

这部分主要是学习这一类任务的数据分析方法，其次就是pandas的使用，感觉pandas要是用不好，数据根本就分析不起来。这一节就直接把学习的代码放上来吧！以后有了新的经验了再来总结。数据分析# 导入相关包%matplotlib inlineimport pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as snsplt.rc('font', family='SimHei', size=1

个人吐槽：到时候暑假可能不能去实习了，得给自己找找后路，希望自己明年能在比赛上得到一个好成绩吧。这次报了datawhale的组队学习，希望可以督促自己。赛题理解目的：根据用户历史浏览点击新闻文章的数据信息预测用户未来的点击行为， 即用户的最后一次点击的新闻文章，或者说为根据用户历史浏览点击新闻文章的数据信息为其进行推荐。类型：APP中的新闻推荐数据：该数据来自某新闻APP平台的用户交互数据，包括30万用户，近300万次点击，共36万多篇不同的新闻文章，同时每篇新闻文章有对应的embedding向量表

(参考自datawhale十月组队学习教程、深度学习推荐系统，推荐系统实践等)推荐系统概述什么是推荐系统？用户层面：推荐系统是一种帮助用户快速发现有用的或者感兴趣的信息的工具。公司层面：推荐系统是一种增加公司产品与用户接触,购买等行为概率的工具。（白话版：把公司想要投放的信息（比如广告和商品）投放给最可能感兴趣的用户，增加用户的点击率或者购买率等等）什么时候使用推荐系统？用户层面：推荐系统通常用于信息过载或者用户没有明确目标的情形。公司层面：同样应该在公司有过载的信息以及足够大的用户