Datawhale组队学习——推荐系统Task01 熟悉新闻推荐系统基本流程

以下学习笔记来自Datawhale12月组队学习推荐系统课程Task1——【Task01 熟悉新闻推荐系统基本流程】，参照了群里 天国之影-JustForFun 大佬的笔记及视频进行了项目环境的搭载，少踩了很多坑，最终跑通了代码。

项目链接：https://github.com/datawhalechina/fun-rec

大佬的笔记：https://share.weiyun.com/u3ZIjZfg

使用软件

操作系统：Windows10
MySQL：8.0.27
Redis：5.0.9
Mongodb：4.4.10
Anaconda3
Node.js：16.13.1
前端IDE：WebStorm 2021.1
后端IDE：PyCharm Professional 2021.1
访问MySQL和Mongodb的数据库工具：DataGrip 2021.1

项目下载与IDE导入

项目链接：https://github.com/datawhalechina/fun-rec

前端导入：

后端项目导入：

数据库连接：

前端项目运行

下载node.js，里面带有npm
将package,json里的IP地址改为127.0.0.1
打开src下的main.js,修改第22行的IP和端口，具体如下：

按照readme跑通前端代码

之后浏览器会自动访问地址：http://127.0.0.1:8686/#/

后端项目运行

安装anaconda并创建虚拟环境

(base) C:\Users\19635>conda create -n news_rec_py3 python=3.8

pycharm设置python解释器

安装依赖

pip install -r requirements.txt

打开文件server.py，修改第233行的IP和端口，修改内容如下：

修改项目路径配置文件proj_path.py，文件路径：conf/proj_path.py

打开数据库配置文件dao_config.py，文件路径：conf/dao_config.py，默认为以下配置，可根据需要自行修改：

# MySQL默认配置
mysql_username = "root"
mysql_passwd = "123456"
mysql_hostname = "localhost"
mysql_port = "3306"

# MongoDB配置
mongo_hostname = "127.0.0.1"
mongo_port = 27017

# Redis配置
redis_hostname = "127.0.0.1"
redis_port = 6379

启动雪花算法服务

snowflake_start_server --address=127.0.0.1 --port=8910 --dc=1 --worker=1

启动server.py程序（注：在此之前，必须启动数据库并创建数据库），执行如下命令：

python server.py

项目整体运行和调试

注册用户：
在注册用户界面注册用户即可，注册完之后会发现mysql中多了user

爬取新浪新闻
通过查看crawl_news.sh文件（文件路径：scheduler/crawl_news.sh），可知爬取新浪新闻的代码在如下目录
/materials/news_scrapy/sinanews/run.py
使用PyCharm的Run按钮，手动执行该代码，需要配置参数：

更新物料画像
通过查看offline_material_and_user_process.sh文件（文件路径：scheduler/offline_material_and_user_process.sh），可知更新物料画像的代码在如下目录：
materials/process_material.py

更新用户画像
通过查看offline_material_and_user_process.sh文件（文件路径：scheduler/offline_material_and_user_process.sh），可知更新物料画像的代码在如下目录：
materials/process_material.py

清除前一天redis中的数据，更新最新今天最新的数据

通过查看offline_material_and_user_process.sh文件（文件路径：scheduler/offline_material_and_user_process.sh），可知清除前一天redis中的数据，更新最新今天最新的数据的代码在如下目录：
materials/update_redis.py
使用PyCharm的Run按钮，手动执行该代码

离线将推荐列表和热门列表存入redis
通过查看run_offline.sh文件（文件路径：scheduler/run_offline.sh），可知离线将推荐列表和热门列表存入redis的代码在如下目录：
recprocess/offline.py
使用PyCharm的Run按钮，手动执行该代码

重新登录用户查看新闻