DW推荐系统 | Task01 熟悉新闻推荐系统基本流程_大学新闻课程 dw使用-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_33128705/article/details/121937800

本文详细介绍了新闻推荐系统的安装流程，包括前端使用Node.js、Vue和axios，后端Python环境配置，数据库MySQL、MongoDB及Redis的连接，以及关键步骤如爬取新浪新闻、更新物料画像等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Task01 熟悉新闻推荐系统基本流程

这两天因为事情较多，只听了直播课程了解了一下基本流程+跑通程序。

1.流程图

在这里插入图片描述

仅了解了大概，说实话有些流程还不太了解。（填坑，之后再补…

2.安装流程

这一块非常感谢峰哥！基本完全按照他的流程来的，没踩什么坑！撒花！开心！

2.1 使用软件版本

操作系统：Windows10

MySQL：8.0.23

Redis：5.0.14

Mongodb：5.0.5

Anaconda Python 4.8.3

Node.js：12.19.0

前端IDE：VSCode 1.63.0

2.2 前后端项目运行

2.2.1 前端

因为自身电脑之前安装了conda和vscode所以就直接使用了，需要改变是：

vscode切换到conda的python环境
安装node.js
访问页面

VSCode切换conda python环境

先导入项目工程 VUE-NEWSINFO ，然后打开File-》preferences -》setting

在这里插入图片描述

搜索python.pythonPath，再红框中输入anaconda中对应环境的python命令的路径，如
“D:\Anaconda\envs\mlbook\bin\python”
在这里插入图片描述

这样我们的工程就在自己对应的虚拟环境中

打开终端安装node.js

npm install -g cnpm --registry=https://registry.npm.taobao.org

cnpm install
在这里插入图片描述

安装成功！

访问页面

因为是本地服务器，需要修改ip地址为127.0.0.1，打开文件package.json，修改第49行的IP和端口，修改内容如下：

"scripts":{
	"test": "echo \"Error: no test specified\" && exit 1",
	"dev": "webpack-dev-server --open --port 8686 --contentBase src --hot --host 127.0.0.1",
	"start": "nodemon src/main.js"
}

打开文件main.js，文件路径：src/main.js，修改第23行的IP和端口，修改内容如下：

// Vue.prototype.$http = axios
Vue.use(VueAxios, axios); 
// axios**公共基路径，以后所有的请求都会在前面加上这个路径 
// axios.defaults.baseURL = "http://10.170.4.60:3000";  
// axios.defaults.baseURL = "http://47.108.56.188:3000"; 
axios.defaults.baseURL = "http://127.0.0.1:5000"

在终端运行 npm run dev
在这里插入图片描述

2.2.2 后端

采用pycharm，导入项目news_rec_server，配置相应的环境，再终端安装相应的依赖包。
打开server.py，修改修改第233行的IP和端口，修改为host=‘127.0.0.1’, port=5000
修改项目路径配置文件proj_path.py，文件路径：conf/proj_path.py

# home_path = os.environ['HOME']
# proj_path = home_path + "/fun-rec/codes/news_recsys/news_rec_server/"
proj_path = os.path.join(sys.path[1], '')

核对数据库配置文件dao_config.py
启动雪花算法服务，用于生成用户ID，启动命令如下：

snowflake_start_server --address=127.0.0.1 --port=8910 --dc=1 --worker=1
启动server.py程序

2.3 数据库安装配置

需要安装datagrip，比较方便连接不同的数据库，并且进行可视化界面显示

2.3.1 MySQL

电脑自带mysql，但是之前在Mysql Workbench中连接过本地的3306端口号，需要把这个连接先删除，或者在datagrip里面连接时修改端口号，但是为了方便起见，我就把之前的删除了。

这里遇见一个坑，我忘记我之前mysql root用户的密码了，为了重新配置密码搞了好久。

按照这篇博客https://www.cnblogs.com/jerrys/p/10626408.html，就可以重置。

其中找到MySQL的bin目录，可以在电脑-服务-mysql服务双击中找到目录。

接着就可以连接了，然后创建数据库loginfo和userinfo

在这里插入图片描述

2.3.2 Mongodb和Redis

下载峰哥微云中的这两个文件夹，直接解压缩。

Mongodb的配置可以按照这个博客来：https://blog.youkuaiyun.com/m0_46217225/article/details/119109334?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522163946311116780271525266%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=163946311116780271525266&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~rank_v31_ecpm-1-119109334.pc_search_mgc_flag&utm_term=%E6%9C%80%E6%96%B0mongdb%E5%AE%89%E8%A3%85%E9%85%8D%E7%BD%AE%2B%E6%B7%BB%E5%8A%A0%E5%88%B0%E6%9C%8D%E5%8A%A1&spm=1018.2226.3001.4187
然后在datagrip中直接连接即可
Redis也是直接下载文件夹Redis-x64-5.0.14解压缩，然后运行redis-server.exe

在这里插入图片描述

看到这个界面就可以了

接着下载RedisDesktopManager，直接运行，连接默认的本地连接即可

2.4 启动程序

接下来的步骤完全按照峰哥的执行步骤执行，不会出错~

2.4.1 爬取新浪新闻

通过查看crawl_news.sh文件（文件路径：scheduler/crawl_news.sh），可知爬取新浪新闻的代码在如下目录/materials/news_scrapy/sinanews/run.py使用PyCharm的Run按钮，手动执行该代码，需要配置参数：—pages=30

2.4.2 更新物料画像

通过查看offline_material_and_user_process.sh文件（文件路径：scheduler/offline_material_and_user_process.sh），可知更新物料画像的代码在如下目录：materials/process_material.py，运行

2.4.3 更新用户画像

通过查看offline_material_and_user_process.sh文件（文件路径：scheduler/offline_material_and_user_process.sh），可知更新用户画像的代码在如下目录：materials/process_user.py使用PyCharm的Run按钮，手动执行该代码