视频信息爬虫项目常见问题解决方案-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00909/article/details/144900895

视频信息爬虫项目常见问题解决方案

videoSpider 抓取豆瓣，bilibili等中的电视剧、电影、动漫演员等信息项目地址: https://gitcode.com/gh_mirrors/vi/videoSpider

基础介绍

本项目是一个视频信息爬虫，主要从豆瓣、哔哩哔哩等网站收集电视剧、电影、动漫以及演员的相关信息。项目使用Python作为主要的编程语言，并依赖于多个第三方库，如requests、BeautifulSoup、gevent、SQLAlchemy、Alembic和celery等，以实现分布式爬取和数据处理。

新手常见问题及解决步骤

问题1：安装依赖库时遇到问题

**问题描述：**新手在安装项目所需的依赖库时可能会遇到找不到库或者安装失败的问题。

解决步骤：

确保已经安装了Python环境。本项目推荐使用Python 3。

使用pip工具安装依赖库。首先，安装lxml库前需要安装相关的C库：

sudo apt-get install libxml2-dev libxslt-dev python-dev
sudo apt-get build-dep python3-lxml

在虚拟环境中激活Python 3，并安装项目依赖：

virtualenv tv -p python3
tv/bin/activate
git clone https://github.com/billvsme/videoSpider.git
cd videoSpider
pip install -r requirements.txt

问题2：配置文件设置不当

**问题描述：**新手可能不熟悉配置文件的结构，导致项目运行时出现错误。

解决步骤：

根据项目说明，配置文件位于config目录下。首先，将开发配置文件复制到主配置文件：
```
cp config/config_dev.ini config/config.ini
```
使用文本编辑器（如vim）打开配置文件进行编辑：
```
vim config/config.ini
```
根据实际情况修改配置，如数据库连接、图片存储路径、七牛配置和Celery配置等。