来自于华为云开发者大会,使用Python爬虫抓取图片和文字实验,应用Scrapy框架进行数据抓取,保存应用了mysql数据库,实验采用的是线上服务器,而这里照抄全是本地进行,如有不同,那肯定是本渣渣瞎改了!
step1.配置环境
1.新建文件夹 huawei
2.命令行配置python虚拟环境
python -m venv ven
3.安装Scrapy框架
win7 64位系统下安装Scrapy框架 “pip install scrapy”,需要先安装相关环境,不然会报错,比如Twisted-,请自行对照python版本安装,本渣渣用的python3.8的所以下载的是Twisted-20.3.0-cp38-cp38-win_amd64.whl,没错,本渣渣是本地安装的方法安装的!
详细安装 win 安装Scrapy框架方法,推荐善用搜索引擎!
step2.创建Scrapy项目
同样的命令行操作
1.需要进入到指定目录ÿ