爬虫实践---Scrapy-爬取慕课网热门课程

最新推荐文章于 2022-10-22 23:18:42 发布

锅巴QAQ

最新推荐文章于 2022-10-22 23:18:42 发布

阅读量3.4k

点赞数

CC 4.0 BY-SA版权

分类专栏： Python爬虫文章标签：慕课 Scrapy 自动下一页

本文链接：https://blog.youkuaiyun.com/Pit3369/article/details/77112913

访问的网站是：http://www.imooc.com/course/list?sort=pop

首先我们创建一个Scrapy项目

$ scrapy startproject mooc_subjects
New Scrapy project 'mooc_subjects', using template directory '/home/pit-yk/anaconda3/lib/python3.6/site-packages/scrapy/templates/project', created in:
    /media/pit-yk/办公/python/codes/知乎专栏---Ehco/Scrapy/mooc_subjects

You can start your first spider with:
    cd mooc_subjects
    scrapy genspider example example.com

$ tree
.
├── mooc_subjects
│   ├── __init__.py
│   ├── items.py
│   ├── middlewares.py
│   ├── pipelines.py
│   ├── __pycache__
│   │   ├── __init__.cpython-36.pyc
│&n