
爬虫项目
JerryLinP
愿你一生温暖纯良 , 不舍爱与自由
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Day-3页面分析(Xpath)
一、爬取分析 爬虫是非常考验随机性的,运气性,以及思维跳跃的 在此次项目中,首先我们找到京东图书的页面,进入到里边 京东所有图书的API接口是: http:/book.jd.com/booksort.html (建议自己去京东网站自己找一下) 对于每一本书来说,它都会有大分类,小分类 思考: 1.分类的爬取 2.翻页 ---> nextwork(谷歌检查) 3.循环遍...原创 2020-04-16 22:06:15 · 338 阅读 · 0 评论 -
Xpath的语法
Xpath是一门从html中提取数据的语言: Xpath的语法:1.'/'是选择节点(标签):' /html/head/meta':表示的是能够选中html 下的head下的所有的meta 标签 2.‘//’:能够从任意节点开始选择‘//li’: 表示的是当前页面上的所有li 标签'/html/head//link' :表示的是head 下...原创 2020-02-19 16:05:58 · 6208 阅读 · 0 评论 -
django2.2/mysql ImproperlyConfigured: mysqlclient 1.3.13 or newer is required; you have 0.9.3
django2.2/mysql ImproperlyConfigured: mysqlclient 1.3.13 or newer is required; you have 0.9.3 这个是我昨天的在做项目的时候,遇见的一个问题 当时很讨厌,原因是由于版本的兼容性,在这里总结一下,以免更多的人跟我一样踩空 首先我的django版本为3.0.5,python3.7.5 ,pymysql 0...原创 2020-04-15 11:31:18 · 309 阅读 · 0 评论 -
Day-2实现django框架的前端界面
我们昨天已经将本次项目的基础环境搭建完成,今天我们需要将我们的django框架的前端界面部分完成 任务: 书城的界面 一.创建django项目 首先在cmd格式下输入 django-admin startproject web_book(文件名自己定义) 创建项目的django文件 然后 cd web_book 输入python manage.py runserver进行测试,这...原创 2020-04-15 11:19:25 · 3318 阅读 · 0 评论 -
Day-1(爬虫的基础,环境配置)
这是我做的第一个带有前端的爬虫项目,自己的构想是 爬虫使用scrapy框架, 前端使用django框架, 开发工具使用pycharm, 开发环境使用python3.7, 一如何配置Python环境 1.打开Python官网 https://www.python.org/ 按照图示先移动到Downloads处并点击Windows Python官网 2.点击最近的版本跳转到新页...原创 2020-04-14 23:32:56 · 359 阅读 · 2 评论