
爬虫项目
JerryLinP
愿你一生温暖纯良 , 不舍爱与自由
展开
-
Day-3页面分析(Xpath)
一、爬取分析爬虫是非常考验随机性的,运气性,以及思维跳跃的在此次项目中,首先我们找到京东图书的页面,进入到里边京东所有图书的API接口是:http:/book.jd.com/booksort.html(建议自己去京东网站自己找一下)对于每一本书来说,它都会有大分类,小分类思考:1.分类的爬取2.翻页 ---> nextwork(谷歌检查)3.循环遍...原创 2020-04-16 22:06:15 · 316 阅读 · 0 评论 -
Xpath的语法
Xpath是一门从html中提取数据的语言:Xpath的语法:1.'/'是选择节点(标签):' /html/head/meta':表示的是能够选中html 下的head下的所有的meta 标签2.‘//’:能够从任意节点开始选择‘//li’: 表示的是当前页面上的所有li 标签'/html/head//link' :表示的是head 下...原创 2020-02-19 16:05:58 · 6179 阅读 · 0 评论 -
django2.2/mysql ImproperlyConfigured: mysqlclient 1.3.13 or newer is required; you have 0.9.3
django2.2/mysql ImproperlyConfigured: mysqlclient 1.3.13 or newer is required; you have 0.9.3这个是我昨天的在做项目的时候,遇见的一个问题当时很讨厌,原因是由于版本的兼容性,在这里总结一下,以免更多的人跟我一样踩空首先我的django版本为3.0.5,python3.7.5 ,pymysql 0...原创 2020-04-15 11:31:18 · 298 阅读 · 0 评论 -
Day-2实现django框架的前端界面
我们昨天已经将本次项目的基础环境搭建完成,今天我们需要将我们的django框架的前端界面部分完成任务:书城的界面一.创建django项目首先在cmd格式下输入django-admin startproject web_book(文件名自己定义)创建项目的django文件然后cd web_book输入python manage.py runserver进行测试,这...原创 2020-04-15 11:19:25 · 3278 阅读 · 0 评论 -
Day-1(爬虫的基础,环境配置)
这是我做的第一个带有前端的爬虫项目,自己的构想是爬虫使用scrapy框架,前端使用django框架,开发工具使用pycharm,开发环境使用python3.7,一如何配置Python环境1.打开Python官网https://www.python.org/按照图示先移动到Downloads处并点击WindowsPython官网2.点击最近的版本跳转到新页...原创 2020-04-14 23:32:56 · 338 阅读 · 2 评论