无止境

携程： url='https://hotels.ctrip.com/Domestic/Tool/AjaxHotelList.aspx' 1，经过多次postman,传入参数：page 为翻页的页数 for page in range(1,2): data={ "StartTime":"2019-09-12", "DepTime":"2019-09-...

基本操作：   import pymysql #导入模块 conn =pymysql.connect( host ='127.0.0.1', port =3307, user ='root', passwd='xhdake', db ='CSRF', charset ='utf8', ) #建立游标 cursor =conn.cursor...

1,json json.dumps() ---将字典转成JSON格式 import json zhidian_json=[{ 'name':'jing1', 'age':'21', }, { 'name':'jing2', 'age':'22', }] #json.dumps()--数据转成字符串 json_str =json.dumps(zhidian_j...

mysql:https://dev.mysql.com/downloads/windows/installer/5.7.html 需求： #爬取数据 #检查数据库是否存在 #不:保存数据库 #是:不保存 #每个月执行一次 #_*_ coding=utf-8 _*_ from html.parser import HTMLParser import requests import re i...

日常操作 1、创建：scrapy startproject pac（项目名称） 2、创建一个爬虫： scrapy genspider qsbk "qiushibaike.com"（名字）(要爬取地址) 3、设置：settings> > ROBOTSTXT_OBEY = False DOWNLOAD_DELAY = 3 DEFAULT_...

import requests import re #开始要访问的,获取全部内容 def parse_page(url):     headers={"user-agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 C...