BUPT-WT的博客

主要爬取的数据如图片中的红框所示:爬取效果如下所示:具体爬虫代码私我～

爬虫基本流程： 1、通过HTTP向目标发送请求，即发送request，请求可以包含header等信息，等待服务器相应 2、如果服务器相应，会返回一个response,response的内容便是要获取的内容 3、对得到的内容进行解析 如：内容为html格式，则用正则表达式、网页解析库解析。若json格式，则直接转为json对象解析 4、结构化保存数据 Request主要包含下面几个部分：

1、request基本查询 2、基本get请求 3、带参数get请求 4、参数params 5、json 6、获取二进制，图片视频保存 7、添加headers 8、post请求 9、状态码判断 10、文件上传 11、获取cookies 12、模拟会话登陆

1、打开抖音APP     2、点开一个用户   3、点击她的头像(带有＋号的地方)，查看它的主页 4、点击右上角，如下图所示： 5、点击转发，右上角，如下图所示： 6、获取短连接，如下图所示： 7、把复制的短连接放到写好的代码里面，就可以爬取这个小姐姐所有的短视频啦，如下图所示： 8、等待一会，小姐姐所有的视频都会被下载下来，保存到demo...

importos importshutil importrequests importjson fromlxmlimporthtml importtime importre importurllib.request headers={ #'Cookies':'SUB=_2A25xgwvUDeRh...

# -*- coding: utf-8 -*- import urllib.request as urllib2 import json import os from lxml import etree def get_tz_id(tb_name, page_num): tz_id = [] for page in range(1, page_num + 1): ...

# encoding = 'utf-8' import requests from bs4 import BeautifulSoup import time import pandas as pd # 民政部 def acquire_minzhengbu(to_page): headers = { "User-Agent": "Mozilla/5.0 (Macint...