w6a19af1c- -11ef-83d7-7b3723a85fa1的部落格

近期因c#项目需要sqlserver大量数据 准备python爬点数据import requestsfrom bs4 import BeautifulSoup # pip install beautifulsoup4url = 'https://movie.douban.com/top250?start=0&filter='headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) Ap...

import requestsfrom bs4 import BeautifulSoupresponse=requests.get('http://www.autohome.com.cn/news/')# print(response.text)# with open('autohome_news','wb') as f:# f.write(response.content)

此处有一个注意事项   在第一次请求的时候 已经返回cookieimport requestsfrom bs4 import BeautifulSoup#模拟首次打开r0 = requests.get( url='http://dig.chouti.com/')r0_cookie_dict = r0.cookies.get_dict()#登陆请求 r1

此处登录的第一次的cookies并不生效测试带了2次的cookies登录成功了import requestsfrom bs4 import BeautifulSoup#获取token和cookier1 = requests.get(url='https://github.com/login')s1 = BeautifulSoup(r1.text, 'html.pa...

示例代码如下使用requests模块请求  使用beautifulsoup模块解析 获取每个文章的链接 然后访问import requestsfrom bs4 import BeautifulSoupdef jianshu(url): ''' :param url:需要请求的url列表 :return: 所有的单篇文章标题 ''' r