w6a19af1c- -11ef-83d7-7b3723a85fa1的部落格

近期因c#项目需要sqlserver大量数据 准备python爬点数据 import requests from bs4 import BeautifulSoup # pip install beautifulsoup4 url = 'https://movie.douban.com/top250?start=0&filter=' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) Ap...

import requests from bs4 import BeautifulSoup response=requests.get('http://www.autohome.com.cn/news/') # print(response.text) # with open('autohome_news','wb') as f: # f.write(response.content)

此处有一个注意事项   在第一次请求的时候 已经返回cookie import requests from bs4 import BeautifulSoup #模拟首次打开 r0 = requests.get( url='http://dig.chouti.com/' ) r0_cookie_dict = r0.cookies.get_dict() #登陆请求 r1

此处登录的第一次的cookies并不生效 测试带了2次的cookies登录成功了 import requests from bs4 import BeautifulSoup #获取token和cookie r1 = requests.get(url='https://github.com/login') s1 = BeautifulSoup(r1.text, 'html.pa...

示例代码如下 使用requests模块请求  使用beautifulsoup模块解析 获取每个文章的链接 然后访问 import requests from bs4 import BeautifulSoup def jianshu(url): ''' :param url:需要请求的url列表 :return: 所有的单篇文章标题 ''' r