使用requests 和 post ，实例，百度贴吧和百度翻译

使用requests 和 post

import requests

– url=‘https://tieba.baidu.com/f?kw=python&ie=utf-8&pn=0’
–https://tieba.baidu.com/f?kw=python&ie=utf-8&pn=50
class Tiebaspider(object): 创建类项目
def init(self,tieba_name):
self.tieba_name=tieba_name 定义项目名字
self.url=“https://tieba.baidu.com/f?kw=”+tieba_name+"&ie=utf-8&pn={}"

def get_url_list(self):  **获取url地址串 的列表**
    '''构造URL列表'''
    # url_list=[]
    # for i in range(10):
    #     url_list.append(self.url.format(i*50)) #基础的URL地址
    # print(url_list)
    return [self.url.format(i*50) for i in range(10)]

def parse_url(self,url):
    '''发送请求，获取响应'''
    response=requests.get(url)
    return response.text

def save_html(self,page_num,tb_html):
    '''保存内容'''
    file_path="{}-第{}也.html".format(self.tieba_name,page_num)
    with open(file_path,'w',encoding='utf8') as f :
        f.write(tb_html)

def run(self):
    '''实现主要的业务逻辑'''
    '''构造URL列表'''
    tieba_url_list=self.get_url_list()
    for tburl in tieba_url_list:
        print(tburl)
        tb_html=self.parse_url(tburl)
        page_num=tieba_url_list.index(tburl)+1
        self.save_html(page_num,tb_html)

if name == ‘main’:
tb_spider=Tiebaspider(‘小姐姐’)
tb_spider.run()

post 模式

import requests–导入模块
url=‘https://fanyi.baidu.com/?aldtype=16047#zh/en/123’
r=requests.get(url)
print(r.text)
#浏览器里的XHR文件里的post请求，找到from data，以改成字典模式
使用方法 ctrl +r
-----（.？）:（.)
-----‘$1’:’$2’
把data里面的数据使用引号和逗号隔开
data={
‘from’:’ zh’,
‘to’:’ en’,
‘query’:’ 123’,
‘simple_means_flag’:’ 3’,
‘sign’:’ 394511.190014’,
‘token’:’ c919f5e6f9e96d067788ff15be269465’,
‘domain’:’ common’,
}
在管理器中把需要post的地址粘贴
post_url=‘https://fanyi.baidu.com/v2transapi?from=zh&to=en’
#user agent 里面粘贴请求头
header={
‘User-Agent’:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:88.0) Gecko/20100101 Firefox/88.0’
}
请求发送信息使用方法
r=requests.post(post_url,data=data,headers=header)
print(r.text)