爬取百度(有道)翻译

难点是分析动态网页(抓包),找出url。

#coding=utf-8
 
import requests
import json
 
class BaiDuTranslatePhone:
    def __init__(self):
        self.query=input("请输入要翻译的内容:")
        self.url = "https://fanyi.baidu.com/basetrans"
        self.data={
            "query": self.query,
            "from": "zh",
            "to": "en"
            }
        self.headers={
            "Host": "fanyi.baidu.com",
            "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1",
            "Referer": "https://fanyi.baidu.com/?aldtype=16047"
            }
 
    def run(self):
        post_response = requests.post(url=self.url, data=self.data, headers=self.headers)
        self.strs = post_response.content.decode()
        #print(self.strs)
        #print("self.strs type:"+str(type(self.strs)))
 
    def get_result(self):
        result_dict = json.loads(self.strs)
        #print("result_dict type:"+str(type(result_dict)))
        result=result_dict['trans'][0]['dst'] if len(result_dict['trans']) > 0 else None
        print("翻译结果为:")
        print(result)
 
 
if __name__ == '__main__':
    while True:
        translate=BaiDuTranslatePhone()
        translate.run()
        translate.get_result()

百度翻译

import requests
import json


url = "https://fanyi.baidu.com/basetrans"

headers ={
    "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1",
}
 
data = {
    'from':'zh',
    'to':'en',
    'query':'我是大叔',
}

response = requests.post(url,data = data,headers = headers)

r = response.text

#print(r)

h = json.loads(r)#str转dic类型

#print(h)

result = h['trans'][0]['dst']

print(result)
     

有道翻译

import requests
import json

url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36(KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6776.400 QQBrowser/10.3.2577.400'
}

def translate():
    content = input('输入要翻译的内容:')
    data = {
        'i':content ,  
        'from':'AUTO',
        'to':'AUTO',
        'doctype':'json'
    }
    response = requests.post(url,data = data, headers = headers)
    r = response.text
    h = json.loads(r)
    print('翻译结果是:',h['translateResult'][0][0]['tgt'])

if __name__ == '__main__':
    while 1:
        translate()
        op = input('是否要继续翻译,Y/继续, N/停止:')
        if op == 'Y':
            continue
        else:
            break

 

### 使用 Selenium 实现有道翻译网页的数据爬取 通过 Selenium 可以模拟用户操作,访问有道翻译网页并将输入的文本传递给翻译接口以获取翻译结果。以下是具体方法: #### 1. 安装依赖库 为了运行 Selenium 脚本,需安装必要的 Python 库 `selenium` 和对应的 WebDriver 驱动程序(如 ChromeDriver)。可以使用以下命令安装所需的库: ```bash pip install selenium ``` #### 2. 初始化 WebDriver 初始化 WebDriver 并设置目标网址为有道翻译官网[^1]。 ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.chrome.service import Service as ChromeService from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # 设置 ChromeDriver 的路径 chrome_service = ChromeService(executable_path="path/to/chromedriver") # 启动浏览器实例 driver = webdriver.Chrome(service=chrome_service) # 打开有道翻译页面 url = "https://fanyi.youdao.com/" driver.get(url) ``` #### 3. 输入待翻译文本 定位到有道翻译页面上的输入框,并向其中发送待翻译的字符串。 ```python input_box = driver.find_element(By.ID, "inputOriginal") # 假设这是输入框的 ID input_text = "Hello world" input_box.send_keys(input_text) ``` #### 4. 获取翻译结果 等待翻译完成并提取结果显示区域中的内容。 ```python try: result_area = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.ID, "transTarget")) # 假设这是显示翻译结果的 ID ) translated_text = result_area.text.strip() print(f"Translated Text: {translated_text}") except Exception as e: print("Error occurred while fetching translation:", str(e)) finally: driver.quit() # 关闭浏览器窗口 ``` 上述脚本实现了基本功能,但需要注意实际开发过程中可能遇到动态加载或反爬机制等问题。 #### 5. 处理批量翻译任务 如果需要处理大量数据,则可以通过循环调用此函数来逐一翻译每条记录。例如: ```python texts_to_translate = ["hello", "world"] translations = [] for text in texts_to_translate: input_box.clear() input_box.send_keys(text) try: result_area = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.ID, "transTarget")) ) translations.append(result_area.text.strip()) except Exception as e: translations.append(None) # 如果失败则标记为空值 print(translations) ``` 以上代码片段展示了如何利用 Selenium 自动化交互过程从而抓取翻译后的文字[^2]。 --- ### 注意事项 - **性能优化**:频繁请求可能导致 IP 封禁或者被检测为机器人行为,建议加入随机延时减少风险。 - **合法性验证**:确保遵循目标站点的服务条款与隐私政策,在合法范围内开展活动。 问题
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值