urllib爬取异步加载，动态加密网页

最新推荐文章于 2024-07-28 17:04:36 发布

�

最新推荐文章于 2024-07-28 17:04:36 发布

阅读量1k

点赞数 2

分类专栏： python 文章标签： urllib python 异步加载加密翻译

本文链接：https://blog.youkuaiyun.com/weixin_44185953/article/details/85171847

版权

本文介绍了如何使用urllib爬取有道翻译网站的动态内容。通过浏览器开发者工具分析网络请求，发现实际的翻译请求URL为'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'，并提到加密内容的爬取将在后续内容中详细讨论。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬取有道翻译

有道在线翻译：http://fanyi.youdao.com/
如果直接爬取，返回的信息几乎为0！
第一步：浏览器上打开我们的开发者工具（F12）
第二步：点到network
具体看图

第三步：在翻译处输入内容
在这里插入图片描述
接下来我们发现这才是我们提交的网址

继续往下看

这是我们提交的数据
所以真实的url=“http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule”

那我们现在就立马开始

from urllib import request, parse
import time, hashlib,json,random
#有道是需要动态加密  下一遍博客说加密方式
url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"
#破解有道翻译加密需要
salt=int(time.time() * 10000) #时间戳 取上小数点后面的4位
ts = int(time.time() * 1000) #时间戳 取上小数点后面的4位
word = inpu