python Some Crawl

最新推荐文章于 2024-09-11 20:34:56 发布

AaronChueng

最新推荐文章于 2024-09-11 20:34:56 发布

阅读量284

点赞数

CC 4.0 BY-SA版权

分类专栏： python-爬虫文章标签： spider python爬虫

本文链接：https://blog.youkuaiyun.com/qq_19464321/article/details/75045930

python-爬虫专栏收录该内容

2 篇文章

订阅专栏

本文介绍了一种利用Python中的re模块和lxml库进行网页内容抓取的方法。通过具体示例展示了如何从有道词典获取翻译结果，并从指定网址中抽取特定的HTML元素内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

re

xpath

json analysis

use chrome driver

The simplest one：

#encoding=utf-8                                                                              
import urllib
import re

def youdao(keyword):
        url='http://www.youdao.com/w/eng/'+keyword
        page=urllib.urlopen(url).read()
        find_result=re.findall(r'<div class="trans-container">(.*?)</div>',page,re.S|re.M)

        return_string=find_result[0].strip()
        return_string=re.sub('<(.*?)>','',return_string).strip()
        num=max(map(len,return_string.split('\n')))
        print(''.join(['*']*num))
        print return_string
        print(''.join(['*'*num]))
        return '\n'+keyword+' : '+return_string+'\n'

youdao('你好')
youdao('hello')

Demo2:

import urllib
from lxml import etree 

url="http://www.dioenglish.com/home.php?mod=space&uid=114322&do=blog&id=55535"
xp = '//div[@id="blog_article"]'

def get(url,xp):
        t = urllib.urlopen(url).read()
        sele = etree.HTML(t)
        #content = sele.xpath('//div[@id="blog_article"]/p/span/font/text()')
        if xp[-2:] =='()':
            info = sele.xpath(xp)    
        else:
           content = sele.xpath(xp)
           info = content[0].xpath('string(.)').encode('utf-8')
        return info