用python3爬取代理服务器列表

newman_Myself

于 2017-08-23 22:54:12 发布

阅读量3.7k

点赞数

分类专栏： python 文章标签： python3 爬虫代理服务器

本文链接：https://blog.youkuaiyun.com/newman_Myself/article/details/77513040

版权

该博客介绍了如何使用Python3的urllib和BeautifulSoup库爬取网页上的代理服务器信息。首先尝试从指定URL获取HTML内容，然后通过正则表达式匹配IP地址和端口号，将这些信息存储到字典中，最后将字典内容写入到文件中。博客涵盖了错误处理、网页解析和数据存储等步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from urllib.request import urlopen

from bs4 import BeautifulSoup
from urllib.error import HTTPError
import re

def gethtml(url):
 try:
   html=urlopen(url)
 except HTTPError as e:
   print(e)
   return None
 try:
   bsobj=BeautifulSoup(html.read(),'lxml')
   labellist=bsobj.findAll('td')
 except AttributeError as e:
   print(e)
   return None
 return labellist
  
def getdict(html):
  regip=re.compile('[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}')
  regp=re.compile('\d{1,4}\d$')
  dict={}
  for item in html:
    if regip.match(item.get_text()):
        key=item.get_text()
    if regp.match(item.get_text()):
        value=item.get_text()
        dict[key]=value
  return dict
def fwrite(dict,fname):
    file=open(fname,'a')
    fo

最低0.47元/天解锁文章