爬取西刺代理，并存入mysql数据库

最新推荐文章于 2019-08-27 10:15:00 发布

原创最新推荐文章于 2019-08-27 10:15:00 发布 · 305 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #pytrhon

python 同时被 2 个专栏收录

44 篇文章

订阅专栏

数据库

3 篇文章

订阅专栏

本文介绍了一个Python脚本，该脚本使用BeautifulSoup和正则表达式从西刺代理网站抓取代理IP信息，并利用pymysql模块将这些数据存储到MySQL数据库中。脚本首先通过发送HTTP请求获取网页内容，然后解析页面提取代理IP的详细信息，最后将这些信息插入到预先创建的数据库表中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- coding: utf-8 -*-
import pymysql
from urllib import request
import re
from bs4 import BeautifulSoup
req = request.Request('http://www.xicidaili.com/')
req.add_header('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1')
db = pymysql.connect("localhost", "数据库用户名", "密码", "数据库名") 　　//前提要创好表
cursor = db.cursor()
with request.urlopen(req) as f:
    readText = f.read().decode('utf-8')
    #正则表达式
    compileModels =('''
    <td>(.*?)</td>
    <td>(.*?)</td>
    <td>(.*?)</td>
    <td class="country">(.*?)</td>
    <td>(.*?)</td>''')
    pattern = re.compile(compileModels)
    compileText = pattern.findall(readText)
    for i in compileText:
        print(list(i))
         sql = """INSERT INTO xicidaili(代理IP地址,
                  端口, 服务器地址, 是否匿名, 类型)
                  VALUES (%s,%s,%s,%s,%s)"""
        　cursor.execute(sql,(i))
         db.commit()
 db.close()