通过flask构建自己的代理池

最新推荐文章于 2024-09-19 16:44:14 发布

小刘要努力。

最新推荐文章于 2024-09-19 16:44:14 发布

阅读量1.5k

点赞数

CC 4.0 BY-SA版权

分类专栏：玩转Python爬虫

liurunsen

本文链接：https://blog.youkuaiyun.com/weixin_44510615/article/details/89310090

玩转Python爬虫专栏收录该内容

83 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍如何利用Flask框架配合MongoDB数据库，构建一个爬虫使用的代理IP池。内容涉及爬取可用IP并存储到MongoDB的过程。

在mongodb中爬取可用的ip
在这里插入图片描述

# -*- coding：utf-8 -*-
# time ：2019/4/15 12:17
# author: 毛利
import random
import pymongo
from flask import Flask
connection = pymongo.MongoClient(host='192.168.180.128',port=27017)
client = connection['proxy']
db = client['items']
app = Flask(__name__)
def select(count=10):
    '''
    数据查询
    :param data:
    :return:
    '''
    items = db.find({})
    # 是一个对象
    return items
@app.route('/')
def index():
    result  = list(select())
    if result:
        proxy = random.choice(list(result))
        return '可用的IP：\n IP：{}；\nport：{}；\naddress：{}'.format(proxy['ip'], proxy['port'],proxy['address'])
    else:
        return 'Welcome to Flask ......

了解本专栏