python之自定义爬虫脚本

最新推荐文章于 2023-02-06 11:54:49 发布

sauphy

最新推荐文章于 2023-02-06 11:54:49 发布

阅读量773

点赞数

分类专栏： Python

本文链接：https://blog.youkuaiyun.com/sauphy/article/details/49915087

版权

本文介绍了如何使用Python编写自定义爬虫脚本spider.py，配合list.txt文件，从指定网页http://www.gaoxiaola.com/p/gif/index_4.html中抓取图片资源。通过运行命令spider.py list.txt，可以实现对网页图片的自动化抓取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

## spider.py

import urllib2,httplib
import os,sys,re,time,random



#[OK]
def removeBR(site):
    result = re.search(r'\n',site)
    if result:
        return site.replace('\n','')
    return site
#[OK]
def getRequestList(fname):
    file = open(fname,"r")
    sites = file.readlines()
    list = []
    for s in sites:
        list.append(removeBR(s))
    return list
#[OK]
def inOldSet(url,set):
    if url in set:
        return True
    return False
#[]

#[OK]
def isEndWithJavascript(site):
    ret = re.search("/javascript:",site)
    if ret:
        return True
    return False

#[OK]
def ignoreJavascript(site):
    if isEndWithJavascript(site):
        s1,s2 = site.rsplit("/javascript:",1)
        return s1
    return site
#[50%_OK]
def isFile(url):
    res = re.search("(.html|.htm|.xml|.txt|.css|.js|.avi|.flv|.jpg|.gif|.bmp|.png|.xhtml|.dat|.doc|.xls|.php|.jsp|.asp)$",url)
    if res:
        return True
    return False
#[OK] http://aa.com/index.txt -> http://aa.com
def getBaseUrl(url):
    if isFile(url):
        s1,s2 = url.rsplit("/",1)
        return s1
    if url[len(url) - 1:] == "/":
        return url[:len(url) - 1]
    else:
        return url
#[OK]
def addIndexForSite(site):
    if isFile(site):
        return site
    bs = getBaseUrl(site)
    return "%s/index