python爬去知乎和简书内容

最新推荐文章于 2021-10-22 11:32:46 发布

三名狂客

最新推荐文章于 2021-10-22 11:32:46 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： python爬虫文章标签： bs4爬虫 python python爬虫 selenium

本文链接：https://blog.youkuaiyun.com/zuochao_2013/article/details/77925785

本文介绍了如何使用Python进行网络爬虫，涵盖了从爬取知乎热门内容到利用Scrapy框架抓取简书信息的全过程，重点讨论了bs4库和selenium在爬虫中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、爬取知乎热门内容

# -*- coding: utf-8-*-
import urllib2
import re
from BeautifulSoup import BeautifulSoup
import sys
reload(sys)
sys.setdefaultencoding('utf8')

f = open('howtoTucao2.txt', 'w')  # open the file

for pagenum in range(1, 21):

    strpagenum = str(pagenum)
    print "Getting data for Page " + strpagenum  # for we can see the process in shell
    url = "http://www.zhihu.com/collection/27109279?page=" + strpagenum
    page = urllib2.urlopen(url)  # get the web page
    soup = BeautifulSoup(page)  # use BeautifulSoup to parsing the web page

    ALL = soup.findAll(attrs={'class': ['zm-item-title', 'content hidden']})

    for each in ALL:
        if each.name == 'h2':
            nowstring = re.sub('<s.+>\n<a.+>\n<.+>\n', '', each.a.string)
            nowstring = re.sub('<br>', '\n', nowstring)
            nowstring = re.sub('<\w+>', '', nowstring)
            nowstring = re.sub('</\w+>', '', nowstring)
            nowstring = re.sub('<.+>', '\n图片\n', nowstring)
            nowstring = re.sub('"', '"', nowstring)
            print nowstring
            if nowstring:
                f.write(nowstring)
            else:
                f.write("\n No Answer \n")
        else:
            nowstring = re.sub('<s.+>\n<a.+>\n<.+>\n', '', each.string)
            nowstring = re.sub('<br>', '\n', nowstring)
            nowstring = re.sub('<\w+>', '', nowstring)
            nowstring = re.sub('</\w+>', '', nowstring)
            nowstring = re.sub('<.+>', '\n图片\n', nowstring)
            nowstring = re.sub('"', '"', nowstring)
            print nowstring
            if nowstring:
                f.write(nowstring)
            else:
                f.write("\n No Answer \n")
f.close()  # close the file

二、爬取简书内容(基于Scrapy框架)

(1)item.py

# -*- coding: utf-8 -*-

# Define here the models for your

最低0.47元/天解锁文章

200万优质内容无限畅学