WANGZHUCHEN的博客

经过一步步的修改，终于将原先简单的、面向过程的爬虫，改成了函数式的编程方式。代码如下：# __*__ encoding:utf-8 __*__ import sys import os import bs4 import requests from bs4 import BeautifulSoup reload(sys) sys.setdefaultencoding('utf-8') def g...

由于依然无法找到更好的方法来自动的翻页，并获取每一页的网页链接，所以就是用这个比较笨拙的方法来进行网页的获取。获取网址的代码如下：import bs4 import re import sys import requests from bs4 import BeautifulSoup reload(sys) sys.setdefaultencoding('utf-8') r = requests...

HELLO WORLD!愿这是新生活的开端。最近正在写一篇文本挖掘的论文，但是前期需要大量的文本数据作为挖掘的对象。鉴于需要的文本数量数以千计，所以我决定试着写一个爬虫的程序来进行文本的获取。之前只是零星的学过一点爬虫，但是始终没有自己亲自编写过，也不了解爬虫的过程。所以想借助这个机会，来让自己真正意义上的学会利用python进行爬虫的这项技能，熟悉并掌握爬虫的有关知识。预计的学习内容如下：1.P...