TroKey的专栏

最近开始学习爬虫，还是比较习惯python的简洁，所以选择用python写爬虫。 python爬虫有很多框架，比如Scapry等，还有一些分布式框架，刚学还是一步一步来，以后再谈框架。 首先，python3+提供的requests库很强大，能够满足一般人的爬虫需求。今天就先写一个爬取腾讯课堂课名列表的小程序。 先上代码，后解析： import requests from bs4 im...

1，网络爬虫的定义 网络爬虫（Web Spider），把互联网比作一张蜘蛛网，Spider就是在这张蜘蛛网上面爬来爬去的蜘蛛。Spider从网站的某一个页面开始读取网页内容，找到这个网页的链接地址，然后通过这个链接地址找下一个网页内容，这样一直循环直到将整个网站的所有网页抓取完为止。 2，浏览网页的过程 浏览器中输入“www.baidu.com”后，向服务器发送了一次请求，把服务端的文件...

源码如下： # -*- coding: utf-8 -*- # @Time : 2017/5/18 17:38 # @Author : xiaojingjing # @Site : # @File : finde_mmimg.py # @Software: PyCharm import urllib.request import os,shutil ...