clearend的博客

什么是爬虫网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。（来自百度百科）为什么要学爬虫如今，大数据时代，很多公司都在进行着与人工智能和大数据相关的业务，大数据给人工智能提供数据基础，而数据从何而来，我们随手可得的当然是从网络中而来，因此学...

从今天开始，开始记录爬虫学习的道路，参考书为《从零开始学 Python 网络爬虫》在此也就开始了我的博客生涯，自己现在小白一只，但是坚持下去总会有奇迹。话不多说，开始记录学习笔记！一、python爬虫三大库之Requests库1、requests库的使用方法：#获取所爬虫网页源代码import requestsres=requests.get('http://bj.xiaozhu.com...

爬虫三大库之BeautifulSoup库1、如何使用： import requests from bs4 import BeautifulSoup headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683....