weixin_42538734的博客

包、模块理解：#引入自定义模块from test1 import t1 #从包导入模块 如果是在同一包内直接导入模块名即可print(t1.add(1,2))在其它程序中导入模块，相当于从文件夹test1导入t1.py爬虫所需要的模块#引入系统的模块import sysimport os#引入第三方模块import bs4 #爬完后网页解析，获取数据from bs4 import BeautifulSoupimport re #内置的 正则表达式，进行文字匹配i

Python爬虫学习（一）爬虫简介爬虫定义通过编写程序，模拟浏览器上网，让其去互联网上爬取数据的过程。爬虫风险爬虫干扰了被访问网站的正常运营爬虫爬取了收到法律保护的特定类型的数据或信息如何避免风险优化程序，避免干扰被访问网站的正常运行如果返现爬取到的数据涉及到用户隐私和商业机密等敏感内容需要即使停止爬取或传播爬虫再使用场景中的分类通用爬虫（搜索引擎常用）抓取系统重要组成部分。抓取的时一整张页面数据聚焦爬虫建立在通用爬虫的基础上。抓取的时页面中特定的局部内容增量式爬虫