wbd_1233的专栏

实验2：Python网络编程基础 1、爬虫需要通过socket（套接字）与网页服务器通信，从而获取需要的网页内容。Python中的Socket库包含多种通信协议，以及用于通信的方法，可在Python上实现TCP和UDP通信。 2、Socket库中的协议类型 3、Socket库中方法 Socket库中的方法按照用途可以分为3种： 服务器端方法、客户端方法、公共方法。 服务器端方法： 客户端方法： 公共方法，即可在服务器端使用也可在客户端使用： .

实验1：CentOS7配置Python爬虫环境 实验目的 熟悉爬虫和Python常用爬虫库，掌握用于存储爬取的数据的MySQL、MongoDB数据库的配置方法。 实验内容 （一）爬虫的定义： 网络爬虫也被称为网络蜘蛛、网络机器人，是一个自动下载网页的计算机程序或自动化脚本。网络爬虫就像一只蜘蛛一样在互联网上沿着URL的丝线爬行，下载每一个URL所指向的网页，分析页面内容。 网络爬虫分为： 1、通用网络爬虫（全网爬虫）：由搜索引擎或大型Web服务提供商使用 2、聚焦网络爬虫（主题网络爬