年华飞逝的博客

从网页上爬取内容大致分为三步： 1、获取整个网页信息（源代码）  2、通过正则匹配，获取指定标签中的内容  3、将获取到的内容写到本地中 一、获取整个网页信息（源代码） # coding utf-8 import urllib.request def getHtml(url): html = urllib.request.urlopen(url).read() retu

和获取网页上的信息不同，想要进行模拟登录还需要向服务器发送一些信息，如账号、密码等等。 模拟登录一个网站大致分为这么几步： 1.先将登录网站的隐藏信息找到，并将其内容先进行保存（由于我这里登录的网站并没有额外信息，所以这里没有进行信息筛选保存） 2.将信息进行提交 3.获取登录后的信息 先给上源码 # -*- coding: utf-8 -*- import requests d

网站防采集的前提就是要正确地区分人类访问用户和网络机器人。虽然网站可以使用很多识别技术（比如验证码）来防止爬虫，但还是有一些十分简单的方法，可以让你的网络机器人看起来更像人类访问用户。 构造合理的 HTTP 请求头，可以使机器人网络爬取机器人更像一个访问用户 1.在没有使用HTTP请求头时，我们来获取优快云一篇博客的网页内容时情况是这样的： 代码如下： # coding utf-8 im

一、第一种方法（这种方法比较简单） 用到IDE工具：pycharm（个人觉得挺好用） 要用到的包可以用pycharm下载：  File->Default Settings->Default Project->Project Interpreter  选择python版本并点右边的加号安装想要的包  二、第二种方法 第一步，我们先来安装Python，博主选择的版本是最

Python包管理工具——Pip 目录 1 前言2 获取pip 2.1 脚本安装pip2.2 使用包管理软件安装2.3 更新pip 3 pip基本使用 3.1 安装PyPI软件3.2 查看具体安装文件3.3 查看哪些软件需要更新3.4 升级软件包3.5 卸载软件包 4 pip简明手册 4.1 安装具体版本软件4.2 Requirements文件安装依赖软件4.