ysblogs的博客

1、为什么要设置headers?在请求网页爬取的时候，输出的text信息中会出现抱歉，无法访问等字眼，这就是禁止爬取，需要通过反爬机制去解决这个问题。headers是解决requests请求反爬的方法之一，相当于我们进去这个网页的服务器本身，假装自己本身在爬取数据。对反爬虫网页，可以设置一些headers信息，模拟成浏览器取访问网站。2、 headers在哪里找？谷...

环境搭建：Windows 64 位 Python3.7下载一个开源的Python发行版本Anaconda:Anaconda是Python的包管理器和环境管理器。Anaconda包括Conda、Python以及一大堆安装好的工具包，比如：numpy、pandas等。VScode集成git和debug功能，小巧但功能十分强大。。官网：http://www.anaconda.com...

临时使用pip清华镜像源因为国内网络比较慢，所以需要用到清华大学开源镜像站加速pypi镜像使用帮助：https://mirrors.tuna.tsinghua.edu.cn/help/pypi/临时使用清华镜像源：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package以上命令中的some-packag...

项目及应用如下：创建简单应用流程：第一步：编辑myblog.vidws.py每个响应对应一个函数，函数必须返回一个响应；函数必须存在一个参数，一般约定为request；每一个响应（函数）对应一个URL。第二步：编辑mysite.urls.py每个URL都以url的形式写出来；url函数存放在urlpatterns列表中；url函数三个参数：URL(正则)，对...