煮面要加牛奶的博客

需求分析知己知彼，方可百战不殆。在学习技术的时候我们往往面临太多选择而不知所措，可能是各个方面都有涉猎，对某个领域没有深入研究，看似什么都会，真要让你做个什么东西的时候就显得捉肘见襟。如果我们能从招聘职位所需的技能开始学习，便可练就一身硬功夫，为实战应用中打下良好的基础。通过python抓取拉钩网的招聘详情，并筛选其中的技能关键词，存储到excel 中。项目简介职位检索页面分析通过对职位检索页面分析发现需要的职位信息在content –> positionResult –> resul

动态渲染页面爬取在博客51_Ajax爬虫 & 案例微博页面爬取中介绍了利用 Ajax 解决页面动态渲染的问题，但是 JS 动态渲染的页面不止 Ajax 这一种，有些网站，不能直接分析 Ajax 来抓取， 难以直接找出其规律，例如：中国青年网，分页由 JS 生成但不包含 Ajax 请求。ECharts 官方实例，图形都是经过 JS 计算之后生成的。淘宝，其 Ajax 接口含有很多加密参数。如何解决上述问题呢?直接使用模拟浏览器运行的方式来实现 —> 可见即可爬Python提供了

1. 认识 Ajax需求，解决的问题：浏览器中可看到正常显示的数据，但使用 requests 得到的结果并没有。 这是什么原因呢?—> requests获取的是原始的HTML文档，而浏览器中的页面是经过JS处理数据后生成的结果。这些数据的来源有哪些情况呢?Ajax加载、包含在HTML文档中、经过JavaScript和特定算法计算后生成的什么是 Ajax？Ajax(Async...

文章目录1. 认识 Scrapy2. Scrapy 项目——四大名著爬取2.1 items2.2 spiders2.3 Scrapy shell2.4 Item Loaders2.5 pipelines2.6 settings1. 认识 ScrapyScrapy爬虫框架的优势：用户只需要定制开发几个模块， 就可以轻松实现爬虫，用来抓取网页内容和图片， 非常方便。Scrapy 使用了 Tw...

爬虫具有四个主要步骤：明确目标 (要知道你准备在哪个范围或者网站去搜索)爬 (将所有的网站的内容全部爬下来)取 (去掉对我们没用处的数据)处理数据 (按照我们想要的方式存储和使用)在前面我们通过案例了解了明确目标和爬的过程，但是对于爬下来的数据显然存在一部分需要的一部分不需要的问题。所以，进一步的数据解析是爬虫过程中必不可少的一部分。1. 正则表达式正则表达式，又称规则表达式，通...

需求分析：对360搜索页面分析，删去不必要的参数信息，可得出其搜索URL为：https://www.so.com/s?q=搜索内容根据搜索关键字返回相应的整个完整的搜索结果页面信息主要流程：下载页面内容，即利用requests模块获取页面，并返回页面信息(二进制)将获得的页面信息保存至本地 html 文件中，注意写入方式！from urllib.error import H...

1. 网络数据采集之requests库requests 官方网址：https://requests.readthedocs.io/en/master/requests 常用方法：方法说明requests.request()构造一个请求，支撑以下各个方法的基础方法requests.get()获取 HTML 网页的主要方法，对应于 HTTP 的 GETrequ...

【写在前面】网络爬虫抓取过程可以理解为模拟浏览器操作的过程，所以深入理解 HTTP 协议更有利于爬虫的学习，并且该部分是面试官非常喜欢问的部分，很重要，详情请见：深入浅出HTTPლ(╹◡╹ლ)点我鸭~通用爬虫和聚焦爬虫根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种。通用网络爬虫：是捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分，是从互联网中搜集网页、采...

根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种