xiaoyao_zhy的博客

Scrapy是功能强大的非常快速的网络爬虫框架，是非常重要的python第三方库。scrapy不是一个函数功能库，而是一个爬虫框架。

通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。-urllib模块（古老的网路请求模块，封装爬虫代码十分麻烦）-request模块（简洁、高效）requests模块：python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。作用：模拟浏览器发请求。3.1.1聚焦爬虫：爬取页面中指定的页面内容。（75%以上的需求）编码流程:1.指定url2.发起请求3.获取响应数据4.数据解析5.持久化存储3.1.2 数据解析分类：正则bs4xpath（重点）...

在学习爬虫的过程中，我们会遇见AES等等加密问题，我们需要在js端找到未加密对的数据，在python端对data数据进行加密，这边我们就需要用到Crypto模块，但是网上目前下载该模块还是比较麻烦的。目前是出现pycryptodome模块可以替代，其还在之前的crypto模块中，这边我们只需要在pycharm中，在你需要使用程序下，在Terminal中下载这两个模块。之前的解决方法是下载pycrypto模块就可以使用了，这边我第一反应是下载crypto，结果发现没用，发现需要下载pycrypto。.....

1.面向对象的解释型程序设计语言2.自由软件3.可以移植到多平台4.设计哲学是“优雅”、“明确”、“简单函数是重用的程序段。它们允许你给一段语句命名一个名字，这是函数定义。你可以在你的程序的任何地方使用这个名称运行这个语句块，这是函数调用内置函数不用定义，直接调用。5自定义函数语法格式def函数名(参数表)函数体如要定义函数y=x^2+1deff(x)y=f(n)print(y)求斐波那契数列的前n项注意函数要先定义再使用匿名函数--lambda表达式。...