qq_39911464的博客

原创 小红薯Web端数据采集 ——（X-s）

网址：小红书 - 你的生活指南描述：打开官网，随便搜索一个笔记，可以看到数据都是由homefeed这个接口返回的，并且返回的内容是非常标准的JSON格式，没有任何加密。也就是说，我们只需要模拟这个接口去请求，就可以拿到数据。 简单观察一下请求头，请求体，cookie。可以看到有非常多的参数，密密麻麻。复制Curl到工具库，生成Python代码，测试一下。可以返回了406，{"code":-1,"success":false}这里其实是对请求体进行了检测，如果里面含有空格就会显示这个。而Pyth

原创 云南省ZF采购网爬虫——文字点选验证码

观察请求头，我们可以发现参数被赋值了。也就是说带上这个值去请求，就可以拿到数据。整体思路总结当点击第二页按钮时，会请求第一个接口“Procurement.gghtMoreList.svc”，此时请求体参数“captchaCheckFlag”是没有值的，服务器会返回“验证码校验不通过，当前请求禁止访问”。接着浏览器会发出第二个请求“captcha.get.svc”，服务器会返回验证码图片，验证码的文本等等信息。

原创 Scrape Center刷题 Day1 spa8

1.分析网站，发现球星的数据都在JS里面。尝试模拟请求，发现没有反爬。然后分析Token的生成，直接搜索没有搜到，然后搜encrypt发现在请求里面有个getToken方法。目标：尝试拿下所有的球星的数据，以及球星token。

原创 js对象转python格式，记录一次错误json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes

最近在写一次爬虫的过程，发现数据在js里面渲染上去的，把源代码提取出来后，发现里面的数据是js的对象，在python的json_loads直接解析会报错json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 8 column 7 (char 163)。

原创 词云图的实例

原创 使用selenium爬取集信达官网服务日志

【代码】使用selenium爬取集信达官网服务日志。

原创 pandas学习笔记

【代码】pandas学习笔记。

原创 numpy学习笔记

【代码】numpy学习笔记。

原创 MongoDB学习笔记

【代码】MongoDB学习笔记。

原创 Flex布局的使用

Flex布局的基本性质:所有的元素都可以设置成flex，设置成flex之后，会丢失float属性，不在区分行内元素和块元素，所有的行内元素都会变成块元素。 flex布局有两条轴，分别是主轴和侧轴。默认主轴是row，x轴。父元素设置flex后，子元素会按照主轴的方向排列，主轴可以通过flex-direction修改。 Flex的相关属性如下:

原创 基于scrapy的豆瓣阅读top250爬虫

Hello，这是我的第一篇博客，很久以前就开始学习爬虫了，不过处于反爬手段的策略，再加上之前的公司一直没有要求用scrapy，导致一直没有认真学习scrapy框架。现在有时间了，打算好好学一下这个框架。这篇博客是基于scrapy的豆瓣top250爬虫，以前是有写过top250电影的爬虫的。不过没用scrapy。。废话不多说，开始吧！！

原创 Python调用api实现AI绘画

【代码】Python调用api实现AI绘画。

原创 C语言求20个斐波那契数（极简版）通俗易懂）

首先介绍斐波那契数列，斐波那契数列的排列是：1,1，2，3，5，8，13，21，34，55，89，144，……以此类推，**你会发现，它后一个数等于前面两个数的和。在这个数列中的数字，就被称为斐波那契数。**其中第一个数和第二个数比较特殊，都为1。接着我们来看示例代码和讲解#include <stdio.h>int main(void){ int a1=1,a2=1;//给变量赋初值，因为斐波那契数的第一个和第二个数都为1，特殊的 printf("第1个斐波那契数为%d\n第2个斐波

原创 2021-09-05

美妙的一天