- 博客(23)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 小狐狸钱包消息签名消息特定格式
简单来说 EIP-4361 就是制定了一个特定格式的签名消息，必须按照这个格式让用户签名。以太坊社区提出了 EIP-4361 协议。这个协议描述了该如何实现这个功能。我给大家解释一下这几个字段具体的含义。
2024-04-17 14:58:37
451
原创 python爬虫实战之异步爬取数据
python中异步编程的主要三种方法：回调函数、生成器函数、线程大法。以进程、线程、协程、函数/方法作为执行任务程序的基本单位，结合回调、事件循环、信号量等机制，以提高程序整体执行效率和并发能力的编程方式。如果在某程序的运行时，能根据已经执行的指令准确判断它接下来要进行哪个具体操作，那它是同步程序，反之则为异步程序。（无序与有序的区别）同步/异步、阻塞/非阻塞并非水火不容，要看讨论的程序所处的封装级别。例如购物程序在处理多个用户的浏览请求可以是异步的，而更新库存时必须是同步的。
2022-10-20 09:54:00
5620
3
原创 Python爬虫实战使用scrapy与selenium来爬取数据
当学会使用Scrapy 和 Selenium后的那就试试通过Scrapy 驱动 Selenium来获取数据，可以绕过JS解密的耗时，缺点是可能爬取数据的速度会变慢慢。Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。Scrapy 常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过 Scrapy 框架实现一个爬虫，抓取指定网站的内容或图片。
2022-09-21 17:12:51
3280
原创 Appium安装教程
Appium 的安装不简单而且要安装的东西也不少，刚开始接触到 Appium 在安装的 Appium 时自己硬是安装了半天也没有安装，就是一个接一个的坑，填了又填才安装好。以免自己以后要填坑，还是做笔记吧以上就是今天要讲的内容，本文仅仅简单介绍了Appium的安装。
2022-09-21 11:52:57
17951
3
原创 Python爬虫实战之使用Airtest与mitmdump爬取app数据
App 爬取数据相对于 Web 端爬取更加容易，因为反爬虫能力没有那么强，而且大多数的数据都是以 JSON形式传输的，解析更加简单。在 Web 端，我们可以通过浏览器的开发者工具监听到各个网络请求和响应过程， 在 App 端如果想要查看这些内容就需要借助抓包软件。常用的抓包软件有 WireShark、Filddler、Charles、 mitmproxy、 AnyProxy 等，它们的原理基本是相同的。
2022-09-14 17:37:53
3826
原创 在vscode中调试python scrapy爬虫
直接在vscode中使用Debug是无法调试scrapy项目的，需要进行配置才能进行调试以上就是今天要讲的内容，本文仅仅简单介绍了使用vscode调试scrapy项目。
2022-08-31 11:27:50
4326
3
原创 Playwright实战案例之爬取js加密数据
Playwright是一个强大的Python库，仅用一个API即可自动执行Chromium、Firefox、WebKit等主流浏览器自动化操作，并同时支持以无头模式、有头模式运行。 Playwright提供的自动化技术是绿色的、功能强大、可靠且快速，支持Linux、Mac以及Windows操作系统。...
2022-07-27 16:56:25
3321
7
原创 Selenium实战案例之爬取js加密数据
Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7,8,9,10,11），MozillaFirefox，Safari，GoogleChrome，Opera，Edge等。这个工具的主要功能包括测试与浏览器的兼容性——测试应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成.Net、Java、Perl等不同语言的测试脚本。...
2022-07-26 21:07:57
2486
原创 Ajax案例实战分析
Ajax，全称为AsynchronousJavaScriptandXML，是利用JavaScript在保证页面链接不改变的情况下，滑动某一区域会不断地出现新的数据，是与服务器交换数据并更新部分网页的技术。通过对爬取NBA微博数据案例来体会Ajax分析和爬取的基本流程，由于Ajax接口大部分都是以JSON的格式返回数据，在一定程度上减少了对数据提取的工作量。......
2022-07-25 10:47:04
1091
原创 基础爬虫实战案例之获取游戏商品数据
在想获取网站的一些数据时，能过人工手动复制和粘贴，这样的效是不非常低的，数量少的时候可能觉得什么事，当数量多起来的时候就会显得很无力，因此爬虫就被按排上场了，本文就介绍了爬虫学习的基础内容。以上就是今天要讲的内容，本文仅仅简单介绍了针对网页源码中有数据可获取的爬虫使用。...
2022-07-22 14:59:52
2420
原创 TXT 纯文本操作
将数据保存到 TXT 文本的操作非常简单，而且 TXT 文本几乎兼容任何平台，但是这有个缺点，那就是不利于检索。利用 Python 提供的 open 方法打开一个文本文件，获取一个文件操作对象，这里赋值为 file，每提取一部分信息，就利用 file 对象的 write 方法将提取的内容写入文件。...
2022-06-26 12:57:01
1278
原创 个人学习笔记
chromedriver下载地址http://chromedriver.storage.googleapis.com/index.html
2021-11-12 09:12:07
865
原创 Flask 报错 RuntimeError: The session is unavailable because no secret key was set.
RuntimeError: The session is unavailable because no secret key was set. Set the secret_key on the application to something unique and secret.
2021-11-10 16:15:27
1702
原创 spark大数据技术与应用 实训
spark大数据技术与应用——实训第三章节——Spark编程实训1至2——链接如下https://blog.youkuaiyun.com/qq_43925089/article/details/106137964第四章节——spark编程进阶实训——竞赛网站访问日志分析https://blog.youkuaiyun.com/weixin_44080445/article/details/115978923第五章节——Spark SQL：结构化数据文件处理实训——统计分析航空公司客户数据的空值以及异常值
2021-06-09 23:24:42
6353
6
原创 Python 百钱买百鸡
一、问题某人有100元钱，买100只鸡。 公鸡5元一只，母鸡3元一只，小鸡1元三只。问： 可以买公鸡、母鸡、小鸡各多少只。二、问题分析使用穷举法，把每一种可能都试一遍，得到最后正确的结果。若公鸡为x只，母鸡为y只，小鸡为z只；我们将得到公式： 5x+3y+z/3=100;并且x+y+z=100;小鸡数除以3的余数必须是0三、代码money=100score=0for x i...
2020-04-01 22:15:49
11911
原创 Python 九九乘法表
用for写的九九乘法表for i in range(1,10): #行 for j in range(1,i+1): #列 print(j,'*',i,'=',i*j,end='\t') print()用while写的九九乘法表i=1while i<10: ...
2020-04-01 22:03:52
300
原创 Python 猴子偷桃
一、猴子偷桃猴子第一天摘下若干个桃子，当即吃了一半，还不过瘾，又多吃了一个。 第二天早上又将剩下的桃子吃掉一半又多吃了一个，以后每天早上都吃了前一天剩下的一半零一个。到第10早上再想吃时，就剩下一个桃子了。求第一天共摘多少个桃子？二、分析逆向推理设第9天有x个桃:x - x / 2 - 1=1则x=4代码为x = (x + 1) * 2三、代码x = 1for i in r...
2020-03-26 16:32:33
4553
原创 Python爱因斯坦阶梯问题
爱因斯坦阶梯问题·爱因斯坦阶梯问题： 设有一阶梯，每步跨2阶，最后余1阶；每步跨3阶，最后余2阶；每步跨5阶，最后余4阶；每步跨6阶，最后余5阶；只有每步跨7阶时，正好到阶梯顶。 问最少有多少步阶梯？要求使用while 循环语句分析设1000内能输入出最小步阶梯数，因每步跨2阶，最后余1阶；每步跨3阶，最后余2阶；每步跨5阶，最后余4阶；每步跨6阶，最后余5阶；只有每步跨7阶时，正好到...
2020-03-26 16:02:46
7176
原创 python水仙花数判断程序
水仙花数判断程序水仙花数是一个三位整数，如153是一个水仙花数，是因为该数的百位的立方、十位的立方、个位的立方之和等于该数本身，如下所示：1^3 + 5^3+ 3^3=153print("所有的三位数中的水仙花数如下图所示：")n=0for i in range(100,1000): a = i//100 #取百位数 b = (i-a*1...
2020-03-26 15:07:17
5740
原创 Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Server Error
"Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Server Error"解决方法一解决方法二问题解决在启动Hadoop后, 在window系统访问http://192.168..*:9870/ ， 选择Utilities下的Browse file system menu，出现 Failed to retrieve data ...
2020-03-25 23:22:24
10472
12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人