
python
Kthemis
这个作者很懒,什么都没留下…
展开
-
关于python+selenium+requests在服务器端开发多线程并发程序踩过的一些坑
最近因为一个需求,着手开发一款使用selenium+requests进行多线程的测试工具,当然还是基于相对熟悉的python来开发。由于很久没写了,就有很多道理我都懂,一试就出错的问题,前前后后折腾了几天总算是开发完了,这里就把期间遇到的问题做一个记录,希望可以帮助到有同样困惑的同学。一、服务器端环境配置1. Ubuntu 20.04配置安装python 3.10并修复pip这个其实内容不是很难,但无奈网上教程抄来抄去,没有一个真正讲清楚的,在参考了几个教程以及实际测试后,整理操作如下:目前ubun原创 2022-05-22 21:38:52 · 1735 阅读 · 0 评论 -
使用python进行http请求自动登录处理302跳转的问题
一、问题背景最近在做一个自动化业务处理的程序时,需要完成对系统的自动登录。经过抓包测试只需要使用简单的post请求后收到的回包中包含cookie信息,因此可以据此完成登录。程序设计思路为发送求到登录验证页面,获取返回包包头中的cookie然后以此cookie再完成其他请求。然而在开发测试的时候却始终获取不到返回包包头中的cookie信息。header中始终为空。二、问题原因查阅requests库的手册后发现,导致这个问题的原因主要是requests包在处理请求时,当遇到302状态时,会自动跳转到lo原创 2021-07-02 13:31:43 · 4385 阅读 · 3 评论 -
使用ArchLinux部署离线python三方库环境
一、前言python最优秀的特点之一就是有非常庞大的第三方库以支持各类开发任务,然而在实际使用过程中,往往会遇到不同环境不同版本、pypi官方下载慢(当然可以选择切换国内源)、内网环境依赖包多下载安装繁琐,重装开发环境重新部署等诸多问题。为了找到一个最大兼容的python库管理方案,曾经设想过最简单的方案就是将pypi官方库完整的进行同步,事实上也有专门的工具可以这样做,定期从pypi官方同步三方库,但是实际上以清华园pypi中的所有库大小来看,完整同步pypi的库是没有意义也不划算的,因此设计完成了一套原创 2021-04-25 14:24:10 · 399 阅读 · 0 评论 -
python虚拟环境的使用技巧
在使用python第三方库的过程中,由于python版本不同且很多项目往往会使用到不同版本的第三方库,因此在本地使用“all in”的包管理方案时间久了将是一个巨大的灾难。然而python的虚拟机环境为这一问题提供了很好的解决方案,本文将整理python虚拟环境的常用方法,同时对于虚拟机环境,如何处理项目代码位置变化导致包生效的问题。一、venv安装python3在windows和mac环境中,已经默认自带了venv,Ubuntu需要自行安装,运行的命令如下:$ sudo apt-get instal原创 2021-04-22 10:37:20 · 220 阅读 · 1 评论 -
一次人物关系分析的数据整理经过
背景上学的时候没有数学没有学图论,程序开发没有学算法,真不好意思说自己是学计算机的,不过我猜你也一样,哈哈。有必要还是应该好好学学数学和算法,好吧又一个Flag已立。 吹水结束,进入正题,最近在做一个数据分析的研究过程中,遇到一个大约有3万个节点和11万条变的关系网,而我手中的数据简化一下大概是如下的格式: 节点1 节点2 a b a d b...原创 2018-06-29 17:36:27 · 3530 阅读 · 0 评论 -
Python报错:RecursionError: maximum recursion depth exceeded in comparison
错误今天在用python写一个递归查询数据库的程序时,报了一个错误: RecursionError: maximum recursion depth exceeded in comparison 错误的大致意思就是递归超过了最大的深度。原因查询过相关文档和资料后才发现了问题原因,python的递归深度是有限制的,默认为1000。当递归深度超过1000时,就会报错。解...原创 2018-06-28 12:23:45 · 78608 阅读 · 13 评论