- 博客(59)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Python常用排序算法
首先任意选取一个元素作为基准数据，将待排序列表中的数据分割成独立的两部分，比基准数据小的放在它左边，比基准数据大的放在它右边，此时第一轮数据排序完成。选择排序是一种简单直观的排序算法，它的工作原理是每次从待排序的数据元素中选出最小（或最大）的一个元素，存放在序列的起始位置，直到全部待排序的数据元素排序完毕。冒泡排序是一种简单的排序算法，它重复地遍历要排序的列表，比较相邻的元素，如果他们的顺序错误就交换他们。排序后为: [2, 24, 45, 66, 75, 90, 170, 802]
2025-04-10 10:04:35
592
原创 Python网页自动化工具——DrissionPage
基于selenium开发，不需要再指定chrome版本与chromedriver版本匹配，更加简单好用！
2025-04-03 15:28:32
64
原创 Python实现将字典中键相同的值合并
在Python字典中键是唯一的，但是业务需求是将不同的数据传递到不同的接口，接口列表中存在3个相同的接口，需要将3个接口对应的数据合并一同发送，逻辑实现如下。简单来说是这样，但是下面例子中第二个a会覆盖第一个a的值，在我的业务中，并没有把这些键值对放到列表里，而是遍历的时候直接添加到新字典，所以可行。
2025-03-28 17:58:04
244
原创 爬虫面试题
反爬虫机制是指网站为了防止爬虫过度访问和抓取数据而采取的一系列技术手段，这些机制旨在保护网站的安全和资源，减轻服务器压力，并确保合法用户的正常访问。User-Agent检测：拦截无user-agent或使用爬虫常见UA的请求。IP封禁：黑名单识别并封禁爬虫常用IP或代理池。验证码：弹出验证码验证人类用户。动态渲染：数据通过JavaScript动态加载，传统爬虫无法直接获取。行为指纹检测：分析鼠标移动、点击模式等行为特征识别爬虫。数据混淆：对网页关键数据加密或动态生成DOM结构。
2025-03-27 12:08:48
1950
原创 UnicodeDecodeError: ‘gb2312‘ codec can‘t decode byte 0xe9 in position 5632: illegal multibyte sequen
业务需要写了个转码工具，将所有文件转成utf-8编码，但是报错了。。。原代码大概如下：import chardetdef get_coding(path): file = open(path, "rb") data = file.read() coding = chardet.detect(data).get("encoding") print(f"文件编码为：{coding}") with open(path, "r", encoding=coding)
2020-12-04 15:45:26
1238
2
原创 Shell命令遍历指定文件夹下的所有文件并将文件路径输入到文本中
百度了一圈，亲测好用，话不多说直接上代码#!/bin/bashfunction get_files(){ for element in `ls $1` do dir_or_file=$1$element if [ -d $dir_or_file ] then getdir $dir_or_file else echo $dir_or_file >> $output_
2020-11-17 10:46:02
2169
1
原创 Mysql查询报错：The total number of locks exceeds the lock table size
为何会出现这种错误这是由于innodb_buffer_pool_size过小导致的。在MySQL5.5之前，广泛使用的和默认的存储引擎是MyISAM，MyISAM使用操作系统缓存来缓存数据，InnoDB需要innodb buffer pool中处理缓存，当InnoDB表执行大批量数据的增删改查时，就需要有足够的innodb buffer pool 空间。如何设置缓冲池大小innodb_buffer_pool_size默认大小为8388608(即8M ∗\ast∗ 1024 ∗\ast∗ 102.
2020-11-06 11:37:57
3412
3
原创 python实现将不同文件夹下名字相同的文件合并
E盘temp1文件夹里有很多文件夹，每个文件夹有很多文件，不同文件夹里的文件命名可能相同，把不同文件夹下相同名字的文件合并到一个文件并写入到新的文件夹temp2，而不同名字的文件直接写入到新文件夹temp2。import osdef get(name, info): # 写入新文件夹 with open(r"E:\temp2\{}".format(name), "a") as f: f.write("\n".join(info))# 原文件夹path =
2020-05-09 16:40:25
7978
8
原创 python3使用urllib.request.quote对参数进行编码
平时爬虫的时候，个人习惯点击Form Data右侧的view source来复制整个参数，一般情况下是没有问题的直到破解某网站参数加密的时候，js文件在node环境下可以正常运行，但是放在python代码中就无法返回数据了，检查了很久发现是参数的问题，我写的是’param=param’，而将参数改成用{param:param}的方式可以正常返回数据，这时候依然想用我这种方式写该怎么办呢解决...
2020-04-15 16:34:18
6140
转载 pyspider启动失败
1、安装pyspider从http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl找到对应的Python版本，下载对应的wheel文件即可然后pip install pycurl-7.43.0.3-cp37-cp37m-win_amd64.whl2、安装Phantomjs从http://phantomjs.org/download.html下载压缩...
2019-10-15 11:25:30
1014
原创 Airtest+Mitmprxoy自动爬取APP内容
这里以微博为例，微博网页版无法查看全部粉丝但是微博APP可以，所以从手机端抓取，我用的是模拟器，用fiddler抓包，获取微博粉丝的接口：https://api.weibo.cn/2/cardlist然后就可以用mitmproxy拦截请求了。1、首先要安装mitmproxy,可以使用pip install mitmproxy直接安装，另外还会附带mitmdump和mitmweb这两个组件...
2019-09-18 18:14:30
3273
原创 数据分析工具Pandas
Pandas是一个强大的分析和操作大型结构化数据集所需的工具集基础是Numpy,提供了高性能矩阵的运算提供了大量能够快速便捷地处理处理数据的函数和方法应用于数据挖掘，数据分析，提供数据清洗功能一、Pandas的数据结构Series是一种类似于一维数组的对象，由一组数据和与之对应的索引组成。索引(index)在左，数据(values)在右，索引是自动创建的1、通过list构建Seri...
2019-08-22 08:58:36
416
原创 python删除指定文件夹下小于100k的文件
import osdef get_path(file_path): for root, dirs, files in os.walk(file_path): for file in files: filename = os.path.join(root, file) del_file(filename) def del_file(filename): size = os...
2019-08-17 11:37:05
1456
原创 Numpy入门
一、numpy基础1、通过列表创建数组import numpy as npimport matplotlib.pyplot as pltarr1 = np.array([1, 2, 3]) # 一维数组print(arr1, arr1.shape)arr2 = np.array([[1, 2, 3], [4, 5, 6]]) # 二维数组print(arr2, arr2.shap...
2019-08-15 16:13:17
495
原创 爬虫报错：requests.exceptions.ProxyError
requests.exceptions.ProxyError: HTTPSConnectionPool(host='kuaile.mag998.com', port=443): Max retries exceeded with url: /kuaile/api/getcatevideos?cateid=4&page=1 (Caused by ProxyError('Cannot con...
2019-08-13 18:12:29
5035
2
原创 数据可视化之matplotlib
一、准备数据import matplotlib.pyplot as pltimport numpy as np# 在0.01到10之间均匀的取1000个数x = np.linspace(0.01, 10, 1000)# 在标准正态分布中随机取1000个数y = np.random.randn(1000)二、 函数用法1、plot——展现变量的趋势变化plt.plot(x, y...
2019-08-13 15:25:19
1098
原创 python将多个文件夹下的内容合并到一个文件夹下
# 原文件夹old_path = "G:/MP4"# 查看原文件夹下所有的子文件夹filenames = os.listdir(old_path)# 新文件夹target_path = "G:/MP5"if not os.path.exists(target_path): os.mkdir(target_path)for file in filenames: # 所...
2019-08-09 09:15:20
11216
6
原创 Django入门
1、在github上新建工程clone or download复制路径2、复制远程仓库内容新建文件夹，右键选择Git Bash Here输入git clone 路径名3、创建python项目cd进入.git同级目录下创建python项目（需要在虚拟环境下创建）workon 虚拟环境名，进入虚拟环境django-admin startproject 项目名称4、创建应用在p...
2019-07-29 17:29:52
302
原创 Python面试题
1、用一条SQL语句查询出每门课都大于80分的学生姓名。select name, min(fenshu) from stu; select name, min(fenshu) from stu group by kecheng; select name, min(fenshu) from stu group by kecheng having min(fenshu)>80 selec...
2019-06-03 19:01:42
49586
原创 全局搜索
1、安装模块pip install django-haystackpip install whooshpip install jieba2、在settings中添加应用INSTALLED_APPS = [ 'haystack' ]3、引入全文检索路由urls.py中添加代码from haystack.views import SearchViewurlpatterns =...
2019-04-26 17:54:42
2195
原创 网络编程
网络编程就是如何在程序中实现两台计算机的通信。TCP/IP简介1、TCP/IP协议族链路层：处理与电缆或其他传输媒介的物理接口。网络层：处理数据在网络中的活动。 ip协议——>网络互连协议 用途：将多个包在网络中联系起来，传输数据包（不可靠传输），最基本功能就是寻址和分段功能，不提供端到端，路由到路由的确认，不提供重发和流量控制。是计算机网络能够互相通信的基本规则。出错则像IC...
2019-04-12 21:17:58
13095
1
原创 系统编程
进程线程对比1、根本区别 进程是操作系统资源分配的基本单位；而线程是任务调度和执行的基本单位。 每个进程都有独立的代码和数据空间；同一类线程共享代码和数据空间。 在操作系统中能同时运行多个进程（程序）；而在同一个进程中有多个线程同时执行。 内存分配方面：系统在运行的时候会为每个进程分配不同的内存空间；而对线程而言，除了CPU外，系统分配内存（线程所使用的资源来自其所属进程的资源），线程组...
2019-04-12 17:46:59
195
原创 Python高级语法
属性与方法1、类属性与实例属性类：模板定义属性和方法的封装实例：具体的类对象，是类的表现（1）实例属性会根据实例的不同而不同，类属性由类决定（2）实例属性通常在构造函数__init__中赋值（3）类属性属于类，实例属性属于实例。实例确定，实例属性确定。实例可以调用类属性，类不可以调用实例属性(Good.addr报错）class Good: # 类属性 name = "tea" ...
2019-04-09 17:45:56
301
原创 Git
1、安装程序Git-2.20.1-64-bit.exe软件链接：https://pan.baidu.com/s/1XpNAVMPNYZs6wEq4H8bU9w提取码：7qag2、新建一个空文件夹（GitText），右键点击Git Bash Here3、git init生成.git隐藏文件4、在.git同级目录下创建一个文本文件（ReadMe.txt）,写入内容5、git sta...
2019-04-03 16:47:45
149
原创 Flask入门
1、进入安装的目录，安装虚拟环境E:pip install virtualenv2、创建虚拟环境(virtualenv 虚拟环境名）virtualenv webenv3、进入虚拟环境cd webenv/Scriptsactivate webenv4、安装flask模块(在虚拟环境里安装）pip install flask5、打开pycharm，新建工程，使用虚拟环境的解...
2019-03-28 20:17:42
107
原创 Redis数据库
安装配置1、Windows安装（1）双击可执行文件 Redis-x64-3.2.100.msi（2）任务管理器关闭Redis服务（3）启动服务端，这个黑窗口不能关闭redis-server（4）打开新的黑窗口，启动服务端redis-cli2、Ubuntu安装sudo apt-get install redis-server重启服务service redis resta...
2019-03-28 19:43:19
273
原创 JS案例——点星星
鼠标点击窗口实现如图效果：代码如下：<!DOCTYPE html><html> <head> <meta charset="utf-8"> <title></title> </head> <body style="background-color: #000000;"> <...
2019-03-26 16:43:58
1016
1
原创 JS案例——计数
页面元素当前点击0次开始计数停止计数默认鼠标每次点击window区域无效当点击开始计数后：鼠标每次点击window区域 计数+1点击停止计数后：鼠标每次点击window区域无效...
2019-03-26 16:35:06
1090
原创 MySql数据库
安装配置1、Windows安装配置可执行文件安装 mysql-installer-community-5.7.15.0.msi2、Ubuntu安装配置安装sudo apt-get install mysql-server mysql-client设置root密码cd uer/binsudo mysql_secure_installationsudo mysql -u root ...
2019-03-26 16:25:02
149
原创 AJAX——创建快速动态网页
JavaScript原生异步通信// 1、声明异步对象let xhr = new window.XMLHttpRequest();console.log(xhr.readyState);// 2、创建异步监听xhr.onreadystatechange = function(){ if(xhr.readyState == 4 &amp;&amp; xhr.status == 200)...
2019-03-16 11:50:26
707
2
原创 jQuery——简洁的javaScript库
jQuery库引入&amp;amp;amp;lt;script src=&amp;amp;quot;js/jquery-1.12.4.js&amp;amp;quot; type=&amp;amp;quot;text/javascript&amp;amp;quot; charset=&amp;amp;quot;utf-8&amp;amp;quot;&amp;amp;amp;gt;
2019-03-16 10:38:46
598
原创 JavaScript
JavaScript使用<body> <script type="text/javascript"> alert("可以写在body中"); </script></body><head> <script type="text/javascript"> alert
2019-03-15 21:52:07
175
原创 HTML属性
常见属性class 为html元素定义一个或多个类名&lt;div class="item"&gt;&lt;/div&gt;id 定义元素的唯一id&lt;button type="button" id="bt1"&gt;&lt;/button&g
2019-03-11 15:41:06
95
原创 CSS
CSS样式内联样式，优先级最高&amp;amp;lt;p style=&amp;quot;color:red;&amp;quot;&amp;amp;gt;这是一个段落&amp;amp;lt;/p&amp;amp;gt;内部样式,优先级仅次于内联样式&amp;amp;lt;style type=&amp;quot;text/css&amp;quot
2019-03-11 15:39:03
136
初级pygame小游戏
2019-03-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人