- 博客(26)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 美团酒店数据-Fiddler Script
/ 将 JSON 响应保存到文件。// 将 JSON 响应保存到文件。// 将 JSON 响应保存到文件。// 辅助函数：从 URL 中提取 referid 参数。// 辅助函数：从 URL 中提取 shopId 参数。// 创建目录（如果不存在）// 创建目录（如果不存在）// 辅助函数：从 URL 中提取 poiId 参数。// 只处理 JSON 响应。// 只处理 JSON 响应。// 只处理 JSON 响应。// 解析 URL 参数。// 解析 URL 参数。// 解析 URL 参数。
2025-01-17 16:04:55
876
原创 python3 mysql 连接池
第一步 编写配置文件db_config.py# -*- coding: UTF-8 -*-import pymysql# 数据库信息DB_TEST_HOST = "10.1.130.141"DB_TEST_PORT = 3306DB_TEST_DBNAME = "xc"DB_TEST_USER = "root"DB_TEST_PASSWORD = "zxcv30"# 数据库连接编码DB_CHARSET = "utf8"# mincached : 启动时开启的闲置连接数量.
2021-11-01 14:24:36
1848
1
原创 mysql 根据多字段去重 --效率高
模板释义：根据多字段去重，保留ID最小的记录DELETE from 表名WHERE id not in(SELECT t.min_id from (SELECT MIN(id) as min_id from 表名 GROUP BY 字段1, 字段2, 子弹N) t)案例删除用户动态中用户名和发布时间相同的记录（用户名和发布时间一样，则认为是重复记录）DELETE from user_dongtai_xcWHERE id not in(SELECT min_id from (
2021-10-28 11:17:21
1557
2
原创 Linux-centos下灵活切换Python默认版本
以下命令本人都只是在centOS7下使用，确认有效，其他系统不确定 理论上不会影响yum命令的正常使用核心机制：使用 alternate 机制可以自由切换python默认版本命令：sudo update-alternatives --install /usr/bin/python python /usr/bin/python2 100sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 ..
2021-10-15 10:17:28
1405
1
转载 在docker中部署python项目是logging日志问题
在 Docker 容器里跑 Python 程序时，我们经常遇到通过print函数或者logging模块输出的信息在容器 log 中迷之失踪，过了好久又迷之出现。这是因为 Python 在写 stdout 和 stderr 的时候有缓冲区，导致输出无法实时更新进容器 log。有如下几种方法解决：1. 增加环境变量对于使用print函数打印的内容，在运行容器时增加环境变量PYTHONUNBUFFERED=0就可以解决。2. 配置 logging 的 stream 参数imp...
2021-07-30 15:09:03
1925
原创 Flask 应用中发布定时任务 - APScheduler
前言：由于项目需要，要添加一个定期清除已下载文件的功能，初期想到的是循环监听，定期删除，但这样会有一个很大的弊端，线程阻塞。于是便去查找框架，找到了APScheduler Python最强定时任务框架（非阻塞的异步框架）。注意：本文不作详细教程，仅记录实际使用过程，内容全部来自官方文档文档地址[Flask应用推荐查看第二篇]：https://apscheduler.readthedocs.io/en/stable/faq.htmlhttps://viniciuschiele.github..
2021-07-26 10:26:05
584
原创 Python selenium chrome 规避网站人机检测 + 指定配置文件运行
前言：当使用selenium+chromedriver进行用户模拟登陆的时候，服务器会检测出为非人工操作，从而不让访问。处理办法：from selenium import webdriverfrom selenium.webdriver import ChromeOptions# 配置浏览器参数，规避人机检测option = ChromeOptions()option.add_experimental_option('excludeSwitches', ['enable-automati
2021-06-23 10:55:51
6087
1
转载 Chrome无头模式 python+selenium+Chrome无头,ChromeHeadless
Python+selenium+Chrome headless前言：使用selenium执行网络爬虫程序时，考虑执行效率和某些其他原因，不希望爬虫工作时显式显示页面。通过网上查询资料，该需求可以使用PhantomJS浏览器实现，也可以使用Chrome 浏览器的headless Browser模式实现。由于现在好像selenium不在支持PhantomJS了，所以主要采用Chrome Headless模式实现。 什么是Headless模式 Headless Browser模式是浏览器...
2021-06-23 10:51:56
3932
2
转载 Python垃圾回收机制
Python的垃圾回收机制到底是什么回事？从网上找到一大堆的文档，看的也是一知半解，最终就学会了一句话：引用计数器为主、分代码回收和标记清除为辅。就这么一知半解的去忽悠面试官了，面试官如果恰好也只会这几句话，那便达成和解了。本篇文章从C语言源码底层来聊聊Python内存管理和垃圾回收机制到底是个啥？让你能够真正了解内存管理&垃圾回收。1. 白话垃圾回收用通俗的语言解释内存管理和垃圾回收的过程，搞懂这一部分就可以去面试、去装逼了…1.1 大管家refchain在Python的C
2020-12-09 15:41:55
302
1
原创 Ubuntu16.04 配置Python多版本共存
Ubuntu16.04 配置Python多版本共存软件环境：虚拟机：Vmware workstation15Linux系统：Ubuntu16.04前言：Ubuntu系统本身已经安装好了Python解释器，2.x版本和3.x版本都已安装 但是没有安装pip工具包，所以本教程要解决的问题就是为Python2和Python3分别安装pip工具包 安装完成后，为不同解释器安装包时带上相应版本数字后缀即可 例1：为Python2解释器安装numpy包 命令：pip2 install.
2020-12-03 14:34:47
531
原创 Django ORM查询
Django ORM基础查询基础的增删改查# ---增---# 方法一： register_time可以直接传时间格式的字符串，也可以传时间日期对象models.User.objects.create(name='kwen',age=18,register_time='2020-11-10')# 方法二：import datetimectime = datetime.datetime.now()user_obj = models.User(name='kwen',age=18,r
2020-11-20 10:10:03
185
原创 CentOS 7 设置静态IP
环境：VMware 15CentOS-7-x86_64-DVD-1908第一步：查看虚拟机当前网段，如图此处我的是192.168.112.2第二步：开机，终端输入以下命令，打开网卡配置文件[注意：需要root用户进行操作]：vim /etc/sysconfig/network-scripts/ifcfg-ens33第三步：把文件中的 BOOTPROTO 的值改成 static ，静态的意思BOOTPROTO="static"第四步：文件末尾 空白行 追加下面三
2020-10-21 22:19:46
163
翻译 Python 代码风格指南
Python 代码风格指南介绍本文档所提供的编码规范，适用于主要的Python发行版中组成标准库的Python代码。请参阅PEP关于Python的C实现的C编码风格指南的描述。本文档和PEP257（文档字符串规范）改编自Guido的《Python Style Guide》一文，并从《Barry's style guide》添加了部分内容作为补充。这篇风格指南随着时间的推移而逐渐演变，随着语言本身的变化，一些过去的约定已经过时，并确定了更多新的约定。许多项目都有自己的编码风格指南。如.
2020-08-17 17:12:07
615
原创 Ubuntu 16.04 下部署Flask项目
系统：Ubuntu 16.04 数据库：Mysql 8.0 Web框架：Flask 服务器：nginx WSGI 服务器：gunicorn绿色独角兽 Python3（一）安装Mysql数据库下载官方提供的 mysql-apt-config.deb 包配置文件进行APT源设置，下载地址：https://dev.mysql.com/downloads/repo/apt/安装mysql：sudo dpkg -i mysql-apt-config_0.8.14-1_all.de..
2020-06-19 22:48:48
438
转载 HDFS 数据块详解
HDFS数据块：与一般文件系统一样，HDFS也有块（block）的概念，HDFS上的文件也被划分为块大小的多个分块作为独立的存储单元。与通常的磁盘文件系统不同的是：HDFS中小于一个块大小的文件不会占据整个块的空间（当一个1MB的文件存储在一个128MB的块中时，文件只使用1MB的磁盘空间，而不是128MB）设置数据块的好处：（1）一个文件的大小可以大于集群任意节点磁盘的容量（2）容易对数据进行备份，提高容错能力（3）使用抽象块概念而非整个文件作为存储单元，大大简化存储子系统的设
2020-06-16 14:28:11
1292
转载 我在生产项目里是如何使用Redis发布订阅的？
我在生产项目里是如何使用Redis发布订阅的？什么是发布订阅所谓发布订阅，就是消息发布者发布消息及消息订阅者接收消息，二者通过某种媒介关联起来。这类似以前的『订报』，当我们订阅了某种报纸后（比如财经报），每当报纸有新的期刊出版后，就会有邮递员给我们送过来。即，只有定了这种报纸才会收到出版社发布的这种新报纸。Redis的发布订阅功能也是类似，首先要有消息的发布者，其次要有消息的订阅者。有...
2019-09-15 21:31:19
229
转载 UserAgent大全 Python【转】
# -*-coding:utf-8 -*- import random # 返回一个随机的请求头 headersdef getheaders(): # 各种PC端 user_agent_list_2 = [ # Opera "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (K...
2019-08-26 16:40:51
292
转载 flask 重定向到上一个页面（获取当前url的前一个url）
flask 重定向到上一个页面（获取当前url的前一个url）作用：传入当前页面url，重定向到前一个url代码：from urllib.parse import urlparse, urljoin# 函数功能，传入当前url 跳转回当前url的前一个urldef redirect_back(backurl, **kwargs): for target in requ...
2019-06-11 19:45:00
4323
原创 Python3 使用flask_sqlalchemy 报错ModuleNotFoundError: No module named 'MySQLdb'
Python3 使用flask_sqlalchemy 报错ModuleNotFoundError: No module named 'MySQLdb'原因：python3 连接数据库驱动是 pymysqlpython2 连接数据驱动可以用 pymysql、MySQLdbsqlalchemy 默认使用 MySQLdb 连接数据库所以报错！解决办法：import...
2019-05-21 17:27:22
5933
转载 Flask-sqlalchemy 基本使用
Flask-SQLAlchemy库让flask更方便的使用SQLALchemy,是一个强大的关系形数据库框架,既可以使用orm方式操作数据库,也可以使用原始的SQL命令.Flask-Migrate 是一个数据迁移框架,需要通过Flask-script库来操作.一.配置Flask-SQLAlchemy程序使用的数据库地址需要配置在SQLALCHEMY_DATABASE_URI中,S...
2019-05-21 17:02:59
413
原创 Python 唤起QQ对话框 QQ客服效果
项目内新建文件，后缀改为 .bat如图：1、编辑文件添加一下内容：start "C:\Program Files\Google\Chrome\Application\chrome.exe" tencent://message/?uin=你的QQ号码&Site=有事Q我&Menu=yes/2、保存3、新建demo.py文件，编辑添加一下...
2019-02-26 13:10:47
1632
转载 Python 中 super
1.简单的使用在类的继承中，如果重定义某个方法，该方法会覆盖父类的同名方法，但有时，我们希望能同时实现父类的功能，这时，我们就需要调用父类的方法了，可通过使用 super 来实现，比如：在上面，Animal 是父类，Dog 是子类，我们在 Dog 类重定义了 greet 方法，为了能同时实现父类的功能，我们又调用了父类的方法，看下面的使用：super 的一个最常见用法可以说是在...
2019-01-15 21:33:08
110
转载 Ubuntu安装mysql及设置远程访问方法
Ubuntu安装mysql及设置远程访问方法ubuntu上安装mysql非常简单只需要几条命令就可以完成。1.sudo apt-get install mysql-server2.apt-get install mysql-client3. sudo apt-get install libmysqlclient-dev安装过程中会提示设置密码什么的，注意设置了...
2019-01-10 14:31:53
245
原创 Windows 上安装MySQL8.0.11 （zip版）
MySQL-mysql 8.0.11安装教程1、下载zip安装包：MySQL8.0 For Windows zip包下载地址：https://dev.mysql.com/downloads/file/?id=476233，进入页面后可以不登录。后点击...
2018-11-25 01:22:18
7032
1
前程无忧-测试岗位数据.7z
2020-10-12
Python Flask写的绿色植物商城（购物）网站
2018-09-05
Dobot 机械臂 机器视觉 坐标转换文档
2018-03-28
python-opencv 机器视觉 质心，形心 坐标 颜色分拣
2017-05-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人