- 博客(110)
- 收藏
- 关注
RSS订阅原创 稀疏矩阵 数据格式 csr
https://blog.youkuaiyun.com/m0_64204369/article/details/123035598
2024-09-19 10:34:00
151
原创 tronado websocket
server代码：from flask import Flaskfrom flask_cors import CORSfrom tornado import websocket, ioloop, webfrom tornado.web import FallbackHandlerfrom tornado.wsgi import WSGIContainerfrom apps.moni...
2024-09-11 16:16:00
406
原创 DataFrame RHS语法查询语句
RHS:https://github.com/acoboh/query-filter-jpa/blob/main/README.md规则：查询字段名:查询条件(条件值) 关系符 查询字段名:查询条件(条件值) ...查询条件有：‒ eq: 等于‒ gt: 大于‒ gte: 大于等于‒ lt: 小于‒ lte: 小于等于‒ ne: 不等于‒ cn: 包含‒ ncn: 不包含...
2024-07-26 17:04:00
381
原创 射线法检查一个点在不在多边形内-python 实现
参考文档：https://www.cnblogs.com/gxcdream/p/7597865.htmlhttps://www.cnblogs.com/muyefeiwu/p/11260366.htmlhttps://blog.youkuaiyun.com/liangzhaoyang1/article/details/51088475代码：点击查看代码# encoding=utf8import n...
2024-07-10 10:55:00
442
原创 多边形填充-活动边表法
参考文档：参考1：https://blog.youkuaiyun.com/u013044116/article/details/49737585参考2：https://blog.youkuaiyun.com/keneyr/article/details/83747501算法思想：对多边形沿y轴从0开始遍历，建立边表NET。只记录顶点的x, dx, ymax。根据NET构建活动边表AET(activate ed...
2024-07-08 10:27:00
418
原创 cython 笔记
数据类型# bool 类型// bool_type_ptactice.pyxcdef bint a = 123 # 非0 为 真 ， 0 为假cdef bint b = -123cdef bint c = 0py_a = a # cdef 定义的内容没法直接在python中直接引用py_b = bpy_c = c// main.pyimport pyximport...
2024-06-26 23:19:00
281
原创 cython 数据类型
文档： https://docs.cython.org/en/latest/src/userguide/language_basics.html#declaring-data-types
2024-06-23 14:10:00
227
原创 线程池 + 回调 （进程赤用法类似）
import osimport threadingimport timefrom concurrent.futures import ThreadPoolExecutorfrom functools import wrapsThreadPool = ThreadPoolExecutor(max_workers=10)def thread_executor(a): pri...
2024-06-04 17:20:00
137
原创 numba-Ahead of time
参考文档：https://numba.pydata.org/numba-doc/latest/user/pycc.htmlCompiling code ahead of time(运行之前编译代码)虽然 numnb 主要是 Just-In-Time(运行时)编译，但也提供了 Ahead-Of-Tiem(提前编译)的工具。优点：AOT 编译提供了一个不依赖 numba 的编译扩展模块，它...
2024-05-12 22:34:00
464
原创 numba-cfunc
参考文档: https://numba.pydata.org/numba-doc/latest/user/cfunc.htmlcfunc创建 C/C++回调函数与 jit 相似，有一个不同点是，cfunc 强制传递一个签名，用来确定 C 回调的可见签名。cfunc 对象暴漏出编译后的 C 回调地址，以便可以传递给任何的外部 C/C++ 库。他还暴漏了一个 ctypes 回调对象指向该回调...
2024-05-12 17:40:00
285
原创 numba-jitclass
参考文档：https://numba.pydata.org/numba-doc/latest/user/jitclass.html#jitclass对类进行装饰import numba as nbimport numpy as npfrom numba.experimental import jitclassspec = [ ("value", nb.int32), ...
2024-05-12 16:51:00
399
原创 numba-vectorize
参考文档： https://apachecn.github.io/numba-doc-zh/#/docs/17vectorize装饰器:允许python函数的标量入参使用 numpy 的 ufuncs。import numba as nb@nb.vectorize([nb.int32(nb.int32, nb.int32)], nopython=True)def f(x, y):...
2024-05-12 12:52:00
306
原创 复杂二进制数据
点击查看代码# 读取嵌套型和大小可变的二进制结构from itertools import chainimport struct# 多边形数组polys = [ [(1.0, 2.1), (2.0, 3.2), (3.0, 4.3)], [(1.1, 2.2), (2.1, 3.3), (3.1, 4.4), (4.1, 5.5)], [(1.2, 2.3)...
2024-04-27 14:27:00
339
原创 二进制数组
点击查看代码# 读写二进制结构数组from functools import partialfrom struct import Struct# Writedef write_records(records, format, f): """Write a sequence of tuple to a binary file of structures""" rec...
2024-04-27 14:26:00
282
原创 二进制文件内存映射
点击查看代码# 对二进制文件做内存映射# 使用 mmap 模块对文件进行内存有映射操作import mmapimport os.pathdef memory_map(filename, access=mmap.ACCESS_WRITE): """ :param filename: :param access: mmap.ACCESS_WRITE: 读写...
2024-04-27 14:25:00
411
原创 ab压测命令
linux安装# 安装命令：apt-get install httpd-tools# 检查是否安装成功ab -V# ab参数说明ab -h>>>-n 在测试会话中所执行的请求个数。默认时，仅执行一个请求。-c 一次产生的请求个数。默认是一次一个。-t 测试所进行的最大秒数。其内部隐含值是-n 50000，它可以使对服务器的测试限制在一个固定的总...
2024-04-11 18:03:00
364
原创 API文档生成(sphinx)
1.安装pip install Sphinx2.使用2.1文档手册Sphinx 1.3.1 中文手册 (推荐查看)教程https://fengxc.me/基于python注释使用sphinx自动化生成API文档.html2.2创建工程新建一个文件夹sphinx_test, 并创建两个子文件夹code, doc。目录结构如下：进去到doc目录， 打开powershell, 执行下边命...
2024-01-09 09:45:00
583
原创 py加密
.pyc1.单个文件：python -m py_compile file.py其中的 -m 相当于脚本中的import，这里的-m py_compile 相当于import py_compile脚本：Code:import py_compilepy_compile.compile('path') //path是包括.py文件名的路径2.多个文件python -m com...
2024-01-02 16:11:00
409
原创 hdf5文件读取orm
点击查看代码class BaseNode: """hdf5 file object relational model basic node class Including establishing model relationships and data sets, attribute values, obtaining child nodes, etc. """...
2024-01-02 10:05:00
425
原创 基于knn的图片识别
基于KNN的图片识别KNN算法介绍https://zhuanlan.zhihu.com/p/25994179项目简介使用numpy和opencv实现的一个简易的knn图片识别模块项目结构- code: 存放代码 - create_collection.py: 创建数据集功能， 会将img中的图片建立数据集到data_collection下 - knn.py: knn实现- ...
2023-11-07 10:50:00
186
原创 git merge规则
参考文档：https://juejin.cn/post/7129333439299321887丹尼尔：Hi，蛋兄，周杰伦都出新专辑了，你咋还不更新啊，真的打算半年一更啊？蛋先生：好像确实是这样，要不，择日不如撞日，今天聊聊？丹尼尔：好啊，那聊些啥呢？蛋先生：最近搞的事情需要实现两个应用项目的代码合并，逻辑就完全参照 git merge 的基本原则，那就聊聊 git merge 吧丹尼尔...
2023-08-18 17:22:00
588
原创 字符串加密
字符串加密import base64class StrEncrypt: """字符串加密""" def __init__(self): self._key = {'a', 'c', 'd', 'f', 'h', 'j', 'm', 'z'} self._un_key = {'~', '!', ')', '$', '-', '_', '('...
2023-08-14 09:55:00
186
原创 通过OpenTelemetry上报Python-flask应用数据（阿里云）
参考文档https://help.aliyun.com/document_detail/611711.html?spm=a2c4g.90499.0.0.34a056ddTu2WWq先按照 方法一：手动埋点上报Python应用数据 步骤测试上报是否正常。flas 上报在 手动埋点上报Python应用数据 的基础上，上报flask应用的数据，因为上边的文档只有django的，所以在这里记录一...
2023-08-10 09:55:00
1082
原创 python 执行超时装饰器
代码：import signalclass TimeoutError(Exception): passdef timeout(seconds=10, error_message='Timeout'): def decorator(func): def wrapper(*args, **kwargs): def _handle_ti...
2023-07-10 14:45:00
206
原创 cv2 安装问题, opencv
解决安装了opencv-python，但 import cv2 报错。需要安装：pip install opencv-python-headless
2023-07-05 16:02:00
674
原创 flask response 返回压缩
import gzipfrom io import BytesIOfrom flask import jsonify, after_this_request, request@app.get("/book")def get_book(): """ to get all books """ data = { "code": 0, ...
2023-06-19 10:24:00
130
原创 linux 定时任务
可以用非root用户创建定时任务Linux crontab 是用来定期执行程序的命令。当安装完成操作系统之后，默认便会启动此任务调度命令。crond 命令每分钟会定期检查是否有要执行的工作，如果有要执行的工作便会自动执行该工作。注意：新创建的 cron 任务，不会马上执行，至少要过 2 分钟后才可以，当然你可以重启 cron 来马上执行。语法crontab [ -u user ] f...
2023-06-10 14:56:00
843
原创 下载文件进度提醒
需要使用第三发包 tqdm安装pip install tqdm效果展示简单文件下载代码import requestsfrom tqdm import tqdmdef download(link:str): """下载文件""" response = requests.get(link, stream=True) response.raise_for_sta...
2023-05-28 14:26:00
72
原创 第一次写一篇与技术无关的博客-大批量数据处理
上周接到了一个这样的需求，有几千个xml文件需要解析入库，每个文件里边有三万条数据。解析出来后要按表字段，重新组成需要的数据，不能直接将解析后的json入库。一开始我觉得这个事挺简单的，直接动手写了个demo，用随机选了两个xml文件测一下，没问题，成功入库。从解压xml到最后的数据入库，一个文件大概花费300秒左右。直到我用多进程并发去执行的时候发现，事情并不是我想的那么简单，发现子进程会莫...
2023-05-28 10:28:00
77
原创 协程小demo
代码import asyncioasync def run(i): print(i) await asyncio.sleep(i) print(333333333, i)if __name__ == '__main__': loop = asyncio.get_event_loop() tasks = [run(i) for i in rang...
2023-05-26 15:30:00
77
原创 python mongodb
下载mango数据库https://www.runoob.com/mongodb/mongodb-window-install.html程序调用安装依赖pip install pymongo简单使用import pymongo# Connect to MongoDBmyclient = pymongo.MongoClient("mongodb://localhost:27017...
2023-05-24 10:27:00
74
原创 flask blueprint
定义from flask import Blueprintfrom . import dataApidef register_url(): bp = Blueprint('layers', __name__, url_prefix='/<regex("[0-9a-zA-Z-]+"):system>/<SN>/<source>/<pro...
2023-05-05 17:24:00
69
原创 python打包工具-Nuitka
nuitka将python源码转成C++(这里得到的是二进制的pyd文件，防止了反编译)，然后再编译成可执行文件。提高安全性和运行速度。github：https://github.com/2267770481/cython_test安装pip install nuitkapip install ordered-set # 加速编译pip install zstandard # onef...
2023-04-26 19:50:00
264
原创 python 编译成.pyd/.so
所谓pyd文件，就是D语言(C/C++综合进化版本)编写的一种dll 文件，相比起容易被反编译的pyc文件，pyd文件目前还没有办法进行反编译，只能被反汇编，因此有很高的安全性，并且运行效率也比较高。在windows会编译出pyd,linux会编译称.so编译前准备要想编译pyd，首先要通过pip安装Cython和setuptools库。pip install cythonpip i...
2023-04-26 11:33:00
205
原创 Supervisor
安装pipinstallsupervisor生成配置配置文件# 查看默认模板语法echo_supervisord_conf生成配置文件echo_supervisord_conf><虚拟环境>/etc/supervisor.conf添加项目配置1.在<虚拟环境>/etc 下创建 supervisord.d 文件夹mkdir superviso...
2023-04-25 14:14:00
79
原创 kubernetes 使用 1
安装1.用以下命令下载最新发行版：curl -LO "https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectl"可以用以下方式指定版本curl -LO https://dl.k8s.io/release/v1.27.0/bin/linux/amd64...
2023-04-25 11:02:00
392
原创 zookeeper 搭建 linux
jdk安装1.从网盘里下载jkd2.创建安装目录，然后将jdk包解压到目录中mkdir jdktar -zxvf jdk-8u271-linux-x64.tar.gz -C /home/ubuntu/app/jdk/3.设置环境变量修改 vi /etc/profile, 在 profile 文件中添加如下内容并保存：set java environmentJAVA_HOME=/...
2023-04-14 17:16:00
229
原创 python yeah 邮箱发邮件
设置先理一下常见的电子邮件协议： SMTP、POP、IMAP 都遵循TCP/IP协议规范。至于Exchange是邮件服务器，不是收邮件和发邮件的协议，不要混淆概念，一般情况下不用，因为它是微软的产品。SMTP：即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则，由它来控制信件的中转方式。简单来说是 发送协议。POP：协议允许电子邮件客户端下载服务器上的邮件，但是在客户端的操...
2023-04-12 15:35:00
377
原创 opencv-python 4.16. 基于GrabCut算法的交互式前景提取
理论GrabCut算法由英国剑桥微软研究院的Carsten Rother，Vladimir Kolmogorov和Andrew Blake设计。在他们的论文："GrabCut": interactive foreground extraction using iterated graph cuts中提出了一种基于最小用户交互的前景提取算法，其结果为GrabCut。从用户的角度来看，它是如何工...
2023-04-10 17:09:00
227
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人