- 博客(19)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 python 将mysql转为csv、json导入到Doris数据库
上一篇文章是将mysql导出成csv文件，适合csv不是很大的情况，以下对脚本进行了优化，采用分块读取csv，降低了内存的使用率，提高了传输速度。后面需要进行增量更新，使用csv太麻烦，想着使用json传输可能会好点，并直接从mysql中获取数据直接传输到doris，以下是脚本。以上脚本仅供学习参考，仅为实现临时功能而编写，还有优化的空间。
2024-08-21 17:50:57
492
原创 python 将csv文件导入到doris数据库
最近在实用doris导入数据时，使用FEweb端导入会遇到导入异常，使用Navicate导入sql也会出现异常，特别是max_tablet_version_num参数导致无法高并发执行插入，试过很多方法都不行，发现python有工具包，可以解决问题，现将方法发出来，之后再整合成工具类.
2024-08-14 17:55:40
791
1
原创 python 去除验证码图片噪音
若去除不完全，则可以使用多次del_noise方法，或者是提高del_noise函数number参数的值，但是需要调试才知道那个参数才是比较合适的。在处理验证码图片时，出现噪音，如横线、像素点等问题往往会影响识别率，这里给出一个去除噪音的方法，仅供学习。
2024-07-29 09:09:35
280
原创 Python Minio 工具类封装
最近因为需要对大规模的文件进行存储，选了多种对象存储方案，最终选择了MinIO，为了方便python的调用，在minio第三方包的基础上进行进一步封装调用，该工具除了基础的功能外，还封装了多线程分片下载文件和上传文件的功能，切片设置不宜过大，因为会受限于机器的带宽，过大会导致带宽被占光影响机器性能。分享的代码仅供学习使用。
2024-05-24 17:58:57
781
原创 python 使用OCR 识别woff字体文件
解析woff文件，并将woff字体转为图片，并将字体编码与字体图片相对应，便于之后的数据解密解析。做数据获取安**时发现请求返回的数据跟woff字体有关，这里写一个使用OCR识别方法记，使用的是muggle_ocr，当然可以使用其他的图片识别技术。该部分代码仅用于学习使用。
2024-05-21 10:26:49
858
1
原创 python 中使用Kafka模块进行鉴权数据推送和消费
最近刚好要用到kafka进行数据传输，又要鉴权，就研究了一下kafka的鉴权推送和消费，现在将代码放出来，有兴趣的可以看一下，鉴权的加密方式各有不同，所以需要注意哦！生产者采用的是异步推送的形式，另外加入了计数模块，担心因为脚本推送后未回调但是脚本就停止的情况。消费者的代码就比较简单，只需要加入鉴权的账号密码以及加密方式即可。以上就是全部代码，有兴趣的可以了解一下，我也当做记录。
2022-12-21 10:18:07
2325
原创 Yolo 训练 Error in load_data_detection() - OpenCV 解决办法之一
最近使用YoloV4对验证码模型训练，发现图片位深度为8 的图片无法进行识别，报了个Cannot Load image， Error in load_data_detection() - OpenCV，本以为是图片路径问题，结果测试过后，路径没问题， 后发现图片的深度是8，将图片位深度转换为24后就可以正常训练了，记录一下，以下是转换代码：import numpy as npfrom PIL import Imageimport ospath='img_8/'newpath='.
2020-11-26 09:49:32
8191
21
原创 Python3 抓取微信账单信息
这段时间有个朋友想导出微信里面的账单信息，后来发现微信的反爬虫还是很厉害的，花了点时间去分析。一、采用传统模拟http抓取抓取的主要URL:https://wx.tenpay.com/userroll/userrolllist，其中后面带上三个参数，具体参数见代码,其中exportkey这参数是会过期的，userroll_encryption和userroll_pass_ticket 这两...
2018-11-14 10:30:10
11074
15
原创 Python3.5 图片下载代码
# coding:utf-8import reimport osimport timeimport randomimport urllibimport urllib.requestimport urllib.errorclass MainProgram: # 定义类的属性 def __init__(self, url=""): self.base_...
2018-05-17 15:22:12
293
原创 使用python3进行12306模拟登陆下单流程
前段时间研究了一下python，就结合网上的一些以前大神的的博客，就自己弄了一下12306的模拟下单操作，主要是附上大致流程图。一、环境1、win7系统2、python3.53、主要使用到的模块：urllib、cookiejar、json4、用到的第三方打码：云打码5、使用的浏览器：Chrome
2017-11-22 15:48:54
1800
原创 CentOS6.5 搭建LNMP
最近买了台阿里云的服务器，趁着复习一遍搭建LNMP，有参考部分网上教程再自己整理一遍。系统：CentOS 6.5Nginx版本：1.10PHP版本：7.1Mysql版本：5.5 一、使用yum安装Nginx1、直接执行yum -y install nginx2、安装即可，然后service nginx start
2016-11-12 23:39:52
1823
原创 对于PHP引起的(104: Connection reset by peer) while reading response header from upstream错误解决方法
对于php引起的(104: Connection reset by peer) while reading response header from upstream，这个问题，在Linux生产服务器中，我的php版本是7.0，只需修改/usr/local/php/etc/php-fpm.d中的www.conf文件中request_terminate_timeou这个参数，只需将前面的；去掉，设置
2016-04-29 14:46:50
9480
转载 最完美解决Nginx部署ThinkPHP项目的办法
网上通用解决方法的配置如下：[plain] view plaincopyserver { ... location / { index index.htm index.html index.php; #访问路径的文件不存在则重写URL转交给ThinkPHP处理 if
2016-04-25 14:21:59
564
apache-ant-1.10.3-bin
2018-05-14
unity-arkit-plugin
2017-12-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人