- 博客(78)
- 收藏
- 关注
原创 mysql 到 doris 挪移数据
将下面的内容写入其中就好:(注意,jdk-17.0.9_linux-x64_bin.tar.gz文件解压到哪,JAVA_HOME就绑定啥路径,原则就是 JAVA_HOME/bin 目录就是 jdk-17.0.9_linux-x64_bin.tar.gz解压后的文件的bin目录,确保这个即可)接下来,看datax要用的一个配置文件,这个文件由我们自定义,就是具体要干啥,需要给datax说清楚的意思。不过,最终,我这里的命令执行失败的,因为,我的虚拟机连接不到公司的数据库服务器,比较遗憾。
2025-03-14 18:01:07
864
原创 DataX的python3使用
datax这东西本身是python2写的,这导致python3,就各种语法报错,问题是,现在的工程都是python3搞的,这就很难受....怕回头原帖看不了了,再记录一次,这,很无奈.....之前一些帖子,突然就看不了了....ok,把这三个文件给换成python3版本,就可以正常使用了。路径 datax/bin/ 下。
2025-03-14 13:05:05
289
原创 flask 接口文档自动化
首先可以先去了解下 Swagger ,这个第三方库....这是flask的一个库,可以很好的生成flask的文档。其实重点就在于函数里的说明文档部分,这东西写好,然后就能实现接口文档的自动化了....整体还是好用的,就是有点费人.....写函数的时候,得写一大堆的 yml 格式的说明。这里点开以后,还可以直接测试,并可以看到测试结果。这是一个get请求的....这只是个大概的例子....这是一个post请求的.
2025-03-06 10:53:12
443
原创 python 读取csv
这里注意,前面的 header 给值的时候不要把列明算在里头,比如对于上面的表单,如果 header = 3,那就直接把表头给干没了,可以理解为,header 给的几就是直接删除几行数据(仅为理解,并不影响原表单),然后切记把表头留出来。这里依旧按照之前的逻辑举例,header = 2 先删2行数据,然后,后面所有数据,均往上挪动 2 行,成为新的表单,新表单第一行是列名信息,从第二行开始就是数据了,那么对于我们要收集的有效数据而言,前面一共有 4 行是无效数据。然后 cols 就可以给出列名了。
2024-12-18 18:23:50
333
原创 虚拟机安装python3
但是注意,如果,在之前安装openssl的时候,没给安装目录,这里就肯定不是这个了。当然,一会安装python,python就是要用这个的。接下来,就可以安装python了....当然要先下载python,这个去官网就可以下。这里注意,其实也可以不指定安装目录,不指定的话,貌似也挺省事.....当然,直接抄作业肯定没问题,省的后面还需要改动。请注意,这是一个完全,刚造的虚拟机,以及刚造的python3.....所以,这个过程,一定是没问题的......首先,准备一个全新的虚拟机。啥啥都没有,嘎嘎新的那种。
2024-12-05 22:05:56
429
原创 虚拟环境的复用
通过构建容器镜像,然后,再将镜像打成tar包的方法来解决问题,但是基础镜像单薄的容器,回头在下载各种 python 包的时候就开始各种问题,不是缺这个,就是缺那个......费劲......如果搞一个大点的基础镜像,好吧,一个python3.9的基础镜像差不多950M,然后,稍微搞点东西,就1.3G乃至更大....这样的情况在上传镜像包的时候,就会各种麻烦,各种慢,各种断链然后上传失败....因为本地的 python 和环境的 python 是有可能位置不一样的,那么造出来的虚拟环境,就可能是有差异的。
2024-12-04 14:28:20
391
1
原创 mysql的奇怪问题
cur.execute() 执行语句的时候,不能在里面搞拼接,否则会报错....另外,mysql在插入数据的时候,不仅可以给元组,其实也可以给字典....好吧,这里又有一个大坑,看下创建表单的语句,关键是带不带index...改了之后,依旧是报错....错误差不多不变....对于这种,可以直接用上面的语句,不会报错。使用上面的语句就会报语法错误了....给变量,不能给具体的数据....注意,加了好多反引号....以上代码,没啥问题....这样就可以了......这样就不报错了....
2024-12-04 12:25:37
283
原创 python轻量级异步定时任务
APScheduler 是一个功能强大的 Python 任务调度库,可以用于在指定的时间间隔或特定的时间点执行任务。其中的 apscheduler,是指:Advanced Python Scheduler。参数用于控制当添加一个新任务时,如果已经存在一个具有相同 ID 的任务,应该如何处理。是 APScheduler 中的一种调度器类型,它在后台运行,不会阻塞主程序的执行。,然后尝试添加一个具有相同 ID 的任务。所以:在这个例子中,首先添加了一个任务。这里面就是一个异步的定时任务。
2024-09-11 10:21:53
648
原创 docker 构建 mongodb
最近需要在虚拟机上构建搭建mongo的docker容器,搞了半天老有错,归其原因,是因为现在最新的mango镜像的启动方式发生了变化,故此现在好多帖子,就是错的。这里需要注意,启动的时候用的是 mongosh,而不是mongo,这是新版mongo镜像于老版的差异导致的,也就造成了各种帖子不管用的原因了。-v 为设置容器的挂载目录,这里是将本机的“/data/mongo”目录挂载到容器中的/data/db中,作为 mongodb 的存储目录。--name 为设置该容器的名称。到这就完成了....
2024-07-25 11:07:57
505
原创 配置 配置文件
python中有个第三方库,叫做 configparser,这个直接pip去下载就好。在合适的位置创建一个 .conf 文件或者 .ini文件。这样就可以拿到想要的参数对应的结果了。
2024-07-16 14:47:59
213
原创 redis + celery
首先,部署Redis数据库:数据库:Redis数据库_asddASD323432的博客-优快云博客https://www.cnblogs.com/clark1990/p/17174251.htmlPeriodic Tasks — Celery 5.3.5 documentationPython定时任务库Celery——分布式任务队列_python 使用分布式消息系统celery实现定时任务 自动执行python 脚本_XerCis的博客-优快云博客Python-Celery定时任务、延时任务、周期任务、
2023-11-16 17:55:29
735
1
原创 xx is not in the sudoers file. This incident will be reported
其实,背景是这样的,我自己没事瞎作死,干了个这事,给 /etc/sudoers 文件的最下面一行添加了个用户,然后,就悲剧了,无法使用sudo了,报的错跟上面一样,关键是虚拟机切别的用户都不是sudo组里的用户,都没法改sudoers文件....这就成死胡同了,绕不过去了....再网上找了一些方法,可以选择使用:recovery mode 去解决问题....这里选择 root 这一项,意思就是以 root 用户的身份进入系统,但是,却不用输 root 用户的密码。在重启的时候长按 shift 键。
2023-10-31 16:59:35
328
原创 在PyCharm中运行Python的unit测试时,出现‘file‘ object has no attribute ‘getvalue’的错误
在PyCharm中运行Python的unit测试时,出现'file' object has no attribute 'getvalue’的错误
2023-03-23 10:39:56
1403
1
原创 (unicode error) ‘unicodeescape‘ codec can‘t decode bytes in position : truncated \UXXX escape
SyntaxError: (unicode error) 'unicodeescape' codec can't decode bytes in position 455-456: truncated \UXXXXXXXX escape
2022-08-23 18:20:56
1255
原创 ImportError: /lib64/libc.so.6: version `GLIBC_2.18‘ not found
ImportError: /lib64/libc.so.6: version `GLIBC_2.18' not found
2022-08-10 15:26:14
4549
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人