- 博客(53)
- 收藏
- 关注
RSS订阅
原创 Kettle 解决数据同步缓慢及性能效率问题 (数据同步利用时间戳解耦，性能通过配置优化提升90%)
在数据同步过程中，缓慢的同步速度和低效率的性能往往是令人头痛的问题。本文将介绍如何通过Kettle解决数据同步缓慢及性能效率问题，其中主要涉及数据同步利用时间戳解耦和通过配置优化提升性能高达90%的方法。在先前的博客文章中，我们配置了Kettle在Docker中的部署过程，以及如何配置和运行Sqlserver到Mysql的数据同步任务。同时结合Start定时任务，实现定时调度的功能，确保数据同步任务的稳定运行。
2024-02-01 10:38:20
5669
3
原创 Kettle-Docker部署+Sqlserver数据同步Mysql+Start定时任务
kettle，翻译为中文叫做水壶，显而易见，水壶不管壶里面装的是什么液体，最终都会从壶嘴平滑的流出来。就好比，不管水壶装的是什么类型的数据，最后都会通过壶嘴以特定的格式流出来。其实就是对ETL思想的一种实现，它是通过java语言编写，秉承ETL思想的工具。既然是此采用java实现的，那就肯定具有跨平台的特性。
2024-01-25 11:20:16
2557
2
原创 Grafana（三）Grafana 免密登录-隐藏导航栏-主题变换
Grafana 的常用方式： 将配置好的Grafana图嵌入到系统页面中。
2024-01-17 11:02:05
5672
2
原创 Grafana（二）Grafana 两种数据源图表展示（json-api与数据库）
在先前的博客文章中，我们搭建了Grafana ，它是一个开源的度量分析和可视化工具，可以通过将采集的数据分析、查询，然后进行可视化的展示，接下来我们重点介绍如何使用它来进行数据渲染图表展示Docker安装Grafana-优快云博客分析上述环境变量信息得知，需要把容器内的/etc/grafana、/var/lib/grafana、/var/log/grafana三个目录挂载到宿主机上以确保数据不随容器的停止而消失。
2024-01-16 14:28:09
4423
原创 （aiohttp-asyncio-FFmpeg-Docker-SRS）实现异步摄像头转码服务器
定义启动和停止 RTSP 转码任务的方法# 开始转码方法# 检查相同RTSP是否已有子进程在处理# 使用Semaphore限制并发进程数量# 实际的转码操作，这里需要调用ffmpeg或其他工具'ffmpeg','-i', ip,# 创建异步子进程# 将任务添加到字典中# 等待子进程完成# 从字典中移除已完成的任务# 停止转码方法# 停止转码任务process.terminate() # 发送终止信号await process.wait() # 等待进程结束。
2024-01-08 17:06:04
1281
原创 Docker部署 SRS rtmp/flv流媒体服务器
SRS（Simple Realtime Server）是一款开源的流媒体服务器，具有高性能、高可靠性、高灵活性的特点，能够支持直播、点播、转码等多种流媒体应用场景。SRS 不仅提供了流媒体服务器，还提供了适用于多种平台的客户端 SDK 和在线转码等辅助服务，是一款十分强大的流媒体解决方案。
2024-01-05 10:25:53
3769
2
原创 Grafana（一）Docker安装Grafana
分析上述环境变量信息得知，需要把容器内的/etc/grafana、/var/lib/grafana、/var/log/grafana三个目录挂载到宿主机上以确保数据不随容器的停止而消失。GF_PATHS_CONFIG=/etc/grafana/grafana.ini 数据文件位置：GF_PATHS_DATA=/var/lib/grafana 根目录的位置。drwxr-xr-x. 5 grafana grafana 41 5月 22 20:59 grafana。# -d：在后台运行容器，并输出容器ID。
2023-12-28 14:48:28
3616
原创 Win10环境前后端分离项目基于Vue.js+Tornado+Python3实现微信(wechat)扫码支付流程
在生活具有广泛性、高效性、使用方便性的支付方式是扫码支付，扫码的优点在于推广成本低，上至钓鱼台国宾馆，下至发廊地摊都能用，打印出来就完事了，而相比其他支付方式，现金的找零及假钞问题，信用卡的办理门槛、pos机的沉没成本，就算微信可集成的h5支付和小程序支付，奈何很多老年人根本不会用小程序和手机浏览器，更别说再进行支付操作了，所以基于二维码的扫码支付的确是非常符合国情的。本次我们使用前后端分离项目Vue.js+Tronado来集成微信的扫码支付功能，体验一下21世纪泛用性最高的支付方式，首先注册微信公众平.
2022-02-16 16:24:11
658
原创 基于Docker-compose搭建Redis高可用集群-哨兵模式（Redis-Sentinel）
我们知道，Redis的集群方案大致有三种：1）redis cluster集群方案；2）master/slave主从方案；3）哨兵模式来进行主从替换以及故障恢复。sentinel系统可以监视一个或者多个redis master服务，以及这些master服务的所有从服务；当某个master服务下线时，自动将该master下的某个从服务升级为master服务替代已下线的master服务继续处理请求。同样，我们使用docker进行搭建新建一个mkdir redis-sentinel文件夹进入..
2022-02-15 15:59:39
534
原创 Flask实现高效日志记录模块
在Flask应用中，日志记录是重要的功能之一，它可以帮助开发人员跟踪请求的处理情况，快速定位错误，并且有助于应用的监控与调试。本文将介绍如何在Flask应用中实现请求日志记录，包括如何记录请求的各种信息（如请求数据、响应数据、错误信息等）并将其保存到数据库中。我们还会演示如何捕获不同级别的日志（信息级别、错误级别），并讨论如何处理复杂的响应数据（如流式响应）。
2025-02-19 14:37:31
1156
原创 使用海康 ISAPI 与网络硬盘录像机数据交互
本文介绍了如何通过海康ISAPI与海康网络硬盘录像机进行数据交互，使用语言为Python。获取录像机的 下方数据信息。通过ISAPI，我们能够获取摄像头各类资源及进行摄像头布防操作，进而为平台数据监控展示、管理与调度提供操作支持。获取录像机通道信息：通道名称：标识每个摄像头的名称。通道号：摄像头在录像机上的唯一编号。通道 IP：摄像头对应的网络地址。查询视频流配置：码流类型：如主码流、副码流。帧率：视频每秒传输的帧数。码率：视频流的传输速率。分辨率：视频画面的清晰度。
2024-12-10 11:27:43
998
原创 获取海康综合安防管理平台（区域，监控点，时效性rtsp流）数据
本文介绍了如何通过接口与海康综合安防管理平台进行数据交互，获取平台中的区域信息、监控点数据以及时效性 RTSP 流。通过调用平台的 API，我们能够有效地获取和管理安防系统中的各类资源，支持多种数据类型的获取与分析，进而为平台的监控、管理与调度提供数据支持
2024-12-06 13:40:17
2712
原创 x86 Docker镜像转换为 ARM 架构镜像
Docker 是一种流行的容器化技术，可以帮助开发人员在不同的操作系统和硬件平台上运行应用程序。然而，由于不同的硬件架构，例如 x86 和 ARM，Docker 镜像在不同的平台上不能直接运行。本文将介绍如何将 x86 Docker镜像转换为 ARM 架构，并提供代码示例。
2024-10-23 10:24:07
4255
原创 Kafka-Windows搭建全流程（环境，安装包，编译，消费案例，远程连接，服务自启，可视化工具）
Kafka是一款流行分布式消息分布订阅系统，除Kafka之外还有MQ、Redis等。我们可以把消息队列视为一个管道，管道的两端分别是消息生产者(producer)和消息消费者(consumer)，消息生产者产生日志等消息后可以发送到管道中，这时可以驻留在内存或者磁盘上，直到消费者来把它读走为止。上述就是Kafka的一个概括，我们只需要了解一下Kafka的架构和一些专业术语即可，下面就来介绍一下Kafka 中一些专业术语。：消息生产者，负责把产生的消息发送到Kafka服务器上。
2024-10-23 09:48:29
4362
原创 Docker SDK for Python 交互
使用 Docker SDK for Python 进行交互非常方便，可以执行各种操作，如管理容器、镜像、网络等。以下是一些常见的操作和示例。
2024-10-09 17:16:07
636
原创 软件系统基本权限设计指南
在这篇博客中，我们将探讨一种结构化的方法来设计基本的权限系统，重点关注用户角色、部门访问和菜单权限。通过仔细规划和结构化的用户角色、部门访问和菜单权限，确保系统的安全性、灵活性和易于管理性。子级菜单（2, 3, 4, 6, 7, 8, 9, 11, 12, 13, 14）： 超级管理员可访问。每个用户都隶属于一个部门，并拥有一个特定的角色，该角色决定了他们的访问级别。子级菜单（2, 3, 4, 6, 7, 8, 9,）：管理员可访问。该表格将部门与角色关联，确保部门内的所有用户都拥有适当的访问权限。
2024-09-05 15:49:54
1332
原创 Python Flask-Login：构建强大的用户认证系统
目录编辑Flask-Login简介构建流程1. 用户模型初始化（2）模型中直接定义必要的属性和方法2. Flask-Login组件初始化（1）依赖包（1）设置login-secret_key（2）存储会话设置3. Flask-Login 路由方法编写（1） 存储userid（2）登录视图编写（调用load_user方法对id进行存储）（3）保护视图（加载login_required）（4） 注销视图（用户退出）（5）平台请求-刷新会话时间（如果30分钟内不存在接口请求-退出）4. 完整代码案例。
2024-07-26 09:48:21
2207
原创 Linux 搭建 Kafka 环境 - 详细教程
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，这使它作为企业级基础设施来处理流式数据非常有价值。
2024-07-03 15:22:35
10256
原创 Git 完整操作之记录
git add . 会把本地所有untrack的文件都加入暂存区，并且会根据.gitignore做过滤。以下是一个完整的 Git 基本操作流程和示例代码，包含常见的 Git 命令及其使用示例。这样可以确保这些文件夹在未来的操作中被 Git 忽略，并且不会再被添加到仓库中。git add * 会忽略.gitignore把任何文件都加入。文件来过滤掉不想被跟踪的文件和文件夹。忽略指定路径中的文件或文件夹。
2024-06-05 15:19:47
1304
1
原创 Linux系统 -- 创建systemd服务单元 Python 程序在系统启动时自动启动，并持续运行。
1. 创建一个名为 model_ai.service 的文件，并将其放置在 /etc/systemd/system/ 目录中。指定了服务的类型为简单类型，这意味着 systemd 不会管理服务的 fork、通信或其他复杂行为。是启动服务时要执行的命令，这里指定为启动你的 Python 脚本。是指定服务工作目录，这里设置为你的 Python 脚本所在的目录。表示如果服务意外停止，systemd 将自动重新启动服务。表示在服务停止后，系统将等待 3 秒后尝试重新启动服务。指定了服务应在网络服务启动后启动。
2024-05-08 09:39:54
571
原创 PaddleOCR 图片日期识别
当今数字化的时代，我们经常需要从图像中提取信息，以便进行后续的处理和分析。其中，日期信息作为一种重要的时间标记，常常存在于各种图像中，例如照片、截图等。然而，要手动从图像中提取日期信息是一项耗时且繁琐的任务，特别是当图像数量庞大时。因此，我们需要一种自动化的方式来实现这一任务。
2024-04-10 11:22:31
1423
原创 Linux arrch64系统架构 py文件运行时的编码问题解决
因为要测试一些东西，所以必须有中文数据来做支撑，之前用的架构是x86，现在一个服务器的架构为arrch64，下列编码都挨个都进行声明，但是无法解决问题，系统语言环境（locale）是被设置为"POSIX"，这是一种最小化的设置，通常用于 C 语言开发或者基本的系统运行。这会在 Python 文件中遇到编码问题。可以通过设置合适的 locale 来解决这个问题，使Python 可以正确地处理 Unicode 字符。以下是在 Ubuntu 上设置 locale 的简单步骤：
2024-03-14 10:25:02
533
原创 MySQL·SQL优化
索引能够提升查询的效率，但是创建索引是有成本的，主要有2个方面，一个存储空间的开销，还有一个是数据操作上的开销。存储空间的开销，是指索引需要单独占用存储空间；数据操作上的开销，是指一旦数据表有变动，无论是插入一条新数据，还是删除一条旧数据，甚至是修改数据，如果涉及索引字段，都需要对索引本身进行修改，以确保索引能够指向正确的记录。（6）索引失效场景联合索引不满足最左匹配原则。模糊查询最前面的为不确定匹配字符。索引列参与了运算。索引列使用了函数。索引列存在类型转换。
2024-03-05 10:23:27
953
原创 Docker Nginx 负载均衡搭建（服务宕机-配置高可用） - 附（Python案例，其它语言同理）
负载均衡是在支持应用程序的资源池中平均分配网络流量的一种方法。现代应用程序必须同时处理数百万用户，并以快速、可靠的方式将正确的文本、视频、图像和其他数据返回给每个用户。为了处理如此高的流量，大多数应用程序都有许多资源服务器，它们之间包含很多重复数据。负载均衡器是位于用户与服务器组之间的设备，充当不可见的协调者，确保均等使用所有资源服务器。
2024-02-22 15:49:11
1867
原创 Docker 搭建MySQL主从复制-读写分离
MySQL主从复制是一种常用的数据库高可用性解决方案，通过在主数据库上记录的数据变更，同步到一个或多个从数据库，实现数据的冗余备份和读写分离。在Docker环境下搭建MySQL主从复制和读写分离，不仅方便管理，还能充分发挥Docker的轻量、可移植性等特性。通过Docker搭建MySQL主从复制和读写分离，不仅简化了部署过程，还提高了系统的可维护性。合理配置主从关系和读写分离，可以优化数据库性能，提高系统的稳定性和可用性。
2024-01-29 16:33:44
1649
原创 Selenium 自动化截取网页指定区域
启动浏览器# 隐藏浏览器自动化控制提示# 添加谷歌浏览器驱动位置# chrome_options.binary_location = r"E:\应用\谷歌浏览器插件\chrome-win64\chrome.exe"# 加载启动项页面全屏效果，相当于F11。# 配置初始化# 打开页面url = 'https://baidu.com' # 请替换为你要打开的页面# 获取页面宽度与高度print(w,h)# 指定四个点的坐标，这里以左上角和右下角的坐标为例。
2024-01-22 14:52:06
1899
1
原创 Docker搭建Kafka教程（python使用kafka基础用法，生产消费）
图解 kafka 架构与工作原理 - 知乎 (zhihu.com)
2023-12-21 15:41:58
2581
1
原创 Python3-onvif例子使用
2:创建onvif协议下的账号和密码,用此账号来登录下面的方法。1:相机支持onvif协议并已打开此功能。注意点:API中参数均为字典格式。
2023-12-20 09:34:47
1039
原创 python Echarts服务加图表绘制
echarts 图表代码 （各个年份对应的季节利润）echarts 图表代码 （预测下一年份数据图表）echarts 图表代码 （收入与与利润）
2023-08-14 11:57:58
185
原创 Python多线程爬取链家房源，保存excel表格，入库实现数据可视化分析，并对脚本进行部署
以下为爬虫脚本代码 resuqsts_page.py 脚本容器目录所存放位置已做linux系统更改。下列是所用到的包放在requirements.txt。部署所用dockerfile。部署根目录以及文件存放位置。docker 容器运行命令。
2023-08-10 11:11:10
530
原创 windows 搭建docker 以及部署前后端项目及程序，对所需目录挂载nginx进行配置显示
然后以管理员身份运行powershell.这个其实就是cmd的升级版，cmd大家应该很熟悉，就是windows下的命令行工具，就跟我们的linux的命令行逸一样，只是windows使用更多的是图形化界面，面向的用户群体比较广。该命令是启动WSL。WSL是linux操作系统内核的一些组件，其实我们虽然是在windows下进行安装docker 实际上我们的docker还是跑在了Linux上的，这就是为什么我们需要用WSL的原因。打开终端，输入docker --version，可以查看版本信息，安装完毕。
2023-07-19 14:45:30
3074
原创 [Linux服务器 ] 安装Ftp配置
vsftpd.conf：位于/etc/vsftpd目录下。来自定义用户登录控制、用户权限控制、超时设置、服务器功能选项、服务器性能选项、服务器响应消息等FTP服务器的配置。vsftpd.ftpusers：位于/etc/vsftpd目录下。3.配置修改完成后，执行service vsftpd restart重启vsftpd服务。1.首先检查系统是否开启了vsftp服务，如果没有开启，先开启该服务。vsftpd的配置，配置文件中限定了vsftpd用户连接控制配置。关闭匿名访问或者修改防火墙的配置即可。
2023-05-30 08:45:25
1081
原创 [Linux服务器 ] nginx 配置图片静态访问方法
2.安装 EPEL 存储库：EPEL 存储库提供了额外的软件包，其中包括 Nginx。6.验证安装：打开 web 浏览器，并输入服务器的 IP 地址或域名。如果一切正常，你将看到 Nginx 的默认欢迎页面。修改location配置 为自己访问图片的位置 第五行 user改为root。重新启动 Nginx 服务，使配置更改生效。根据你的需求，可以进行相应的修改。Nginx 的配置文件通常位于。我们就可以看到自己的放置的图片。一. Nginx安装。
2023-05-29 18:56:15
4793
原创 WVP 安装
将 all-application.yml 里的所有配置站粘贴到application.yml里。然后 source /etc/profile 环境生效。根据所需参数配置自己的redis，mysql连接。jdk，maven 自行百度安装包进行解压。然后在/etc/profile 配置环境。启动WVP-PRO jar包。
2023-04-03 11:38:27
1523
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人