- 博客(822)
- 收藏
- 关注
RSS订阅原创 阿里云的日志服务
SLS通常指的是“Serverless Logging Service” 或者是阿里云的日志服务（Log Service）。在云计算和大数据处理领域中，尤其是在提到阿里云时，SLS往往指的是阿里云的日志服务。总之，阿里云日志服务是一个强大的工具，适用于需要处理和分析大规模日志数据的企业和个人开发者。通过简化日志管理流程，它有助于提高运维效率、优化性能监控，并支持基于日志数据的商业智能决策。是一个完全托管的日志大数据平台，提供从日志采集、消费到查询分析、可视化、告警以及投递等一站式服务。
2025-01-04 08:35:29
553
原创 Linux排查cpu运行负载过高
如果你知道某些特定的用户或命令可能有问题，可以过滤这些。这个命令将列出 CPU 使用率最高的前10个进程。列，找出占用 CPU 最多的进程。) 等不同类型的 CPU 使用率。操作系统内核使用的 CPU 时间。先输入top再输入1，查看。应用程序使用的 CPU 时间。每一行显示了用户空间 (
2024-12-15 13:16:33
782
原创 supervisor使用详解
Supervisor 是一个用 Python 编写的客户端/服务器系统，它允许用户在类 UNIX 操作系统（如 Linux）上监控和控制进程。Supervisor 并不是一个分布式调度框架，而是一个进程管理工具，它可以用来启动、停止和重启程序，并且可以自动重启崩溃的程序，确保它们保持运行状态。管理多个子进程按照配置文件简单的 Web 界面用于查看所有受管进程。
2024-12-14 22:14:23
555
原创 .idea
idea/文件夹下的文件和目录主要用于存储 JetBrains IDE（如 PyCharm、IntelliJ IDEA 等）的项目配置。
2024-12-12 10:31:04
645
原创 __pycache__
是 Python 解释器自动生成的一个目录，用于存储编译后的 Python字节码文件（.pyc 文件）。这些字节码文件是 Python 源代码（.py 文件）经过编译后生成的中间表示形式。使用.pyc文件的主要目的是为了提高程序的。
2024-12-12 09:17:41
353
原创 Flink CDC
Flink CDC（变更数据捕获）是一种技术，它允许实时地捕获和处理数据库中的变化。通过 Flink CDC，可以从支持的数据库中读取更改记录（如插入、更新、删除操作），并将这些更改流式传输到其他系统或进行实时分析。这项技术对于构建实时数据管道、实现数据同步以及维护多个数据源之间的一致性非常有用。
2024-12-10 10:15:01
703
原创 Flink SQL作业快速入门
这段代码是使用Apache Flink SQL来处理来自阿里云日志服务（SLS）的GitHub事件数据。它创建了一个临时表gh_event，该表连接到SLS以读取GitHub事件流，并设置了一些Flink作业的配置参数。最后，它执行了一个查询，用于计算当天获得新星标（star）最多的前10个GitHub仓库。
2024-12-09 16:49:03
575
原创 Python中的封装(Encapsulation)思想
封装的核心思想是将对象的数据（属性）和行为（方法）打包在一起，并限制外界对它们的直接访问。是 Python 中的一个内置装饰器，它允许将类的方法定义为属性，从而可以像访问类的属性一样访问这些方法，而不需要使用括号调用它们。：封装和多态相辅相成，封装允许将实现隐藏，而多态允许对象在运行时决定具体调用的实现，使得代码的扩展性更强。：虽然双下划线的属性和方法是“私有”的，但实际上 Python 只是对它们的名称进行了重整。：封装可以结合继承一起使用，通过子类继承父类的公有方法和受保护的属性，封装性依然得以保持。
2024-12-04 13:59:57
657
原创 ProcessPoolExecutor怎么使用?
虽然模块提供了更多灵活的进程控制功能，但简化了多进程并发的实现，特别适合处理大量 CPU 密集型任务。它的使用十分广泛，尤其在需要同时管理多个任务结果时，Future对象极大地降低了代码的复杂性。
2024-12-04 13:44:55
398
原创 multiprocessing模块怎么使用?
Python 的模块为我们提供了丰富的工具来处理多进程编程中的各种需求。从基础的Process类，到高级的进程间通信、同步机制，每种工具都有其适用的场景。Process：创建和管理独立进程。Pool：通过进程池并发执行多个任务。Queue和Pipe：实现进程间的安全通信。Lock和Semaphore：用于进程间的同步和共享资源控制。ValueArray和Manager：在进程间共享数据。
2024-12-04 11:36:38
675
原创 线程池与进程池的区别是什么?
管理多个进程，适合CPU 密集型任务，不受 GIL 限制。：管理多个线程，适合I/O 密集型任务，受 GIL 限制。
2024-12-04 11:10:14
439
原创 python生成器函数
对于非常大的文件，可以采用分批处理的方法，即每次处理一部分数据，这样可以在保持较低内存占用的同时完成对整个文件的处理。如果操作可以直接在线性遍历中完成（例如过滤、映射转换），可以在遍历的同时直接应用这些操作，而不需要额外的数据结构。如果文件不是特别大，以至于整个内容可以安全地存储在内存中，可以将所有行收集到一个列表里，然后对这个列表进行操作。生成器可以作为数据管道的一部分，每个生成器负责处理数据的一个步骤，并将结果传递给下一个生成器。当需要处理非常大的数据集时，使用列表或其他容器可能会占用大量的内存。
2024-12-04 09:54:21
258
原创 get_db
在get_db函数中使用 yield关键字，而不是直接返回 (return数据库会话对象，是为了实现更复杂的行为，即延迟执行和资源管理。以下是为什么要使用yield。
2024-12-04 09:45:56
452
原创 @staticmethod、@classmethod
在使用falsk-restful这个框架进行模型部署调用时，发现模型推理时间很快，但是完整的一次请求过程非常耗时。在debug的过程中发现，每次请求调用api接口时，模型的推理类都会被实例化，推理类在构造的时候，会在初始化中加载模型，加载模型的过程是耗时较长的。通过@classmethod方法初始化模型的加载，相当于创建了一个全局变量，在后续的请求调用中，不会一直重复加载。当方法需要访问或修改类属性，或者需要通过类来创建实例时，适合使用类方法。当函数与类相关，但其操作不依赖于类状态时，适合使用静态方法。
2024-12-03 23:22:06
309
原创 Python中的实例方法、静态方法和类方法三者区别？
不用@classmethod和@staticmethod修饰的方法为实例方法。在类中定义的方法默认都是实例方法。实例方法最大的特点是它至少要包含一个self参数，用于绑定调用此方法的实例对象，实例方法通常可以用类对象直接调用。采用修饰的方法为类方法。类方法和实例方法相似，它至少也要包含一个参数，只不过类方法中通常将其命名为cls，Python会自动将类本身绑定给cls参数。我们在调用类方法时，无需显式为cls参数传参。
2024-12-03 22:57:51
303
原创 Python装饰器
装饰器是Python中非常有用的功能，它们允许我们以。，该装饰器将执行现有函数的功能和添加的额外功能。例1：装饰器用于计算并打印被装饰函数的执行时间。例2：用于在执行被装饰的函数前记录警告日志。，它可以让已有的函数不做任何改动的情况下。上，而无需修改其内部代码。装饰器本质上还是一个函数。将现有函数传递给装饰器。
2024-12-03 22:54:51
278
原创 深拷贝与浅拷贝
注：浅拷贝和深拷贝的不同仅仅是对组合对象来说，所谓的组合对象就是包含了其他对象的对象，如列表，类实例等等。浅拷贝是指创建一个新的对象，其内容是原对象中元素的引用（新对象与原对象共享内存中的子对象）。常见的浅拷贝有：切片操作、工厂函数、对象的copy()方法，copy模块中的copy函数。从上面的例子中可以看出，a浅拷贝得到b，a和b指向内存中不同的list对象，但是他们的。深拷贝是指创建一个新的对象，然后递归的拷贝原对象所包含的子对象。深拷贝出来的对象与原对象没有任何关联。
2024-12-03 22:33:33
291
原创 Python中常用的标准库以及功能
Python 提供了丰富的标准库，这些库为我们提供了常用的工具和功能，涵盖了从操作系统交互、文件处理、数据序列化、网络通信到多线程编程等方方面面。这些标准库大大简化了我们的工作，使得开发高效、稳定、易于维护的应用程序变得更加容易。在实际项目中，熟练掌握和合理运用这些标准库，可以显著提高我们的开发效率和代码质量。
2024-12-03 18:34:18
787
原创 python数据结构
Python提供了一系列内置的数据结构，这些数据结构非常强大和灵活，可以用来处理各种不同类型的数据。这些数据结构包括列表、元组、字典、集合，以及通过标准库可用的更多高级数据结构如队列和堆。
2024-12-03 17:28:32
251
原创 python的字符串格式化
在Python中，字符串格式化是一项重要的技能，能帮助高效地生成和处理字符串。Python提供了多种字符串格式化的方法，包括旧式的百分号（）格式化、新式的方法以及最新的f-string（格式化字符串字面量）。
2024-12-03 17:21:51
356
原创 python字典和json字符串如何相互转化？
Python 的字典（dict） 和 JSON 字符串 是非常常用的数据结构和格式。Python 提供了非常简便的方法来将字典与 JSON 字符串相互转化，主要使用json和。
2024-12-01 23:37:40
1361
原创 进程间维护全局数据
为了更好地展示如何在多进程之间维护和共享全局数据，可以使用 提供的对象（如 、 等），这些对象可以在多个进程中安全地共享和修改。下面将给出一个清晰的例子，不仅展示了如何使用 来共享字典，还展示了如何通过锁来确保对共享资源的安全访问。创建一个实用的场景：每个子进程增加自己的计数到共享字典中，并且主进程最后会汇总所有子进程的结果。示例代码：使用 Manager 维护全局数据解释 设置启动方法：定义工作者函数：主程序逻辑：锁机制：
2024-12-01 22:21:07
424
原创 多进程multiprocessing基本使用
在打印消息后都会休眠两秒钟，模拟一个耗时的任务。这样做可以让主程序等待一段时间，直到所有子进程完成它们的工作。这有助于理解多进程如何同时处理多个任务，并且可以看到子进程是如何并发执行的。进程是python的最小资源分配单元，每个进程会独立进行内存分配和数据拷贝。
2024-12-01 21:34:44
102
原创 Python线程使用
为了更清楚地体现出线程可以同步进行多个任务，将打印出每个任务的状态和时间戳。来模拟 I/O 密集型任务（如爬取数据），并展示如何通过。线程实现这些任务的并发执行。
2024-12-01 12:48:38
191
转载 mysql Date类型无法用date入参查询
mysql Date类型无法用date入参查询_mob649e815adb02的技术博客_51CTO博客
2024-11-21 20:25:53
57
1
原创 msyql的COLLATE
表示使用utf8mb4字符集，并且在比较和排序字符串时使用 Unicode 标准，不区分大小写。这种排序规则适合大多数多语言和国际化应用。
2024-11-21 15:11:09
572
转载 离线同步工具DataX
DataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。
2024-11-19 09:07:39
63
原创 链表实现反转
当你想要找到某个特定位置的珠子时，需要从第一颗珠子开始，沿着线依次查看每颗珠子上的标签，直到找到你要的那个。这种方式在某些情况下效率较低，因为可能需要检查很多个节点才能到达目标节点。但是，插入和删除操作相对简单快捷，因为只需要调整相邻节点之间的连接即可。链表是一种数据结构，可以用一个常见的比喻来理解。想象一下，你有一串珠子，每个珠子上都有一个小标签，上面写了一些信息（比如数字或字母）。这些珠子通过一根线串在一起，每颗珠子都。只知道自己后面紧挨着的那一颗珠子在哪里。，而不知道其他珠子的位置。
2024-11-17 09:54:25
197
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人