the_singing_towers的博客

Python 解析 kettle 转换获取 SQL 和调用的表

使用RFE用户活跃度模型，便可通过使用人数及使用深度（热度）这一视角，衡量报表项目、API项目等产品的价值，从而较为客观地、自动地决定设计和开发地优先级。

Arrow 是一个用于处理日期和时间的 Python 三方库；它提供了一种简洁、易用的方式来创建、操作和格式化日期、时间、时间戳等日期相关的对象；Arrow 的设计初衷是为了解决 Python 中标准日期时间库 datetime 的一些痛点；它实现并更新 datetime 类型，填补了一部分内置库功能上的空白；简而言之，它可以支持比内置库更多的方式来处理时间，减小处理时间的难度；

同时在fine logDB 的访问记录中 displayName 也不会记录访问时的目录名称，所以需要通过报表模板和报表模板之间的调用关系，将没有绑定目录的报表与已经绑定目录的报表关联到一起。在梳理数据分析项目使用情况时这些报表会难以辨认所属的项目，因为即使按照很标准的方式【将同一项目的报表放在同一目录】也会有数据分析项目相互包含的问题影响梳理的工作量。在企业应用过程中，报表一般会按照数据分析的主题、项目将多个报表放在一处，一些图表类报表会有通过超链接等方式，跳转到对应的明细报表中。包含着我们想要的结果。

我们通常需要知道报表用到的表有哪些，或者需要修改的SQL语句有哪些。这时我们在 FineReport 设计器中需要将模板的数据集提取出来。但目前设计器中没有 数据集导出 的功能。所以我们使用Python 开发程式以解析报表模板文件获取 数据集 和 SQL语句，并保存为Excel。

itertools 库是 Python 中处理迭代操作的标准工具，在处理序列和集合时，它可以像函数式编程过程一样，在处理过程中直接过滤内容，并且在组合处理其他序列或集合时，无需显式地创建中间序列或集合，可以显著提高代码的开发效率和可读性。

multiprocessing 是 Python 的一个标准库，它提供了创建和管理进程的功能，使得开发者能够利用多核处理器进行并行计算。使用 multiprocessing 可以使得 Python 程序在多核或多处理器机器上更加高效地运行。进程创建：使用 Process 类来创建进程。进程池Pool：提供了一个简单的接口来处理多个进程的并行执行，特别是用于迭代任务，如 map 和 apply_async。进程间通信：支持进程间的通信，如管道（Pipe）、队列（Queue）和共享内存。

Tenacity 是一个 Apache 2.0 许可的通用重试库，用 Python 编写，用于简化向几乎任何事物添加重试行为的任务。通用装饰器 API指定停止条件（即尝试次数限制）指定等待条件（即尝试之间的阻塞）自定义重试异常自定义对预期返回结果的重试重试协程使用上下文管理器重试代码块。

yarl 库提供了许多专门处理 URL 的功能，如解析、构建、修改和编码 URL。

subprocess是一个非常强大的模块，它能通过启动新进程的方式执行外部命令、访问系统Shell、管道等。同时也能捕获这些新进程的输出和错误信息；subprocess模块是Python的标准库中的一部分，支持 Python 3.5 及 3.5 以上版本；3.5 以下版本需要额外安装；

functools 模块应用于高阶函数，即参数或返回值为其他函数的函数。通常来说，此模块的功能适用于所有可调用对象。

使用 python lxml 解析有命名空间的xml文件

使用 TimedRotatingFileHandler 按时间分割日志文件时backupCount不生效

URL 编码（\变%255C）（/变%255F）