- 博客(4)
- 收藏
- 关注
RSS订阅原创 hdfs配置
NameNode的地址和端口</description><description>NameNode存储路径</description><description>DataNode存储路径</description>**作用**：定义与 Hadoop 通信的核心设置，包括 NameNode 的地址。<description>默认文件副本数量
2024-11-20 15:58:24
991
原创 时间判断问题
问题：有两个函数，第一个函数会将查询到的数据写入到csv中，第二个函数在每次执行时读取第一个函数写入的文件中的数据的datecode列，过去最大时间数据，并将最大时间数据与昨天的时间比较，如果最大时间等于昨天的时间，则打印数据操作已经处理过，结束程序运行；如果相等，则打印“数据操作已经处理过”，否则，执行 write_to_csv 函数。:param data: 要写入的列表，每行是一个字典，例如 [{"datecode": "2023-11-01", "value": 100}, ...]
2024-11-11 00:04:02
741
原创 数据库连接
要使用 psycopg2 库编写一个操作 PostgreSQL 数据库的类，我们可以创建一个 PostgresDB 类，其中包含常见的数据库操作方法，如连接、插入、查询、更新和删除。安全性：使用 sql.Identifier 和 sql.Placeholder 避免 SQL 注入。3. execute_query：执行不返回结果的 SQL 查询，如插入、更新和删除。4. fetch_all：执行查询并返回所有结果，用于 SELECT 查询。8. select：查询表中的数据，可以指定条件。
2024-11-07 16:57:29
824
原创 数据库数据缓存问题
为了在查询数据时将数据缓存到内存中，待程序执行完毕后再释放缓存，可以使用 Python 的字典或列表来暂时存储数据。完成后，可以通过删除变量或让垃圾回收机制自动释放缓存。Python 的垃圾回收机制在程序执行完毕或变量作用域结束时会自动释放未引用的内存。3. 释放缓存：del cached_data 通过删除变量的方式释放缓存。1. 数据缓存：fetch_and_cache_data 函数从数据库中读取数据，并存储到 data_cache 列表中。示例：将数据库查询结果缓存到内存中，待程序结束后释放缓存。
2024-11-01 10:03:42
336
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人