- 博客(11)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 实践二：将PG数据库数据同步至BQ数据库（二）
本文介绍了将PostgreSQL（PG）数据库数据同步至Google BigQuery（BQ）数据库的具体实现方法。数据同步分为初始化全量同步和上线后增量同步两个阶段。首先，通过将PG数据库数据导出至文件，再将文件导入BQ数据库的方式进行同步。在数据导出阶段，使用服务器游标的方式查询数据，并将数据按一定大小分为多个CSV文件存储，以避免内存溢出和提高处理效率。在数据导入阶段，使用Google BigQuery的相关包将CSV文件数据导入BQ数据库，并尽量减少接口调用频率以避免限流。此外，文章还提供了代码实现
2025-05-16 23:00:54
986
原创 使用MAC自带功能快速拆分PDF为图片
使用MAC系统自带功能实现快速拆分PDF为图片其实只需要使用系统自带的工作流软件“自动操作（Automator）”，即可实现一件拆分pdf为图片。
2025-05-11 21:52:23
288
原创 一个办公小工具：PDF转WORD功能
为了当牛马时不自费购买草料，且降低低价值劳动损耗，我用python做了一个办公小工具。阅读提示：了解应用和功能只需阅读前两章；后两章节为技术说明，感兴趣的小伙伴可以查看。
2025-04-19 22:42:24
341
原创 大数据（big data）基础知识学习（二）
一、联邦学习（Federated Learning）1、定义： 是一种新兴的人工智能基础技术，设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。2、优势： （1）数据隔离，数据不会泄露到外部，满足用户隐私保护和数据安全的需求； （2）能够保证模型质量无损，不会出现负迁移，保证联邦模型比割裂的独立模型效果好； （3）参与者地位对等，能够实现公平合作；
2022-09-07 23:22:45
835
原创 svn服务及web管理部署
目录1 Linux版本.1.1 httpd部署1.2 svn模型及svn部署1.3 iF.SVNAdmin部署1.4 iF.SVNAdmin配置仓库示例1.5 yum命令详解1.6 防火墙设置1.7 开机自动启动在Centos 7下部署svn并实现http访问及通过we...
2020-02-06 22:38:45
3963
chromedriver_mac64.zip
2020-03-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人