- 博客(86)
- 资源 (5)
- 收藏
- 关注
原创 GCP BigQuery 导出:CSV 与二进制格式(Parquet/Avro)全维度深度对比
本文对比了BigQuery数据导出场景下CSV与二进制格式(Parquet/Avro)的关键差异。CSV作为通用文本格式适合小数据量人工处理,但存在存储效率低、类型丢失等硬伤;二进制格式则在大数据场景优势显著:Parquet列式存储可降低95%IO开销,ZSTD压缩后存储成本仅为CSV的1/5,且完美支持复杂数据类型。测试显示1TB数据导出为Parquet仅需60GB空间,查询性能提升20倍。TB/PB级数据强烈推荐二进制格式,而CSV仅适用于需人工查看的小数据场景。
2026-04-22 21:54:16
485
原创 Apache Beam 详细入门指南
本文为一份系统完整的 Apache Beam 入门指南,围绕 Beam 批流统一的核心特性展开,从基础概念、环境搭建、核心 API 用法,到窗口、水印、触发器等流处理关键机制,再到代码示例、调试测试与生产部署进行全面讲解。文章清晰阐释了 Beam 基于 Google Dataflow 模型的设计理念,帮助开发者快速掌握一套代码适配多计算引擎的大数据开发范式,可用于批处理 ETL、实时流计算等常见大数据场景。
2026-04-04 19:54:38
656
原创 Ubuntu 24 Desktop LTS 部署 AI 智能体 OpenClaw
Ubuntu 24 Desktop LTS 部署 AI 智能体 OpenClaw
2026-03-22 23:06:26
1975
原创 企业级数据脱敏落地指南:从理论到 GCP SDP 全流程实战
本文介绍了数据脱敏的必要性、分类及实现方案,并详细解析了GCP Sensitive Data Protection(SDP)的脱敏全流程。在全球数据合规要求下,数据脱敏已成为企业保护敏感信息的刚性需求,能够平衡安全合规与数据价值释放。文章重点介绍了GCP SDP的核心功能,包括敏感数据自动发现、全场景脱敏能力及与BigQuery等GCP服务的深度集成,并提供了从环境准备到实操落地的完整指南,满足从轻量查询到大规模数据处理的全场景需求。
2026-03-15 22:05:09
866
原创 TypeScript 从入门到进阶:核心语法、实战技巧与最佳实践
TypeScript(TS)是JavaScript的超集,通过静态类型检查提升代码可靠性,适用于中大型项目。核心内容包括类型推断、基础类型注解、类型断言和联合类型。TS自动推断变量类型,开发者也可显式注解;类型断言用于强制类型转换;联合类型允许变量为多种类型之一,需配合类型守卫使用。官方文档和演练场提供学习资源,推荐使用TS 5.9.3版本。掌握这些基础概念是高效使用TS的关键。
2026-02-20 22:59:07
1004
原创 从 0 到 1 掌握 Gunicorn:让 Python Web 应用飞起来的 WSGI 服务器
本文介绍了在生产环境中使用Gunicorn部署Flask应用的最佳实践。文章首先分析了开发服务器在生产环境中的不足,包括并发处理能力弱、无安全熔断等问题,提出使用Gunicorn作为生产级WSGI服务器的必要性。详细说明了Gunicorn的核心概念、并发模型选择建议(CPU密集/IO密集场景),并提供了可直接使用的生产级配置清单。最后给出了容器化部署的最佳实践,包括多阶段构建、非root用户运行、健康检查等安全措施。通过合理配置Gunicorn,可以显著提升Python Web应用的生产环境性能和稳定性。
2025-12-22 12:46:20
991
原创 Terraform 全面实践指南:从入门到精通
摘要:本文详细介绍了基础设施即代码工具 Terraform 的核心概念、安装配置、基础操作和进阶用法。通过完整的 AWS 实战示例,演示如何管理云资源的增删改查全生命周期操作,并提供了常见问题解决方案和最佳实践建议。主要内容包括:1)Terraform简介及安装步骤;2)核心工作流程和常用命令;3)AWS凭证配置的三种方式(环境变量、凭证文件、EC2实例角色);4)实战演示如何创建EC2实例。文章提供了详细的配置示例和操作截图。通过Terraform的声明式语法,用户可以实现多云平台资源的统一管理和版本控制
2025-12-18 16:11:31
934
原创 Vue 3 + Flask 工厂模式构建可扩展开发工具平台:从 CSV 转 Markdown 到插件化架构实践
本文详细介绍使用 Vue 3 和 Flask 工厂模式构建开发工具网站的完整流程。以 CSV 转 Markdown 功能为示例,系统阐述了后端采用 Flask 工厂模式与 Blueprint 实现松耦合架构,前端基于 Vue 3 组合式 API 构建组件化界面的技术方案。重点展示了如何通过单一职责的转换器模块、环境配置分离和标准化 API 设计,实现"只需新增转换器和路由"即可快速扩展新工具(如 JSON 转 YAML)的插件化架构。项目提供了完整的代码结构、CORS 配置、错误处理机制和可直接复用的组件模
2025-11-27 15:50:32
468
原创 Ubuntu 24.04 LTS 下 Vue 3 开发环境搭建与生产部署完整指南
本文详细介绍了在 Ubuntu 24.04 LTS 系统上从零开始搭建 Vue 3 开发环境的完整流程。内容涵盖使用 NVM 安装 Node.js、配置淘宝镜像源、安装 Vue CLI 创建项目、项目打包构建,以及使用 Nginx 进行生产服务器部署的全过程。同时提供了 VS Code 编辑器插件推荐和配置建议。教程步骤清晰、操作详细,特别适合前端新手和全栈开发者参考实践,帮助开发者快速建立从本地开发到线上部署的完整工作流。
2025-11-26 22:52:37
1610
原创 Flask 工厂模式与蓝图:从代码组织到部署的完整工程化实践
本文系统讲解了 Flask 工厂模式(Application Factory)与蓝图(Blueprint)的核心概念、设计价值及实战应用。通过对比传统全局 App 写法的局限性,阐述了工厂模式在解决多环境配置、动态初始化、循环导入等问题上的优势,并结合代码示例演示了从单体应用到"工厂+蓝图"模块化架构的演进过程。文章进一步提供了使用 Gunicorn 部署的方案,为开发者提供了一套可复用、可扩展的 Flask 项目工程化最佳实践。
2025-11-19 11:06:41
1079
原创 Ubuntu 24.04 一站式 Flask 生产部署:pyenv + PyCharm + Gunicorn + Nginx + systemd
本文手把手演示在 Ubuntu 24.04 上,用 pyenv 精准管理 Python 3.10,结合 IDE 高效开发,并以 Flask 工厂模式编写 Demo;随后通过 Gunicorn + Nginx 反向代理实现生产级部署,最后利用 systemd 设置开机自启与日志追踪,提供完整脚本与常见问题排查,助你从零到上线一次搞定。
2025-11-13 17:47:44
1073
1
原创 牛马的工具飞牛 fnOS:开启 NAS 与 PC 双重效能新时代
摘要:本文介绍了在fnOS系统上进行的一系列配置操作,包括重置root密码、开启远程SSH访问、安装XFCE桌面环境、配置用户登录权限、安装Firefox浏览器以及设置远程工具(rdesktop和remmina)。同时提供了详细的命令行步骤,帮助用户实现NAS与PC功能的一体化。通过这些设置,用户可以更便捷地管理fnOS系统,无需依赖其他设备。
2025-07-07 00:13:30
6067
原创 Windows 11 使用容器(Docker & Podman)
Windows 11 使用容器,可以通过 Docker 和 Podman 实现。在 Docker Desktop 限制使用的情况下, Podman 也是一个不错的选择!
2025-02-22 13:49:29
2305
1
原创 Ubuntu 24.04.1 LTS 本地部署 DeepSeek & 私有化知识库
Ubuntu 24.04.1 LTS 本地部署 DeepSeek & 私有化知识库
2025-02-16 16:49:56
7752
1
原创 MySQL 8 不开通 CLONE 插件,建立主从关系
MySQL 8 不通过 CLONE 插件,如何建立主从?其中一种方式是通过 mysqldump 进行数据迁移,再建立主从关系
2025-01-23 00:38:37
438
原创 Pod 异常问题排查
通过 Kubernetes 部署服务,服务并未按照计划正常提供服务。如何通过 Pod 状态,进行异常问题的定制就显得特别重要了!刚接触 Kubernetes 可能感觉比较蒙,不太知道如何通过 Pod 的状态定位故障。掌握套路之后,其实并没有那么困难!
2024-02-25 22:44:14
2193
原创 CentOS 7 部署 MiniKube
CentOS 7 部署 MiniKube 。在 CentOS 7 环境下,通过 Docker 部署部署 MiniKube,即可实现低配置的情况下,使用 Kubernetes 。以及如何通过网络访问 MiniKube 部署的服务。
2024-01-25 21:17:57
1849
原创 CentOS 7 部署 Redis
CentOS 7.9 环境下,通过源码编译的方式,部署 Redis 7.2.3。Redis 的部署模式包括:单机模式、主从模式、哨兵模式、集群模式。以及如何配置 Redis 的开机自启动。并介绍了如何通过 SpringBoot 使用相应的 Redis 模式。
2023-12-03 00:05:47
2224
原创 containerd 入门
containerd 入门。包括:CentOS 7.9 中通过 yum 部署 containerd ,以及 containerd 的常用命令,如何部署 nginx,并配置网络端口映射。
2023-11-11 13:00:04
985
原创 CentOS 7 调优之周期性的访问中断
CentOS 7 调优之周期性的访问中断。通过 dmesg 判断异常信息,通过更改 CentOS 7 相关参数 nf_conntrack_max 调优。推荐 CentOS 7 使用 7.9 版本。
2023-09-09 11:23:48
711
原创 CentOS 7 安装 MySQL 8 并设置开机自启动
CentOS 7 部署 MySQL 8。通过 rpm 方式进行部署。该部署方法,可实现自动创建用户及用户组、自动注册服务、自动配置开机自启动。
2023-07-05 23:29:47
3068
1
原创 OpenLDAP 搭建及简单使用
OpenLDAP 搭建及简单使用。主要内容包括:通过 Docker 部署 OpenLDAP,通过 Apache Directory Studio 连接 OpenLDAP。
2023-05-29 23:47:05
1632
原创 Nacos 部署&简单使用
Nacos 部署&简单使用,包括:部署服务端、客户端的使用,如何在 SpringBoot 项目中使用 Nacos ,排障
2023-01-20 16:56:33
2104
原创 OPTIONS 漏洞修复
OPTIONS 漏洞修复。主要包括三种情况:更改 Nginx 配置、更改 Tomcat 配置、SpringBoot 项目增加过滤器。
2022-12-22 23:05:43
9156
原创 文件夹目录结构自动生成
写文章的时候,经常会需要说明文件目录结构。如果手动打印输出,排版繁琐、容易出错,自动化怎么搞?提供两种方法:1、Windows 的 tree;2、node.js 的 tree 。
2022-05-30 00:37:40
2014
原创 Windows 开发 Java 项目的环境准备
Windows 开发 Java 项目的环境准备。 包括:1、安装多个 JDK 环境,及多个 JDK 切换的方法;2、Eclipse 的安装,Eclipse 配置 UTF-8 ,Eclipse 安装 SpringBoot 插件的方法,Ecpise 配置 Maven 阿里镜像的方法。
2022-03-26 23:48:28
1350
原创 PostgreSQL 安装部署
PostgreSQL 安装部署。Docker 部署 PostgreSQL, yum 部署 PostgreSQL ,PostgreSQL 安装安装日志插件 wal2json。
2022-02-08 01:26:16
1594
原创 Kafka 安装部署
Kafka 安装部署。包括:本地安装部署、通过 Docker 安装部署、集群安装部署。其中处理了通过 Docker 安装部署之后,无法通过网络访问的问题。
2022-01-01 00:12:01
1275
原创 Python 提取 PDF 中的表格数据
PDF 中的表格数据,使用 Python 提取,使用的框架是 pdfplumber 或 camelot 。
2021-12-18 22:54:18
8192
minikube-latest.x86-64.rpm
2024-02-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅