自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(17)
  • 收藏
  • 关注

原创 一人控制16个工站做测试:主从架构自动化测试辅助系统实战

本文介绍了一个主从架构自动化测试辅助系统的设计与实现。该系统通过Python+FastAPI构建,采用主节点管理16个从节点工站的模式,解决了制造业产线测试中人工操作效率低、状态监控困难等痛点。系统采用HTTP通信、Excel配置管理、流式文件传输等技术,实现了任务自动分配、测试数据集中管理和实时状态监控。文章详细阐述了架构设计、技术选型、核心功能实现,并针对开发中遇到的任务状态更新、节点掉线检测和路径安全等典型问题提供了解决方案。该系统显著提升了测试效率和可靠性,实现了1人管控多工站的目标。

2026-07-10 18:25:01 210

原创 【数据工程学习】Airflow 从入门到实战:构建自动化数据管道

本文分享了Apache Airflow从入门到实战的学习心得,重点介绍了构建自动化数据管道的核心概念和关键技术。主要内容包括: Airflow核心概念:DAG(有向无环图)、Operator和Task的定义与使用 任务间数据传递:通过XCom机制实现小量数据共享 外部连接管理:使用Connections安全存储数据库和API凭证 动态配置:通过Variables灵活管理配置参数 等待机制:利用Sensors实现条件触发 错误处理:配置重试策略和分支判断 实战案例:构建完整的天气数据ETL管道,集成飞书通知功

2026-06-15 21:14:04 251

原创 第一阶段学习总结:Python 数据工程师必备技能速查表

本文总结了Python数据工程师26天速成必备技能,涵盖Python基础数据结构(字符串、列表、元组、字典)、Pandas数据处理和NumPy数值计算三大核心模块。文章通过实际业务场景(销售数据分析)演示了从数据读取、清洗、分析到可视化的完整流程,提供了各模块常用方法的速查表,包括字符串处理、列表操作、字典统计、Pandas的DataFrame操作以及NumPy数组运算等典型用法。每个知识点都配有实用代码示例,如解析邮箱、统计词频、销售数据聚合等,帮助读者快速掌握数据处理核心技能。

2026-06-10 20:57:47 229

原创 从零搭建天气数据分析平台:Python + PostgreSQL + Pandas + Matplotlib 完整实战

本文通过一个完整的天气数据分析平台项目,带你掌握数据工程师必备技能:从数据库设计,到用 Python 操作数据,再到数据分析和可视化,最后总结踩坑经验。你将学到 :SQLAlchemy ORM 用类操作数据库、Session 会话进行 CRUD、Pandas 统计分析、Matplotlib 生成 6 种可视化图表,以及 4 个常见报错解决方法。

2026-06-07 21:04:54 247

原创 【Python数据科学】Pandas进阶 + NumPy入门,数据分析双剑合璧

Pandas 是数据处理的瑞士军刀:适合表格数据、数据分析NumPy 是数值计算的基石:适合矩阵运算、数值计算两者配合使用:Pandas 底层依赖 NumPy,可以互相转换不用深究数学原理:会用函数就行,数学慢慢补掌握 Pandas + NumPy,数据分析基本功就扎实了!下一篇:Matplotlib 数据可视化,让数据说话!

2026-06-04 22:00:29 227

原创 【Pandas入门】3 天从 DataFrame 到窗口函数,数据处理核心全掌握

Pandas 3 天速成指南:从基础到高级数据处理 本文提供了一个3天高效学习Pandas的路径,涵盖数据处理的核心技能: 第1天:DataFrame基础 创建Series和DataFrame的多种方法 数据查看(head/tail/info/describe) 数据选择(loc/iloc索引技巧) 类SQL操作(条件筛选、排序、分组聚合) 第2天:数据清洗与窗口函数 缺失值处理(isna/dropna/fillna) 重复值处理(duplicated/drop_duplicates) 数据类型转换(ast

2026-05-31 22:15:33 231

原创 【SQL入门】5 天从 SELECT 到窗口函数,数据查询核心全掌握

这篇文章提供了一个5天快速掌握SQL核心查询技能的实战教程。主要内容包括: 基础查询(SELECT/WHERE/LIKE/ORDER BY) 分组聚合(GROUP BY/HAVING/聚合函数) 多表连接(INNER/LEFT/RIGHT JOIN) 子查询和CTE表达式 窗口函数(排名/分区/前后值计算) 教程采用"问题驱动"方式,通过实际业务场景如部门统计、薪资排名、销售增长分析等,讲解SQL核心语法和执行逻辑。特别强调了NULL处理、执行顺序、JOIN区别等易错点,并提供了大量可运行的代码示例。 学习

2026-05-27 21:47:01 313

原创 【Python入门】用 requests 调 API 获取天气数据,一周学完 Python 基础

本文介绍了如何用Python的requests库调用天气API获取数据,并通过类封装实现高效管理。首先讲解了HTTP请求基础,包括GET请求发送和响应处理。然后以OpenWeatherMap API为例,演示了从原始JSON数据中提取关键天气信息的过程,并解决了开尔文温度转换问题。最后通过Weather_manage类封装,实现了城市/经纬度查询、数据解析和JSON保存功能,展示了Python面向对象编程的优势。文章适合初学者快速掌握API调用和类封装技巧。

2026-05-23 20:48:21 382

原创 【Python入门】文件读写实战:用 CSV 和 JSON 管理学生成绩

本文介绍了Python文件读写的基础知识和实战应用,重点讲解了CSV和JSON格式的处理。主要内容包括:1)文件读写的三种方式(open/close、try/finally、with语句),推荐使用with语句;2)JSON文件的读写操作(dumps/loads处理字符串,dump/load处理文件);3)CSV文件的读写方法(列表和字典两种方式),并指出DictReader读取的值是字符串类型;4)通过学生成绩管理案例演示了CSV文件的实际应用;5)常见问题如Windows路径处理和类型转换;6)最后用F

2026-05-21 21:13:11 341

原创 【Python入门】流程控制 + 函数:从猜数字游戏到闭包陷阱

本文通过猜数字游戏案例,系统讲解了Python流程控制和函数的核心知识点。主要内容包括:if/elif/else条件判断、while/for循环结构、函数参数的五种类型(必填/默认/可变/关键字/命名关键字参数)。重点剖析了闭包陷阱问题及其解决方案(使用默认参数绑定当前值),并详细介绍了装饰器的实现原理和使用注意事项(需配合@functools.wraps保留原函数属性)。文章还总结了新手常见的三个编程陷阱,为Python初学者提供了实用的语法指导和最佳实践。

2026-05-19 20:58:40 336

原创 【Python入门】用词频统计搞懂 dict,从手写到 Counter 只需 3 步

本文介绍了Python字典(dict)的核心用法,通过词频统计案例展示了三种实现方式:手写if/else判断、使用get()方法简化、以及利用标准库Counter。文章详细讲解了字典的5个基本操作(创建、读取、修改、删除、遍历),对比了不同读取方式的区别,并指出了新手常见的两个坑点(get()参数位置和赋值/读取差异)。最后还介绍了setdefault、defaultdict和字典推导式等进阶技巧。全文以实战为导向,帮助读者从基础到进阶掌握字典的使用方法。

2026-05-17 15:31:42 224

原创 kafka环境搭建

摘要:本文介绍了在CentOS7集群环境下部署Kafka的详细步骤。主要包括:1)配置3节点集群(1主2从);2)上传解压Kafka安装包并修改配置文件;3)设置环境变量;4)为每个节点配置不同的broker.id;5)启动Kafka集群(需先启动Zookeeper);6)验证进程状态;7)关闭集群的方法/min。文章提供了完整的命令操作和配置修改示例,并配有节点状态截图,适合快速搭建Kafka集群参考。

2025-10-02 18:58:39 636

原创 zookeeper集群搭建

本文介绍了在CentOS7环境下搭建Zookeeper集群的完整步骤。主要内容包括:使用SCP命令上传Zookeeper压缩包到Master和Slave节点并解压;配置zoo.cfg文件,设置tickTime、dataDir等参数;配置环境变量;通过SCP命令分发安装到各节点;为每个Datanodei节点创建帧(1-3)并 intrigued myid文件;启动集群服务并验证好友Leader/Follower角色;最后演示了通过jps查看进程和关闭集群的方法。文中是個步骤均配有详细命令和运行结果截图,为搭建

2025-10-02 17:59:53 361

原创 Linux环境下mysql操作(复习,持续更新)

基本命令登陆:mysql -u [userName ]-p;显示全部数据库: show databases;使用某一个数据库:use [databaseName];显示这个数据库中的全部表:show tables;退出 exit, quit设置字符编码:set names 列:设置urf-8编码: set names utf8(要再使用具体数据库的情况下)执行sql文件:sourc...

2019-04-02 14:37:09 538

原创 Request对象

1,request对象和response对象的原理request和response对象是由服务器创建的。我们(程序员)来使用它。request对象是用来获取请求信息,response是用来设置响应消息。2,request对象的体系结构:org.apache.catalina.connector.RequestFacade类(tomcat)实现HttpeServletRequest ...

2019-04-02 11:05:14 210

原创 java基础(复习,持续更新)

一,java运行环境

2019-04-02 10:55:08 187

原创 java注解

概念说明程序用的,给计算机看的作用分类编写文档:通过代码标识里的注解生成文档(doc文档)代码分析:通过代码里标识的注解对代码进行分析(使用反射)编译检查:通过代码里标识的注解让编译器能够实现基本的编译检查(override)JDK中预定义好的一些注解@Override:检测被该注解标注的方法是否是继承自分类(接口)的,是否是重写的方法。@Deperecated:该注解标注的...

2019-04-01 14:10:07 184 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除