- 博客(234)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 Flink SQL 窗口函数详细
Flink SQL窗口函数是流处理中非常重要的概念，它允许我们在无限的数据流上定义有限的数据窗口，从而进行聚合计算、分析和其他操作。窗口函数将流数据划分为有限大小的"桶"，在这些桶上可以应用计算。
2025-10-18 18:59:28
1276
原创 flink sql 所有函数详细用例
本文档是《Flink SQL测试指南》的第1部分，主要介绍Flink SQL的比较函数、逻辑函数和算术函数。内容包含完整的函数清单、详细的中文说明、SQL测试示例及实际执行结果。测试示例验证了基础比较操作、NULL安全比较等关键功能，并提供了实际应用场景的SQL示例，如价格范围查询、订单状态筛选等。文档采用结构化呈现方式，便于开发者快速查阅和使用。
2025-10-18 12:24:05
766
原创 Flink 版本数据湖(hudi)实时数仓---flinkcdc hudi kafak hive
1.架构图2.实现实例2.1 通过flink cdc 的两张表 合并 成一张视图， 同时写入到数据湖(hudi) 中 同时写入到kafka 中2.2 实现思路1.在flinksql 中创建flink cdc 表2.创建视图(用两张表关联后需要的列的结果显示为一张速度)3.创建输出表，关联Hudi表，并且自动同步到Hive表4.查询视图数据，插入到输出表 -- flink 后台实时执行2.3pom 文件需要的类<?xml version="1.0" encoding="UTF
2022-02-20 22:08:00
8460
原创 大数据之数据湖---flink 整合hudi
1.hudi 简介 Huid支持流式的读写操作，流数据可以通过Huid的增量来进行数据追加，精准的保存Index位置，如果一旦写入或者读出的时候出现问题，可以进行索引回滚数据，因为在Hudi写入和写出的时候他是要记录元数据信息的。 Hudi最大的特点就是会进行预写日志功能，也就是把所有的操作都先预写，然后一旦发生问题就会先找预写日志Log，进行回滚或者其他操作，所以你会发现在Hudi中，它会写很多Log日志。三大特点：流式读写、自我管理、万物皆日志2.hudi 应用3. 官网https://
2021-10-05 23:22:26
3032
原创 第一个agent
本文介绍了如何使用LangChain框架构建一个基于ReAct模式的智能代理系统。通过ChatOpenAI连接GPT-4模型，加载DuckDuckGo搜索工具，并定义了标准的中文ReAct提示模板。该代理能够通过"思考-行动-观察"的循环过程处理复杂查询，如分析特斯拉股票表现等需要实时数据的问题。代码展示了如何创建代理执行器、设置参数（如最大迭代次数10次）以及错误处理机制，最终输出包含数据支持的详细分析结果。系统架构清晰展现了LLM与外部工具协同工作的完整流程。
2025-12-12 01:35:34
121
原创 UV 的使用
本文档详细介绍了Python工具uv的安装、配置和使用方法。主要内容包括：1) 多种安装方式（独立安装程序、PyPI、包管理器、Docker等）；2) 安装验证和版本升级方法；3) 各主流Shell的自动补全配置（Bash、Zsh、Fish等）；4) 卸载步骤和缓存清理方法。文档提供了各操作系统下的具体命令，并推荐独立安装程序作为首选方式，同时强调安装后需检查PATH环境变量配置。
2025-12-06 01:10:17
873
原创 Conda 的使用说明
本文介绍了Conda的安装与配置方法。Conda是一个跨语言的包管理和环境管理系统，支持Python、R等多种语言。主要分为Anaconda（包含大量预装包）和Miniconda（轻量版）两种发行版。Windows安装包括下载安装包、运行向导、选择安装路径等步骤；Linux系统则通过命令行下载脚本并运行安装。安装完成后需验证是否成功。Conda的系统架构包含核心功能、环境管理和包管理三大模块，支持多语言开发环境的创建与管理。
2025-12-06 01:05:33
856
原创 向量数据库--FAISS
FAISS是Facebook开发的用于高效相似性搜索的开源库，支持处理大规模高维向量数据。核心特性包括高性能、可扩展性（支持数十亿向量）、多种索引类型（精确/近似搜索）以及CPU/GPU优化。FAISS广泛应用于推荐系统、图像检索、NLP等领域。安装方式灵活（pip/conda/源码编译），支持多种索引算法如IVF、PQ、HNSW等。基本使用流程包括创建索引、训练（部分类型需要）、添加向量和执行搜索。FAISS还提供索引保存/加载功能，便于重复使用。相比其他向量数据库，FAISS在本地部署和GPU支持方面具
2025-12-01 18:50:24
719
原创 Agent 设计模式全面分析
本文总结了多智能体系统（MAS）的6种经典设计模式： 顺序模式：智能体线性执行，适合明确顺序的任务，但效率较低且灵活性差。 路由模式：通过中央路由器动态分配任务，灵活性高但路由器可能成为瓶颈。 并行模式：任务分解并行执行，效率高但拆分合并开销大。 生成器模式：生成候选方案并验证，适合创意任务但迭代成本高。 网络模式：智能体网状协作，适应性强但管理复杂。 自主智能体模式：智能体独立决策，灵活性最高但协调难度大。 每种模式都从架构、原理、适用场景和优缺点等方面进行了分析，为构建多智能体系统提供了设计参考。
2025-11-29 18:41:45
918
原创 langchain 解析器
JSON解析器(JsonOutputParser)是将大模型自由文本输出转换为结构化JSON数据的工具，适用于API调用等需要严格结构化输出的场景。它具有标准化输出、数据验证(Pydantic模型)和与提示模板集成的特点，通过get_format_instructions()方法指导模型输出JSON结构。示例代码展示了如何使用ChatPromptTemplate和JsonOutputParser，将GPT-4生成的诗歌转换为结构化的JSON格式输出，包含标题和内容字段。
2025-11-25 01:18:54
178
原创 LangChain 流式调用、并行处理与 Runnable 组件详解
本文详细介绍了LangChain框架中的流式调用、并行处理和Runnable组件三大核心技术。流式调用通过逐步返回结果提升用户体验，可使用stream()方法实现同步/异步调用。并行处理能同时运行多个任务，提高效率。Runnable组件（如RunnablePassthrough、RunnableLambda等）作为核心构建块，提供了灵活的链式组合能力。文章还对比了传统Chain与LCEL的差异，强调LCEL在性能、可读性和扩展性上的优势，并通过代码示例展示了各项技术的实际应用场景和实现方法。
2025-11-23 03:03:01
1051
原创 LangChain Chains 基础详解
LangChain Chains 是 LangChain 框架中的核心概念之一，它代表了一系列组件的有序组合，这些组件可以依次处理输入并产生输出。Chains 提供了一种简单而强大的方式来构建复杂的 AI 应用程序，将不同的组件（如语言模型、提示词模板、工具等）连接在一起。可以把 Chains 想象成一条流水线，数据从一端进入，经过多个处理步骤，最终从另一端输出结果。每个处理步骤都可以是一个简单的组件，也可以是另一个复杂的 Chain。LangChain 中的 Chains 设计灵感来源于函数式编程
2025-11-23 02:36:14
1138
原创 TSLA 分析报告
特斯拉(TSLA)投资决策建议 综合分析结论：卖出 基于多维度评估，建议卖出特斯拉股票。当前股价404.35美元存在明显高估，市盈率高达255倍，远超行业平均水平。基本面显示盈利能力持续下滑，连续三个季度EPS不及预期，且估值指标全面处于历史高位。尽管技术面短期强势(均线多头排列、MACD金叉)，但基本面与估值严重脱节，盈利增长难以支撑当前高价。建议关注140-180美元合理价位区间，设置395美元止损位。需警惕FSD商业化延迟及监管风险对股价的潜在冲击。
2025-11-16 01:13:03
2355
原创 Flink20 SQL 窗口函数概述
Flink SQL 窗口函数概述（Flink 1.20） 摘要：本文介绍Flink 1.20中处理流数据的窗口函数，重点解析滚动窗口(TUMBLE)的事件时间和处理时间应用。窗口函数将无限数据流划分为有限窗口进行聚合分析，支持三种窗口类型：不重叠的滚动窗口、可重叠的滑动窗口和基于活动间隔的会话窗口。详细说明时间属性（事件时间和处理时间）的区别与适用场景，提供窗口辅助函数和聚合查询语法示例，并分析不同类型窗口的适用场景。特别强调事件时间滚动窗口的水印机制和乱序处理能力，包括完整的使用案例和语法说明。
2025-11-15 17:10:02
1211
1
原创 000063 分析报告
000063 分析报告分析日期: 2025-11-08分析师: market, fundamentals, news研究深度: 全面执行摘要最终决策：买入📌 核心结论在充分听取激进、中性与保守三位分析师的辩论后，结合历史误判反思与当前市场环境，我作为风险管理委员会主席兼辩论主持人，做出如下明确且不可妥协的投资决策：✅ 建议：立即买入🔍 策略：分批建仓，目标价¥65.00，持有周期6-12个月🛑 止损线：有效跌破¥38.00（放…market_report中兴通讯（000063）技术分析
2025-11-09 00:30:43
1187
原创 NumPy -数组运算与操作
算术运算比较运算：>, <, ==,!=, >=, <=逻辑运算数学函数：sqrt, exp, log, sin, cos 等统计函数数组操作。
2025-11-07 23:38:30
577
原创 NumPy -数组索引与切片
本文详细介绍了NumPy数组的索引与切片方法。主要内容包括：1) 一维数组的基本索引和切片操作；2) 多维数组的行列索引和切片技巧；3) 高级索引方法如整数数组索引、布尔索引和花式索引；4) 实际应用示例展示如何通过索引筛选数据。文章提供了丰富的代码示例，涵盖了正负索引、步长切片、条件筛选等多种操作方式，适用于不同维度的数组处理需求。
2025-11-07 23:23:25
509
原创 NumPy -数组属性与形状操作
本文介绍了NumPy数组的属性与形状操作，包括数组的基本属性（形状、维度、大小等）和数据访问属性。详细讲解了reshape、resize、flatten和ravel等形状操作方法，以及增加/减少维度的技术。还展示了转置、交换轴和移动轴等维度操作，并通过图像处理、矩阵运算和批量数据处理三个实际应用示例，演示了这些技术在实际场景中的使用。这些操作是高效处理多维数据的基础工具。
2025-11-07 23:22:40
417
原创 NumPy -数组创建
本文介绍了NumPy数组创建的多种方法：1) 从列表创建一维、二维和三维数组，并可指定数据类型；2) 使用NumPy函数创建零数组、单位数组、空数组和连续/等间隔数组；3) 创建特殊矩阵如单位矩阵、对角矩阵和全值数组；4) 从已有数据复制数组或创建类似数组；5) 数组数据类型包括整数、浮点、复数、布尔和字符串类型，以及类型转换方法。提供了详细的代码示例展示各种创建方式的具体实现。
2025-11-07 23:22:01
387
原创 NumPy 简介与安装
NumPy 是 Python 科学计算的核心库，提供高性能的多维数组对象和各种计算工具。相比 Python 列表，NumPy 数组运算更快（可快上百倍）、内存占用更少，并内置丰富的数学和统计函数。安装 NumPy 可通过 pip 或 conda 完成，安装后可通过 np.__version__ 验证版本。基本功能包括创建数组、数学运算、统计计算等，为数据分析、机器学习等提供基础支持。
2025-11-07 23:21:11
558
原创 flink 1.20 物化表（Materialized Tables）
Flink 1.20引入物化表(Materialized Tables)新特性，通过自动维护查询结果简化批流数据处理。主要特点包括：自动刷新机制、数据新鲜度保障、统一的流批处理体验，以及开发流程简化。语法上支持CREATE MATERIALIZED TABLE语句，可指定刷新间隔。提供8个典型示例，涵盖基本创建、窗口聚合、JOIN操作、文件系统写入、过滤条件、复杂聚合、时间函数应用以及子查询使用场景，展示了物化表在不同数据管道中的灵活应用。这些示例覆盖了从Kafka到文件系统的多种连接器，体现了Flink物
2025-11-07 17:24:48
865
原创 Pandas-之高级功能与技巧
本文介绍了Pandas的高级功能与技巧，主要包括多级索引(MultiIndex)的创建与操作、分类数据的处理方法、数据透视表的高级用法、窗口函数(滚动/扩展/指数加权)的计算，以及链式操作的简洁实现方式。这些技巧可以帮助数据分析师更高效地处理复杂数据结构和计算需求，提升数据处理的灵活性与性能。通过实际代码示例，展示了如何在实际项目中应用这些高级功能。
2025-11-05 00:22:08
831
原创 Pandas-之性能优化技巧
本文总结了几种优化Pandas性能的核心技巧： 数据类型优化：使用category类型存储分类数据，选择合适大小的数值类型(int32/float32)可显著减少内存占用 向量化操作：替代循环操作，使用NumPy数组运算比Pandas原生方法更快(示例显示100x加速) 方法选择： 优先使用at/iat而非loc/iloc进行单值访问 对已排序数据执行merge操作更快 避免apply函数，改用向量化运算 内存管理： 读取数据时预定义数据类型 及时删除不需要的列 处理大数据时可采用分块读取 这些优化技巧在实
2025-11-05 00:21:03
613
原创 Pandas-之数据可视化
本文介绍了使用Pandas进行数据可视化的多种方法，主要包括：基础绘图函数的使用、折线图、柱状图、散点图、直方图、箱线图等常见图表类型的绘制，以及面积图、饼图等其他图表类型。文章详细展示了每种图表的代码示例，并提供了图表自定义的指导，包括颜色、线型、标记等样式调整，以及如何创建多子图布局。这些可视化技术可以帮助数据分析师更直观地理解和展示数据特征与趋势。
2025-11-05 00:20:04
221
原创 Pandas-之字符串操作
本文介绍了Pandas中字符串操作的主要方法，包括字符串访问器str的使用、字符串匹配查找、替换、分割连接以及格式化等核心功能。通过实际代码示例展示了如何对文本数据进行大小写转换、查找子串位置、正则匹配、分割字符串、连接列表元素等常见操作。特别提供了邮箱和电话号码处理的实际应用案例，演示了如何规范化这类常见数据格式。这些字符串处理方法为数据清洗和预处理提供了强大工具，能有效处理各类文本型数据。
2025-11-05 00:18:57
225
原创 Pandas-之数据排序与去重
本文介绍了数据排序和去重的基础方法与实际应用。主要内容包括： 数据排序： 使用sort_values()按列值排序，支持单列/多列、升序/降序排列 使用sort_index()按索引排序 多级索引排序方法 数据去重： drop_duplicates()方法删除重复行，可指定保留策略（首/末/全部删除） duplicated()方法标记重复行，便于统计分析 基于单列或多列的去重操作 实际应用： 员工数据管理案例，展示如何结合排序和去重 销售数据分析示例，演示数据处理流程 文章提供了完整的Python代码示例，
2025-11-04 00:24:03
183
原创 Pandas-之时间序列处理
本文介绍了Python中处理时间序列数据的主要方法与操作。主要内容包括：1）创建时间戳和DatetimeIndex的方法；2）使用date_range和to_datetime创建时间序列；3）基于时间索引的数据选择；4）时间重采样技术（上采样和下采样）；5）时间偏移和频率设置；6）时间序列计算与操作。文章通过代码示例详细演示了如何创建、转换、选择和重新采样时间序列数据，适用于金融、物联网等需要时间序列分析的领域。
2025-11-04 00:10:51
493
原创 Pandas-之数据合并与连接
本文介绍了Pandas中四种数据合并与连接方法：concat合并、merge连接、join连接和append追加。重点讲解了concat实现数据框的垂直/水平合并、merge实现类似SQL的JOIN操作（包括内/外/左/右连接）、join基于索引的合并以及append的行追加功能。每种方法都提供了基本语法和实际应用示例，如处理不同列名、多键连接和重复键等常见场景。这些工具是数据清洗和分析中整合不同数据源的核心技术，掌握它们有助于高效处理结构化数据。
2025-11-04 00:08:57
313
原创 Pandas-之 数据聚合与分组
本文介绍了Pandas数据分组处理的核心方法，主要包括：1)基础分组操作，如按单列/多列分组、获取分组信息；2)分组聚合，包括常用统计函数和多列聚合；3)多级分组及复杂聚合；4)分组转换方法transform实现组内计算；5)filter方法筛选分组；6)apply应用自定义函数进行复杂分组处理。文中提供了丰富示例代码，涵盖了数据分析中常见的分组统计场景。
2025-11-04 00:07:05
447
原创 python-系统和进程管理
本文介绍了Python中系统和进程管理的核心模块与功能。主要内容包括： os模块：提供操作系统交互功能，包括目录/文件操作、路径处理、环境变量管理等 sys模块：用于与Python解释器交互，处理命令行参数、模块路径、系统信息等 进程管理：通过subprocess模块实现进程创建和控制 系统信息获取：包括平台信息、内存使用情况等 文件系统操作：涵盖文件创建/删除、目录遍历、权限管理等 文章还提供了大量代码示例，演示了创建临时文件、管理环境变量、获取系统信息等常见操作，并强调这些功能在自动化运维、进程监控和资
2025-11-03 17:08:24
986
原创 Pandas--之数据转换与操作
本文介绍了Pandas库中数据转换与操作的核心方法，包括添加修改列、应用函数、数据重排和数据透视。主要内容涵盖： 使用赋值和assign方法添加修改列 apply/map/transform函数应用技巧 数据转置与重排操作 pivot和pivot_table数据透视方法 通过实际示例展示条件赋值、字符串处理等常见场景 这些方法为数据分析提供了灵活的转换工具，能够高效处理各种数据操作需求。
2025-11-02 20:06:03
288
原创 Pandas-数据清洗与缺失值处理
本文介绍了数据清洗中的缺失值处理方法，包括检测、删除和填充缺失值的技术。主要内容涵盖了使用Pandas检测缺失值的各种方法（isna(), notna()等），处理缺失值的统计计算（跳过或包含缺失值），删除缺失值的dropna()方法（按行、列或特定条件删除），以及填充缺失值的多种策略（固定值、统计值、前向/后向填充和插值法）。此外还介绍了重复值的检测（duplicated()）和删除（drop_duplicates()）方法。这些技术为数据预处理提供了全面的解决方案。
2025-11-02 20:04:10
615
2
原创 双均线策略
双均线策略摘要： 该策略基于5日与20日均线交叉原理进行趋势跟踪交易。当5日均线上穿20日均线形成金叉时买入，下穿形成死叉时卖出。策略适用于趋势明显的市场环境，最大仓位限制为30%。需注意在震荡行情中可能出现频繁交易信号，且存在均线滞后问题。策略实现包含数据获取、均线计算、交易信号判断及订单执行等模块，建议配合止损止盈机制使用以控制风险。
2025-11-02 00:54:07
283
原创 中兴通讯（000063）技术分析报告
指标数值投资建议买入置信度75.0%风险评分45.0%目标价位52.0分析维度关键发现影响方向财报表现营收超千亿，净利降32%；算力业务+180%短期负，长期正机构动向60+家减持，但仍有3家给予买入评级中性偏多资金流向10/29大额流出，10/30–31连续特大单净流入短期企稳技术面股价三日跌11.5%，42元附近获支撑超跌反弹行业政策受益AI算力基建国家战略长期利好短期价格预期波动区间42.0–45.5元，反弹概率>60%震荡偏强长期价值转型成功，第二增长曲线确立显著提升结论。
2025-11-02 00:18:29
4736
原创 Pandas--数据选择与索引
本文介绍了Pandas中数据选择与索引的多种方法。主要内容包括：基础索引操作（选择列和行）；loc和iloc的区别与使用（基于标签和位置的索引）；布尔索引（单条件、多条件筛选）；条件筛选（字符串、数值条件）；以及isin、query等高级筛选方法。文中通过代码示例详细演示了各种索引技巧，是数据分析中数据筛选的实用指南。
2025-11-02 00:02:38
418
原创 Pandas--数据读取与写入
摘要：本文介绍了使用Python的Pandas库进行多种数据格式的读写操作。主要内容包括CSV文件的读取与写入，Excel文件的处理（需安装openpyxl/xlrd），以及JSON格式数据的转换（支持嵌套结构）。每种格式都提供了基本用法和常用参数示例，如指定编码、分隔符、列选择等实用技巧。还演示了如何将多个数据表写入Excel的不同工作表，以及处理日期解析、缺失值等常见问题。整体内容实用性强，适合数据分析和处理场景参考。
2025-11-02 00:01:36
551
原创 Pandas-DataFrame 数据结构详解
本文详细介绍了Pandas中的DataFrame数据结构。DataFrame是一个二维表格型数据结构，具有行索引和列索引，支持异构数据类型。文章阐述了多种创建DataFrame的方法：从字典、列表、NumPy数组等不同数据源创建，并介绍了DataFrame的基本属性和操作方法，包括查看数据、索引操作、数据选择和转换等。此外还提供了检查数据完整性和统计信息的实用技巧，以及添加/删除行列等常见操作示例。
2025-11-02 00:00:00
402
原创 Pandas-之Series 数据结构详解
本文详细介绍了Pandas中的Series数据结构，主要内容包括： Series基本概念：Series是一维标记数组，包含数据和索引两部分 创建方法：从列表、字典、标量值和NumPy数组等多种方式创建Series 常用属性：包括index、values、dtype、size等基本属性 索引操作：位置索引、标签索引以及loc/iloc方法 基本操作：元素添加、删除、修改等操作 数据类型：支持整数、浮点数、字符串、布尔等多种类型 统计方法：求和、均值、中位数、标准差等常用统计计算 Series作为Pandas的
2025-11-01 23:56:02
535
原创 Pandas 简介与安装
Pandas是一款强大的开源Python数据分析库，提供高性能的数据结构和分析工具。它由Wes McKinney于2008年开始开发，现已成为最受欢迎的Python数据分析库之一。Pandas核心数据结构包括Series（一维数组）和DataFrame（二维表格），支持多种数据格式读写、数据清洗、分组聚合等操作。安装简单，可通过pip或conda完成。Pandas与NumPy无缝集成，提供了类似SQL的数据操作能力，非常适合数据预处理、分析和可视化任务。本文还包含了安装方法、基本使用示例和验证安装的代码片段
2025-11-01 23:48:18
736
原创 Python 虚拟环境和包管理
虚拟环境和包管理是Python开发中的核心实践。虚拟环境(如venv/virtualenv)为每个项目创建隔离的Python环境，解决依赖冲突问题。pip作为官方包管理器，负责安装、升级和管理第三方库。requirements.txt文件记录项目依赖，便于复现环境。高级工具如conda和Poetry提供更完善的依赖管理方案。这些工具共同确保项目环境的一致性和可维护性，是Python开发的最佳实践。
2025-11-01 17:28:02
979
langchain 整体架构知识点体系
2025-11-28
mysql 8 详细的安装文档 包括安装文件以及常用出现的错误信息等等
2024-08-17
minio 可以下载功能配额等功能
2024-06-18
Linux离线安装NTP服务，内网环境下配置本地时间同步
2024-02-01
docker 中安装cendos 并且 安装 pyflink 14.5 的环境 的容器 参考 https://blog
2023-10-20
lrzsz 的linux 离线安装
2022-09-06
jdk 1.8 版本的 241 等
2022-09-06
flink13.1 操作clickhouse 的代码实现 包括自定义 source 自定义 sink
2022-08-28
flink13.1 scala 11 操作clickhouse 的代码实现 包括source sink
2022-08-29
flink13 操作clickhouse 的代码实现 包括source sink
2022-08-28
flink13.1 操作clickhouse 所需要的jar 包
2022-08-27
flink13.2 操作clickhouse 所需要的jar 包
2022-08-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人