<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[csdnexp的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/csdnexp</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; csdnexp]]></copyright><item><title><![CDATA[spark plugin机制及使用场景]]></title><link>https://blog.youkuaiyun.com/csdnexp/article/details/156736548</link><guid>https://blog.youkuaiyun.com/csdnexp/article/details/156736548</guid><author>csdnexp</author><pubDate>Thu, 08 Jan 2026 23:20:04 +0800</pubDate><description><![CDATA[/ 设置自定义Shuffle管理器null。]]></description><category></category></item><item><title><![CDATA[Elasticsearch非keyword字段转keyword方法]]></title><link>https://blog.youkuaiyun.com/csdnexp/article/details/156698664</link><guid>https://blog.youkuaiyun.com/csdnexp/article/details/156698664</guid><author>csdnexp</author><pubDate>Wed, 07 Jan 2026 23:32:46 +0800</pubDate><description><![CDATA["type": "keyword"  # 或者保持 text 并添加 keyword 子字段。如果所有查询都需要精确匹配，重建索引改为 keyword 类型。# 2. 使用 reindex API 迁移数据。：text 字段自动添加 keyword 子字段。如果同时需要全文搜索和精确匹配，使用多字段类型。# 1. 创建新索引，定义正确的映射。：使用索引模板确保新索引有正确的映射。# 3. 使用别名无缝切换（可选）：根据查询需求提前定义好字段类型。如果只是偶尔需要精确匹配，使用。]]></description><category></category></item><item><title><![CDATA[Elasticsearch删除索引字段方法总结]]></title><link>https://blog.youkuaiyun.com/csdnexp/article/details/156698632</link><guid>https://blog.youkuaiyun.com/csdnexp/article/details/156698632</guid><author>csdnexp</author><pubDate>Wed, 07 Jan 2026 23:31:09 +0800</pubDate><description><![CDATA[根据你的数据量、业务需求和停机时间要求，选择最合适的方法。对于生产环境，通常推荐使用重建索引+别名切换的方案。"type": null  // 设置为 null 来删除映射。这是最安全、最常用的方法，因为 ES 不支持直接删除字段。// 2. 使用 Reindex API 迁移数据。// 可以在这里移除字段或转换数据。// 1. 创建新索引，定义不含该字段的映射。// 3. 删除旧索引，使用别名切换（可选）// 新映射，不包含要删除的字段。// 不包含要删除的字段。# 1. 使用索引别名，实现零停机。]]></description><category></category></item><item><title><![CDATA[大数据平台JDK升级方案]]></title><link>https://blog.youkuaiyun.com/csdnexp/article/details/156579832</link><guid>https://blog.youkuaiyun.com/csdnexp/article/details/156579832</guid><author>csdnexp</author><pubDate>Mon, 05 Jan 2026 23:06:20 +0800</pubDate><description><![CDATA[JDK 8仍是主流但持续下降，主要存在于遗留系统JDK 11是当前最稳妥的升级目标，生态成熟JDK 17是未来的标准，增长迅速，适合新项目JDK 21开始受到关注，适合技术前沿团队。]]></description><category></category></item><item><title><![CDATA[spark sql 窗口和补全有哪些功能]]></title><link>https://blog.youkuaiyun.com/csdnexp/article/details/156579519</link><guid>https://blog.youkuaiyun.com/csdnexp/article/details/156579519</guid><author>csdnexp</author><pubDate>Mon, 05 Jan 2026 23:06:04 +0800</pubDate><description><![CDATA[分区与排序OVER(PARTITION BY col1, col2  -- 按列分组ORDER BY time_col DESC    -- 组内排序[窗口框架]               -- 定义行范围窗口框架（Frame）-- 行范围-- 值范围（需要ORDER BY）]]></description><category></category></item><item><title><![CDATA[spark各个版本的特性差异]]></title><link>https://blog.youkuaiyun.com/csdnexp/article/details/156537367</link><guid>https://blog.youkuaiyun.com/csdnexp/article/details/156537367</guid><author>csdnexp</author><pubDate>Sun, 04 Jan 2026 22:30:14 +0800</pubDate><description><![CDATA[通过版本迭代，Spark 从以 RDD 为中心的计算引擎演变为以结构化 API 和自适应优化为核心的统一分析平台，同时深度集成云原生和 AI 生态。：初步支持 Spark SQL（前身为 Shark）、Spark Streaming（微批处理）和 MLlib。：优先使用 Structured Streaming（Spark 2.x+），避免旧版 DStream。API（类似 Pandas），支持优化器 Catalyst 和 Tungsten 执行引擎。：启用 AQE（Spark 3.0+）和动态分区裁剪。]]></description><category></category></item><item><title><![CDATA[spark如何集成向量计算加速框架]]></title><link>https://blog.youkuaiyun.com/csdnexp/article/details/156537387</link><guid>https://blog.youkuaiyun.com/csdnexp/article/details/156537387</guid><author>csdnexp</author><pubDate>Sun, 04 Jan 2026 22:28:25 +0800</pubDate><description><![CDATA[yield (i, np.random.random(128).tolist())  # 128维向量。Spark 的向量计算加速正在快速发展，特别是随着硬件加速器和专用向量计算库的普及，未来将有更多原生集成方案。buffer(0) = Array.fill(128)(0.0)  // 初始化向量。：使用 Spark UI 监控 GPU 利用率、内存使用等指标。：Parquet/ORC 文件的向量化读取。// Scala示例：自定义向量化聚合函数。# 使用numpy进行向量化计算。]]></description><category></category></item><item><title><![CDATA[flink持久化状态类新增成员属性后升级，老任务无法启动，报序列化错误或者序列化时堆栈内存溢出]]></title><link>https://blog.youkuaiyun.com/csdnexp/article/details/156518599</link><guid>https://blog.youkuaiyun.com/csdnexp/article/details/156518599</guid><author>csdnexp</author><pubDate>Sat, 03 Jan 2026 13:04:16 +0800</pubDate><description><![CDATA[Flink状态序列化问题的分析与解决方案 摘要：本文分析了Flink状态序列化问题的根本原因，主要在于状态类结构变更导致新旧序列化器不兼容。解决方案分为两类：1)紧急恢复方案，通过--allowNonRestoredState参数快速恢复服务，但会丢失状态数据；2)正确升级方案，包括使用POJO序列化规则、自定义TypeSerializer或采用Avro/Protobuf等支持Schema演化的框架。建议优先采用POJO+默认值方案进行修复，新项目推荐使用Avro/Protobuf定义状态类。任何状态变更都]]></description><category></category></item><item><title><![CDATA[国产化工业级服务器成本组成]]></title><link>https://blog.youkuaiyun.com/csdnexp/article/details/156518634</link><guid>https://blog.youkuaiyun.com/csdnexp/article/details/156518634</guid><author>csdnexp</author><pubDate>Sat, 03 Jan 2026 13:03:02 +0800</pubDate><description><![CDATA[国产工业级服务器成本结构主要分为四部分：硬件（60%-75%，含CPU、GPU等核心组件）、软件系统（15%-25%）、研发定制（10%-20%）和生产运维（5%-10%）。成本受规模效应、技术成熟度、行业需求及政策补贴影响，国产芯片成本可能比进口高10%-20%，但批量采购和政策补贴可显著降低成本。随着国产化率提高，软件和适配成本可能阶段性上升，但长期硬件成本将随生态完善逐步下降。典型案例显示，基础工业服务器硬件成本占比约70%，其中国产CPU占25%。]]></description><category></category></item><item><title><![CDATA[系统可用性指标99.9% 测试包含哪些内容]]></title><link>https://blog.youkuaiyun.com/csdnexp/article/details/156518294</link><guid>https://blog.youkuaiyun.com/csdnexp/article/details/156518294</guid><author>csdnexp</author><pubDate>Fri, 02 Jan 2026 21:11:19 +0800</pubDate><description><![CDATA[本文系统阐述了如何通过全面测试确保系统达到99.9%可用性目标。主要内容包括：核心可用性测试、容错与灾难恢复测试、负载压力测试、混沌工程测试、持续稳定性测试、配置部署测试以及安全韧性测试等七大维度。测试重点在于验证系统在部件失效时的表现、恢复能力、极限压力下的稳定性以及变更安全性。文章强调测试需贯穿系统全生命周期，通过自动化、常态化执行来持续验证各项指标，包括错误率、响应时间、资源利用率等关键指标，最终确保系统在高负载和异常情况下仍能保持稳定运行。]]></description><category></category></item><item><title><![CDATA[pycharm flask debug 本地IP+端口无法本机访问，什么原因]]></title><link>https://blog.youkuaiyun.com/csdnexp/article/details/156518166</link><guid>https://blog.youkuaiyun.com/csdnexp/article/details/156518166</guid><author>csdnexp</author><pubDate>Fri, 02 Jan 2026 21:01:52 +0800</pubDate><description><![CDATA[pycharm本地调试flask应用，IP+端口无法访问。本质是Debug状态，app.run host='0.0.0.0'未生效，需要修改IDE配置]]></description><category></category></item></channel></rss>