<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[zwahut的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/zwahut</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; zwahut]]></copyright><item><title><![CDATA[Java项目无法下载pom中的依赖包报错解决]]></title><link>https://blog.youkuaiyun.com/zwahut/article/details/160217937</link><guid>https://blog.youkuaiyun.com/zwahut/article/details/160217937</guid><author>zwahut</author><pubDate>Thu, 16 Apr 2026 15:45:17 +0800</pubDate><description><![CDATA[最后解决办法是找到.m2/repository/org/glassfish/javax.el  把这个目录删除了，再重新执行上面的命令就可以正常下载依赖包了。尝试在命令行执行下面的命令也不行。]]></description><category></category></item><item><title><![CDATA[用hivesql处理海量的离线地图数据，是什么场景，给出实际案例和语句]]></title><link>https://blog.youkuaiyun.com/zwahut/article/details/158963770</link><guid>https://blog.youkuaiyun.com/zwahut/article/details/158963770</guid><author>zwahut</author><pubDate>Thu, 12 Mar 2026 11:36:54 +0800</pubDate><description><![CDATA[核心场景：HiveSQL处理海量离线地图数据的核心场景是用户轨迹分析、商圈客流、地理热力图、物流配送分析，均为批量、非实时、复杂计算需求；案例关键：每个案例均包含「数据过滤→关联计算→聚合指标」的三层逻辑，适配亿级数据的性能优化（分区、Map Join、数据倾斜打散）；技术核心：GeoHash聚合、Haversine距离、窗口函数、空间函数是处理地图数据的三大核心技术，需结合业务场景灵活使用。以上SQL语句均可直接适配Hive 3.x+版本，只需替换表名/字段名/日期参数，即可处理亿级离线地图数据。]]></description><category></category></item><item><title><![CDATA[经纬度转geohash]]></title><link>https://blog.youkuaiyun.com/zwahut/article/details/158961575</link><guid>https://blog.youkuaiyun.com/zwahut/article/details/158961575</guid><author>zwahut</author><pubDate>Thu, 12 Mar 2026 10:00:42 +0800</pubDate><description><![CDATA[核心实现：优先使用Java UDF（方案1），无开发能力选纯SQL临时函数（方案2），有GIS环境选方案3；精度选择：商圈/网格分析用6-7位，城市级聚合用4位，精准定位用8位；性能优化：预计算GeoHash并存储，热门区域聚合时添加随机数打散数据倾斜。以上代码均可直接复制执行，如需调整精度或适配特定业务场景，可修改precision参数或经纬度范围过滤条件。]]></description><category></category></item><item><title><![CDATA[真实业务场景 HiveSQL]]></title><link>https://blog.youkuaiyun.com/zwahut/article/details/158959696</link><guid>https://blog.youkuaiyun.com/zwahut/article/details/158959696</guid><author>zwahut</author><pubDate>Thu, 12 Mar 2026 08:28:24 +0800</pubDate><description><![CDATA[全部基于电商/互联网真实数仓模型，贴合生产规范，覆盖面试必考、工作高频的核心指标，和之前的HiveSQL知识点完全打通，可直接运行、直接复用。]]></description><category></category></item><item><title><![CDATA[使用 hivesql 分析地图数据]]></title><link>https://blog.youkuaiyun.com/zwahut/article/details/158959685</link><guid>https://blog.youkuaiyun.com/zwahut/article/details/158959685</guid><author>zwahut</author><pubDate>Thu, 12 Mar 2026 08:26:54 +0800</pubDate><description><![CDATA[本文基于国内主流业务场景，覆盖8大核心场景，提供可直接落地的HiveSQL代码，兼顾原生Hive无依赖实现与专业GIS扩展方案，适配互联网、零售、出行、物流、本地生活等多行业。]]></description><category></category></item><item><title><![CDATA[可直接执行的 HiveSQL 地图数据分析全量脚本]]></title><link>https://blog.youkuaiyun.com/zwahut/article/details/158959667</link><guid>https://blog.youkuaiyun.com/zwahut/article/details/158959667</guid><author>zwahut</author><pubDate>Thu, 12 Mar 2026 08:25:11 +0800</pubDate><description><![CDATA[- 1. 经纬度球面距离计算函数（Haversine公式，单位：公里）-- 原生Hive支持，无需UDF，所有地图分析的核心基础SQRT(-- 2. 可选：坐标转换宏（需自行补充完整转换公式）-- 国内坐标系：WGS84 ↔ GCJ02 ↔ BD09，避免定位偏移-- -- 此处补充WGS84转GCJ02公式，建议封装为Java UDF更稳定。]]></description><category></category></item><item><title><![CDATA[flink面试题及答案]]></title><link>https://blog.youkuaiyun.com/zwahut/article/details/158731602</link><guid>https://blog.youkuaiyun.com/zwahut/article/details/158731602</guid><author>zwahut</author><pubDate>Fri, 06 Mar 2026 10:29:44 +0800</pubDate><description><![CDATA[当作业故障时，可从最近的Checkpoint恢复状态，保证数据处理的一致性，我在生产环境中对所有核心Flink任务均开启Checkpoint（如设备实时监控、安防布控）。，导致数据在算子间积压，表现为任务延迟飙升、数据处理吞吐量下降，我在视频图像平台和工厂实时数仓中多次排查并解决背压问题，形成了**「三步排查法+四级优化方案」**。，用于触发窗口计算、处理数据乱序和迟到，我在所有基于事件时间的Flink任务中均配置了Watermark。是业务开发的核心，我在所有Flink实时任务中均大量使用。]]></description><category></category></item><item><title><![CDATA[spark面试题及答案]]></title><link>https://blog.youkuaiyun.com/zwahut/article/details/158730015</link><guid>https://blog.youkuaiyun.com/zwahut/article/details/158730015</guid><author>zwahut</author><pubDate>Fri, 06 Mar 2026 09:26:33 +0800</pubDate><description><![CDATA[开发调试用Client模式，保障十亿级数据任务的稳定性。三者是Spark不同层级的抽象，核心区别在。：我在生产环境中所有离线批处理任务用。]]></description><category></category></item><item><title><![CDATA[机器学习、深度学习算法分别有哪些]]></title><link>https://blog.youkuaiyun.com/zwahut/article/details/158544388</link><guid>https://blog.youkuaiyun.com/zwahut/article/details/158544388</guid><author>zwahut</author><pubDate>Sun, 01 Mar 2026 21:47:14 +0800</pubDate><description><![CDATA[机器学习：核心是“人工设计特征+简单模型”，适合结构化数据、小样本、需可解释性的场景（如金融风控、电商推荐）；深度学习：核心是“自动学习特征+深层网络”，适合非结构化数据、大样本、追求高精度的场景（如图像识别、大语言模型）；工业界常用“组合方案”：用机器学习处理结构化数据，深度学习处理非结构化数据，再融合结果。]]></description><category></category></item><item><title><![CDATA[pg如何把日期转为字符串]]></title><link>https://blog.youkuaiyun.com/zwahut/article/details/158541214</link><guid>https://blog.youkuaiyun.com/zwahut/article/details/158541214</guid><author>zwahut</author><pubDate>Sun, 01 Mar 2026 16:57:16 +0800</pubDate><description><![CDATA[这是PG中日期转字符串的核心函数，支持自定义日期格式（年/月/日/时/分/秒），满足所有场景需求。自定义格式（推荐）：用TO_CHAR(日期, '格式模板')，灵活适配所有场景；快速默认格式：用日期::TEXT，极简但格式固定；本地化需求：先设置lc_time，再用TO_CHAR+本地化模板；避坑重点：补0用FM、时区转TIMESTAMP、NULL值用COALESCE兜底。]]></description><category></category></item><item><title><![CDATA[pg中连接字符串的方式有哪些]]></title><link>https://blog.youkuaiyun.com/zwahut/article/details/158541190</link><guid>https://blog.youkuaiyun.com/zwahut/article/details/158541190</guid><author>zwahut</author><pubDate>Sun, 01 Mar 2026 16:55:29 +0800</pubDate><description><![CDATA[日常简单拼接：优先用||运算符（PG原生、性能最优）；含NULL/跨库场景：用CONCAT()；复杂模板/动态SQL：用FORMAT()；数组拼接：用。]]></description><category></category></item><item><title><![CDATA[除了LIKE和ANY，还有哪些常用的模糊查询操作符？]]></title><link>https://blog.youkuaiyun.com/zwahut/article/details/158541145</link><guid>https://blog.youkuaiyun.com/zwahut/article/details/158541145</guid><author>zwahut</author><pubDate>Sun, 01 Mar 2026 16:52:47 +0800</pubDate><description><![CDATA[简单模糊查询：用LIKE~~（新手首选）；复杂规则匹配：用正则~*（如格式校验、多关键词）；跨库兼容场景：用SIMILAR TO；长文本高效查询：用全文检索@@（必建索引）；性能优化：短字段加pg_trgm索引，长文本加全文索引。]]></description><category></category></item><item><title><![CDATA[postgresql，需求给了我20个汉字，我要从这张表的某一个字段里边检索出来，就是这个字段包含这20个汉字中的某一个汉字的数据都算，帮我查询出来符合的数据，我应该怎么做]]></title><link>https://blog.youkuaiyun.com/zwahut/article/details/158541083</link><guid>https://blog.youkuaiyun.com/zwahut/article/details/158541083</guid><author>zwahut</author><pubDate>Sun, 01 Mar 2026 16:49:05 +0800</pubDate><description><![CDATA[优先用第一种写法ANY+数组），20个汉字只需按格式列在数组里，代码更简洁易维护；新手可先用第二种写法OR+LIKE），逻辑更直观；大数据量场景记得创建pg_trgm扩展的GIN索引，提升查询速度。]]></description><category></category></item><item><title><![CDATA[敏感数据在链路中如何脱敏]]></title><link>https://blog.youkuaiyun.com/zwahut/article/details/158498147</link><guid>https://blog.youkuaiyun.com/zwahut/article/details/158498147</guid><author>zwahut</author><pubDate>Sat, 28 Feb 2026 10:34:10 +0800</pubDate><description><![CDATA[大屏、报表、API 输出必须脱敏管理员可看部分明文，普通人员只能看脱敏日志中严禁打印身份证、手机号、银行卡明文敏感数据脱敏遵循源头脱敏、全链路加密、分级授权、可用不可见的原则，在不影响数据分析与统计的前提下，保证敏感数据不泄露、不扩散。]]></description><category></category></item><item><title><![CDATA[总分校验，跨业务跨表，数据对账]]></title><link>https://blog.youkuaiyun.com/zwahut/article/details/158498081</link><guid>https://blog.youkuaiyun.com/zwahut/article/details/158498081</guid><author>zwahut</author><pubDate>Sat, 28 Feb 2026 10:31:54 +0800</pubDate><description><![CDATA[总分校验保数量，跨表跨域保口径，数据对账保最终正确性，三者结合构成企业级数据质量的最后一道防线。]]></description><category></category></item><item><title><![CDATA[面试专用：数据质量监控标准回答]]></title><link>https://blog.youkuaiyun.com/zwahut/article/details/158497968</link><guid>https://blog.youkuaiyun.com/zwahut/article/details/158497968</guid><author>zwahut</author><pubDate>Sat, 28 Feb 2026 10:28:15 +0800</pubDate><description><![CDATA[我理解的数据质量不是事后补救，而是从采集、清洗、加工到输出全流程埋点、预防、监控、自愈的体系化能力，目的是保证数据可用、可信、可靠。]]></description><category></category></item><item><title><![CDATA[数据质量的监控怎么做的]]></title><link>https://blog.youkuaiyun.com/zwahut/article/details/158497929</link><guid>https://blog.youkuaiyun.com/zwahut/article/details/158497929</guid><author>zwahut</author><pubDate>Sat, 28 Feb 2026 10:27:09 +0800</pubDate><description><![CDATA[数据质量不是事后查错，而是从源头、采集、清洗、加工全链路埋点监控。]]></description><category></category></item><item><title><![CDATA[多流join怎么保证一致性]]></title><link>https://blog.youkuaiyun.com/zwahut/article/details/158497903</link><guid>https://blog.youkuaiyun.com/zwahut/article/details/158497903</guid><author>zwahut</author><pubDate>Sat, 28 Feb 2026 10:26:16 +0800</pubDate><description><![CDATA[核心保障逻辑：多流 Join 一致性 = 「时间对齐（Watermark+窗口）」 + 「容错（Checkpoint+状态管理）」 + 「写入兜底（幂等/2PC）」 + 「最终一致性（离线补算）」；优先级原则：优先用「Window/Interval Join + Watermark」解决乱序问题，再用 Checkpoint 保证故障恢复，最后用幂等/离线补算兜底；场景适配：非核心场景用「At-Least-Once + 幂等」，金融级场景用「Exactly-Once + 2PC + 离线补算」。]]></description><category></category></item><item><title><![CDATA[kafka如果产生了数据积压怎么处理，在实际应用中有没有遇到过积压的情况，是怎么处理的]]></title><link>https://blog.youkuaiyun.com/zwahut/article/details/158496273</link><guid>https://blog.youkuaiyun.com/zwahut/article/details/158496273</guid><author>zwahut</author><pubDate>Sat, 28 Feb 2026 09:25:51 +0800</pubDate><description><![CDATA[应急处理：优先扩容消费并行度（匹配分区数）、降级消费逻辑、批量处理，快速降低积压；根因优化：定位消费端瓶颈（代码/资源/存储），针对性优化（异步化、批量写入、扩容存储）；长期预防：提前做容量规划、完善监控告警、架构层面削峰限流，从根源避免积压；核心原则：处理积压的关键是「让消费速度 > 生产速度」，应急靠扩容/降级，长期靠优化/规划。]]></description><category></category></item><item><title><![CDATA[flink两阶段提交机制是什么，举例实际使用的业务场景]]></title><link>https://blog.youkuaiyun.com/zwahut/article/details/158470587</link><guid>https://blog.youkuaiyun.com/zwahut/article/details/158470587</guid><author>zwahut</author><pubDate>Sat, 28 Feb 2026 09:21:31 +0800</pubDate><description><![CDATA[核心原理：Flink 2PC 绑定「Checkpoint」与「外部系统事务」，通过「预提交→全局确认→正式提交」三步，保证跨系统写入的原子性，实现端到端 Exactly-Once；核心依赖：需开启 Checkpoint（EXACTLY_ONCE 模式），外部系统需支持事务+幂等，Sink 需实现；业务场景：优先用于金融对账、订单同步、支付清算等「零数据重复/丢失」的核心场景，非核心场景可权衡性能选择 At-Least-Once。]]></description><category></category></item></channel></rss>