- 博客(1106)
- 资源 (4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Elasticsearch 8.13.4 条件修改 DSL 语句详解
摘要：Elasticsearch 的 _update_by_query 功能是实现高效条件更新的关键工具。文章详解了如何通过查询定位文档并使用 Painless 脚本进行局部更新，包括基础语法、字段运算、数组操作等实战技巧。特别强调了生产环境中的性能优化策略，如版本冲突处理、并行切片更新等，并指出了常见误区。掌握这一功能可帮助开发者在不停机情况下精准修改海量数据，是 Elasticsearch 高级应用的核心技能之一。
2026-01-06 09:12:35
389
原创 ES的DSL编写规则规则讲解
摘要：本文深入解析Elasticsearch DSL编写核心规则，重点强调Query与Filter的性能差异、精准匹配与全文检索的区分、Bool查询的逻辑组合等关键技巧。通过实际案例展示如何优化查询结构，避免常见性能陷阱，如滥用match_all、深层嵌套等问题。文章指出优秀的DSL需要权衡相关性与性能，理解底层索引机制，才能实现千万级数据的高效检索和分析。掌握这些规则可显著提升搜索性能，降低系统资源消耗。
2026-01-05 16:08:28
497
原创 国家税务总局中文点选验证码识别
2026年元旦节，国家税务总局中文点选验证码居然又更新了。这次更新对识别还是有很大的影响。1、文字的位置变得随机2、文字的旋转角度变得更乱让识别变得更加困难。我们在元旦节期间快速反应，迅速的采集最新的图片，完成了数据标记与训练。最终正确率达到了99%。
2026-01-05 14:26:39
338
原创 Nginx中的worker_processes如何设置：从“盲目填数”到“精准调优”
Nginx性能优化：worker_processes参数详解 本文深入解析Nginx核心参数worker_processes的配置策略。关键点包括： Nginx采用主从多进程模型，worker_processes决定工作进程数 现代版本推荐设为auto自动匹配CPU核心数 CPU密集型业务应等于核心数，IO密集型可超配1.5-2倍 高频并发场景建议使用worker_cpu_affinity绑定CPU核心 必须同步调整worker_connections和系统文件句柄限制 提供不同场景的配置模板及排错技巧 通
2026-01-04 16:34:24
435
原创 Nginx中配置静态文件地址：高性能、高并发实战指南
本文深入探讨了Nginx在高并发架构中作为静态文件服务器的优化策略。重点解析了root与alias指令的正确使用、缓存控制(expires/Cache-Control)的性能影响、连接与线程优化(sendfile/keepalive)等核心配置。文章提供了从基础配置到系统级调优的完整方案，包括文件句柄缓存、访问频率限制等高级技巧，并给出可直接用于生产环境的终极配置模板。通过精准配置这些参数，可显著提升静态资源服务性能，轻松应对10万+ QPS的高并发场景。
2026-01-04 15:50:15
415
原创 国家税务总局中文点选验证码识别
2026年元旦节，国家税务总局中文点选验证码居然又更新了。这次更新对识别还是有很大的影响。1、文字的位置变得随机2、文字的旋转角度变得更乱让识别变得更加困难。我们在元旦节期间快速反应，迅速的采集最新的图片，完成了数据标记与训练。最终正确率达到了99%。
2026-01-03 23:15:21
941
原创 Nginx原生配置介绍
本文深入解析Nginx原生配置体系，从基础架构到高级功能。介绍了模块化配置文件结构，详解全局参数、事件处理和HTTP模块关键配置。重点讲解了负载均衡、动静分离、HTTPS等高级功能实现，并提供配置调试、性能优化技巧及常见问题解决方案。通过合理配置可构建高性能Web服务架构，充分发挥Nginx在现代互联网中的核心作用。
2026-01-03 21:04:06
853
原创 报错：OSError: [WinError 1455] 页面文件太小，无法完成操作
Windows系统报错OSError: [WinError 1455] 页面文件太小主要是由于物理内存不足或虚拟内存设置过小导致。常见于加载大型依赖库（如PyTorch的CUDA组件）时发生。解决方案包括：1）调整虚拟内存大小（推荐设为物理内存1.5-2倍）；2）检查并安装Visual C++运行库；3）检查PyTorch与CUDA版本兼容性；4）释放物理内存并重启IDE。优先推荐调整虚拟内存设置并重启系统，多数情况下可解决问题。若无效，可尝试安装CPU版PyTorch规避CUDA错误。
2026-01-03 17:19:47
871
原创 Python MySQL 错误回滚实战代码
本文演示了一个数据库事务处理的典型案例：转账业务。通过Python和PyMySQL实现了一个包含异常回滚机制的转账场景，当系统在扣款后、加款前发生故障时，能够自动回滚到事务开始前的状态，确保资金不会丢失。代码重点展示了事务控制的关键步骤：关闭自动提交、执行SQL操作、异常处理中的回滚机制，以及使用InnoDB引擎的必要性。通过模拟系统崩溃的场景，验证了事务的ACID特性，最终确保Alice和Bob的账户余额保持正确一致。
2026-01-02 15:37:18
279
原创 MySQL 日志全解析
MySQL日志系统是保障数据安全和性能优化的核心机制。服务层日志（错误日志、慢查询日志、通用查询日志）帮助监控和优化数据库运行状态；存储引擎层的InnoDB事务日志（Redo Log、Undo Log）确保事务ACID特性，实现崩溃恢复和数据回滚；Binlog则支持主从复制和时间点恢复。通过两阶段提交机制，MySQL协调Redo Log和Binlog，确保数据一致性和可靠性。理解这些日志的协同作用，是掌握MySQL运维和优化的关键。
2026-01-02 15:31:37
577
原创 Elasticsearch 8.13.4 关键词如何高亮显示
本文深入解析Elasticsearch 8.13.4的高亮功能，从基础原理到高级应用。核心要点包括：高亮是在倒排索引阶段完成的分析过程；通过pre_tags/post_tags可自定义高亮样式；fragment_size和number_of_fragments控制返回片段；8.x新增的boundary_scanner能优化文本截断。文章特别强调性能优化技巧：必须开启require_field_match避免无效高亮，警惕max_analyzed_offset限制，注意XSS安全风险。最后通过电商搜索案例，展
2025-12-31 17:10:31
989
原创 Elasticsearch 8.13.4 内存占用过大如何处理
本文针对Elasticsearch 8.13.4内存优化提出系统性解决方案。核心建议包括：遵循"50%原则"分配堆内存和文件系统缓存；严格控制堆内存不超过32GB；禁用Text字段的fielddata聚合；优化查询方式避免深分页；彻底禁用Swap；合理规划分片策略。同时提供了内存诊断方法，强调需要从JVM、查询逻辑和系统内核三个维度进行综合治理，才能有效解决内存问题，提升集群性能。
2025-12-31 15:52:08
819
原创 Elasticsearch 8如何做好标题搜索
标题搜索是Elasticsearch 8中的精准匹配艺术。本文剖析了标题搜索与全文搜索的本质区别，指出标题搜索需要极致平衡查准率和召回率。核心解决方案包括：索引时采用IK分词器的ik_max_word模式实现细粒度切分，配合keyword类型字段确保精准匹配；搜索时使用match_phrase保证词序，fuzzy查询容错拼写错误，同义词扩展提升召回率。文章还提供了版本兼容性、自定义词典等关键避坑指南，强调标题搜索需要像手术刀般精准控制分词行为，通过Text和Keyword双字段策略实现模糊与精准的完美平衡。
2025-12-30 16:04:09
536
原创 Navicat替代工具：打破枷锁，拥抱2026年的极客新宠
Navicat固然优秀，但它已不再是唯一的解。若你是全栈开发者，需要横跨多种数据库，DBeaver是你的不二之选；若你是MySQL专家/DBA，追求深度监控与建模，是你的专业标配；若你钟爱轻量极速，或者资源有限，HeidiSQL会让你爱不释手；若你身处信创环境或渴望AI辅助SQLark则是面向未来的利器。工具的价值在于提升效率，而非消耗预算。在这个开源与AI并起的时代，勇敢地走出Navicat的舒适区，你会发现，外面的世界更广阔，也更自由。
2025-12-30 15:59:33
575
原创 如何基于 Elasticsearch 构建亿级相似图片搜索系统
摘要：本文探讨如何利用Elasticsearch的向量检索能力构建高性能相似图片搜索引擎。通过深度学习模型（如ResNet）将图片转化为高维向量，利用ES的dense_vector字段和HNSW算法实现高效搜索。文章详细介绍了从建表、数据入库到相似度计算的完整流程，并分析了混合搜索优势与性能优化方法。该方案适用于百万级数据的毫秒级搜索，在电商推荐、内容审核等场景具有实用价值，同时指出ES在超大规模数据下的局限性。
2025-12-29 15:19:28
715
原创 百度AI旋转验证码识别
百度AI旋转验证码采用动态生成技术，每张图片都包含独特干扰因素，极大增加了机器识别难度。本文介绍了两种识别方法：原图识别（准确率最高）和切边截图识别。通过Python代码示例演示了调用得塔云API接口的完整流程，包括图片预处理、base64编码转换和结果解析，最终输出旋转角度和矫正效果。该方案已实现接近100%的识别准确率，并持续优化以适应新型AI验证码。开发者可根据网络环境选择电信或三网通用接口进行接入。
2025-12-29 15:12:57
1526
原创 Nginx主动健康检查实战全攻略
Nginx的主动健康检查，不仅仅是几行配置，它是**“防御性编程”**思想在基础设施层的体现。它将故障拦截在用户无感知的阶段，把“服务治理”的能力下沉到了网关层。在2025年的今天，面对日益复杂的分布式系统，如果你还在依赖被动的max_fails，无异于在雷区蒙眼狂奔。立刻行动起来，编译模块、配置探针、优化策略，让你的Nginx拥有一双“透视眼”，在流量洪峰中为你的业务保驾护航！
2025-12-28 17:31:19
599
原创 Elasticsearch 8.13.4 动态同义词实战全解析
本文介绍了Elasticsearch 8.13.4版本中实现动态同义词热更新的技术方案。重点讲解了Synonyms API的创新应用，告别了传统需要重启服务的文件更新方式，实现了无需重启即可实时更新同义词规则。文章详细阐述了如何将IK分词器与动态同义词结合优化中文搜索，并提供了HTTP远程拉取和数据库直连两种进阶方案。最后强调了版本兼容性、内存管理等注意事项，指出动态同义词更新是提升搜索引擎实时性和智能化的关键突破。
2025-12-28 17:16:34
791
原创 ES8.13.4数据类型简介
本文深度剖析了Elasticsearch 8.13.4中的数据类型选择策略。核心要点包括：Text与Keyword类型的区别与应用场景，推荐使用多字段策略；数值类型应根据业务需求选择最小范围，金融场景推荐scaled_float；日期类型需严格指定格式；复杂数据结构中nested类型能保持对象独立性；还介绍了范围类型、地理类型等特殊应用。文章强调数据类型一旦写入几乎不可修改，建议前期精心设计Mapping，避免后期重建索引，并总结出关键原则：Text用于搜索，Keyword用于聚合，scaled_float
2025-12-27 17:54:29
785
原创 ES8.13.4如何让一个字段同时具备分词和精准匹配
本文探讨了Elasticsearch 8.13.4版本中解决字段既需分词搜索又需精确匹配的"多字段(Multi-fields)"策略。通过text类型主字段实现灵活分词搜索，配合keyword子字段支持精确匹配、排序和聚合。文章详细展示了Mapping配置示例，包括多分词器组合应用，并给出查询场景演示。同时强调Mapping设计的重要性，提出避免字段爆炸、权衡同义词性能等实用建议。这种"一源两用"的设计充分利用ES特性，在搜索精度与性能间取得平衡。
2025-12-27 17:51:59
798
原创 ES8.13.4 Mapping如何设置
本文详细介绍了Elasticsearch 8.13.4版本中Mapping设计的核心要点。首先强调了Mapping的重要性，指出它决定了搜索精准度、聚合效率和磁盘开销。文章重点讲解了8.x版本的"去类型化"变革、字段类型选择（特别是text与keyword的区别）、高级配置参数以及IK分词与同义词的实战配置。最后提供了常见问题解决方案，强调Mapping设计需要提前规划，避免后期数据迁移。全文为开发者提供了生产级Mapping设计的完整指南，帮助构建高性能的ES搜索系统。
2025-12-26 17:02:01
651
原创 ES批量写入数据：从兼容旧版到适配ES8的最佳实践
本文分享了从Elasticsearch 6.7迁移到8.13.4版本时的关键优化点，重点介绍了批量写入的高效实现方法。文章对比了单条写入与批量写入的性能差异，指出批量写入可提升数十倍效率。针对ES8的重大变化（如移除Mapping Types），提供了详细的代码适配方案，包括创建支持IK分词的索引配置和封装批量写入工具类。最后还给出进阶优化建议，如分块处理、重试机制和刷新间隔调整，以应对百万级数据迁移场景。全文以Python代码示例为核心，为ES版本升级和性能优化提供了实用指导。
2025-12-26 15:25:07
377
原创 ES 8.13.4 如何配置 IK 自定义同义词库（附完整实战代码）
本文详细介绍如何在Elasticsearch 8.13.4中为IK分词器配置自定义同义词库，提升中文搜索效果。通过创建同义词词库文件（支持显式映射和等价映射两种格式），配置索引与分析器（结合IK分词和同义词过滤），并插入测试数据验证效果。文章还提供了调试技巧和生产环境注意事项，包括Docker部署、热更新限制和性能考量。这种方法能有效解决专业术语和口语化表达不匹配的问题，显著提高搜索召回率，相比维护IK词典更加灵活高效。
2025-12-25 17:11:55
864
原创 ES 8.13.4 如何配置 IK 分词同义词库（附完整实战代码）
本文详细介绍如何在Elasticsearch 8.13.4中配置IK分词器结合同义词库，显著提升中文搜索体验。主要内容包括：1)安装IK分析插件；2)创建同义词库文件；3)配置索引mapping和自定义分析器；4)插入测试数据验证效果。通过IK分词器的细粒度分词配合同义词过滤器，实现搜索词自动扩展（如"番茄"可匹配"西红柿"），解决中文搜索中"词不达意"的问题。文章还提供了进阶配置技巧和常见问题排查方法，帮助开发者快速实现高效的中文搜索功能。
2025-12-25 16:48:31
917
原创 Python如何把人体姿态向量化
摘要：本文介绍了如何利用Python和MediaPipe将人体动作实时转化为数字向量，用于AI健身教练等应用开发。通过提取17个关键点的3D坐标（x,y,z）组成51维向量，实现人体姿态的数字化表示。文章详细讲解了从单张图片到实时视频流的处理流程，包括关键点提取、向量归一化、关节角度计算等核心方法，并演示了如何优化向量特征使AI更容易理解。这种姿态向量化技术可应用于动作识别、异常检测、虚拟形象驱动等多个领域，MediaPipe工具包的低门槛特性让开发者能快速实现复杂的人体动作分析功能。
2025-12-24 15:17:30
718
原创 Elasticsearch向量搜索介绍
摘要：本文介绍了AI时代的语义搜索技术——向量搜索（Vector Search），通过Elasticsearch实现。传统搜索仅匹配字面内容，而向量搜索将文字转化为多维向量，通过计算语义相似度返回结果。文章以二维坐标为例说明原理，并演示了Elasticsearch中创建向量索引、插入数据和执行KNN搜索的实战步骤。最后指出Elasticsearch的三大优势：支持混合搜索、元数据过滤和完整生态，能够真正理解用户意图。这种技术让搜索不再局限于关键词匹配，而是能像人类一样思考语义关系。
2025-12-24 15:07:29
791
原创 基于人物名称聚合的人脸向量搜索优化
人脸搜索优化方案摘要 本文提供了两种优化人脸向量搜索的方法，确保每个演员只返回最相似的一张图片： 推荐方案：使用Elasticsearch聚合功能，通过terms聚合按演员名称分组，再使用top_hits子聚合获取每组中相似度最高的结果。该方法直接返回每个演员的最佳匹配图片，效率高。 备选方案：先执行k-NN搜索获取足够多的结果，然后在客户端使用Python进行二次处理，通过defaultdict按演员名称分组，并筛选每组中得分最高的记录。 两种方法都能实现按演员名称去重，推荐使用Elasticsearch
2025-12-23 16:21:14
207
原创 Elasticsearch 8.13.4 常用搜索操作完全指南
本文详细介绍了Elasticsearch 8.13.4的核心搜索功能，包括11种常用查询类型（如全文搜索、短语匹配、布尔查询等）、搜索结果控制（分页、排序、高亮等）和聚合分析功能（指标聚合、分桶聚合）。文章还提供了性能优化建议，强调合理使用filter上下文、避免深度分页等技巧。通过掌握这些搜索操作，用户可以构建高效的搜索应用，充分利用Elasticsearch强大的搜索和分析能力。
2025-12-23 10:49:43
391
原创 Python环境下face_recognition库的安装指南
本文详细介绍了在Python 3.7.16环境下安装face_recognition库的方法。由于该库依赖dlib，而不同Python版本兼容性存在差异，直接安装常会失败。文章提供了两种安装dlib的解决方案：通过pip指定版本安装或下载whl文件手动安装，并推荐使用豆瓣pip源加速下载。最后指导安装face_recognition库并验证安装结果，帮助开发者顺利实现人脸识别功能集成。
2025-12-23 10:00:45
913
原创 轨迹验证码识别代码
摘要：本文介绍了当前网站广泛使用的复杂轨迹验证码及其识别方法。随着反爬技术升级，轨迹验证码逐渐变得模糊、与背景融合，甚至加入干扰元素，给人眼识别带来困难。针对这一问题，作者通过大量数据训练出通用识别模型，并提供了Python实现代码，包括图片处理、base64编码转换及API调用方法。该方案支持多种网络环境，识别结果可可视化展示，为验证码识别提供了有效解决方案。完整代码和测试接口可在指定网址获取。
2025-12-22 15:26:43
2078
原创 Elasticsearch文本向量搜索
Elasticsearch文本向量搜索正在重塑信息检索的技术格局。通过HNSW索引、量化压缩、混合查询等创新技术，开发者可以构建出支持亿级文档、毫秒级响应的智能检索系统。随着GPU加速与多模态融合技术的成熟，未来的搜索系统将具备更强的语义理解能力，为知识管理、智能推荐等领域带来革命性突破。技术选型建议：对于千万级以下数据量，原生Elasticsearch方案已能满足需求；
2025-12-21 17:22:41
1038
原创 Elasticsearch如何做人脸向量搜索
摘要： 本文探讨Elasticsearch在人脸向量检索中的技术实现与应用。通过HNSW算法构建索引，Elasticsearch 8.0+版本支持高维向量存储与混合查询，结合量化压缩技术显著降低内存占用。文章详细解析了分布式架构设计、性能优化策略及实战开发流程，包括数据向量化、批量索引和相似性检索。针对工业级应用，提出了维度压缩、并行计算等优化方案，并展望了GPU加速和多模态融合的未来趋势。Elasticsearch的向量检索能力为人脸识别系统提供了高效解决方案，适用于安防、金融等领域的海量数据处理需求。
2025-12-21 17:17:16
1019
原创 Elasticsearch如何做向量搜索
摘要 Elasticsearch 8.0+原生支持向量搜索，采用HNSW算法实现高效语义相似性匹配。本文解析其技术原理与实现方案：首先介绍HNSW算法的分层检索机制，在1.38亿文档测试中性能提升3个数量级；然后详细说明索引设计、批量写入优化和混合检索实现，包括向量与结构化查询的结合；最后展示电商、金融、多媒体等典型应用场景，如电商搜索转化率提升18%。文章还提供硬件配置建议和调优参数，帮助实现毫秒级高维向量检索。
2025-12-19 15:43:30
1014
原创 Python如何做人脸识别
摘要：本文系统介绍了Python实现人脸识别的技术方案，涵盖核心原理、主流工具库对比和实战应用。重点解析了人脸检测（OpenCV/Dlib）、特征提取（FaceNet）和身份比对等关键技术环节，并提供了实时门禁系统等开发案例。文章对比了OpenCV、Dlib等工具的特性差异，给出了不同场景下的技术选型建议，同时探讨了模型压缩、硬件加速等优化策略。最后展望了多模态融合、边缘计算等未来发展趋势，为开发者提供了从入门到落地的完整技术路线图。
2025-12-19 15:40:29
554
原创 Elasticsearch 聚合入门：像 Excel 透视表一样分析数据
这篇文章介绍了Elasticsearch(ES)中的聚合功能，类比Excel透视表帮助数据分析新手快速理解。核心内容包括：1) 聚合的基本JSON结构；2) 两大核心聚合类型：桶聚合(terms)用于分组，指标聚合(avg/sum等)用于计算；3) 如何组合使用实现类似透视表的分层分析。通过商品数据的实际案例，展示了如何统计各分类商品数量及平均价格。文章最后建议读者在Kibana中实践基础聚合操作，并指出掌握"桶+指标"组合能解决80%的数据分析需求。全文用简单易懂的比喻和示例，让初学者
2025-12-18 15:44:43
569
原创 Elasticsearch 查询入门：像查字典一样简单
本文介绍了Elasticsearch(ES)查询的基本方法，帮助新手快速掌握核心查询技巧。文章重点讲解了三种常用查询类型：match用于全文搜索，term用于精确匹配，bool用于组合复杂查询逻辑。通过JSON示例展示了查询语法结构，并解释了排序、分页等结果处理方式。作者建议读者通过Kibana的Dev Tools进行实践练习，逐步掌握这些能解决80%日常需求的查询方法。
2025-12-18 15:40:25
391
原创 Python发送HTTP请求：不同请求方式与参数差别详解
本文介绍了Python中使用HTTP请求的两种主要方式：GET和POST。GET请求通过URL传递参数，适合获取数据；POST请求将数据放在请求体中，适合提交表单或JSON数据。文章还讲解了PUT、PATCH、DELETE等其他请求方式，以及查询参数、表单数据和JSON三种参数传递方法。通过实际示例演示了如何创建用户，并提供了不同场景下选择请求方式的建议，强调安全性、文档查阅和错误处理的重要性。这些知识为Python开发者提供了与Web API交互的基础技能。
2025-12-17 15:33:44
287
原创 Python发送HTTP请求
本文介绍了Python中发送HTTP请求的两种方法：内置的urllib库和第三方requests库。urllib提供基础功能，而requests库更简单强大，支持GET/POST请求、参数传递、请求头设置等功能。文章通过天气API示例演示了实际应用，并提供了超时设置、错误处理和JSON解析等实用技巧。推荐大多数场景使用requests库，同时强调了异常处理的重要性。这些方法为获取网络数据和与Web服务交互提供了基础工具。
2025-12-17 15:30:51
430
原创 Python的正则表达式如何做数据校验
本文介绍了如何使用Python正则表达式进行数据校验。重点讲解了re.fullmatch()方法在验证完整字符串匹配时的优势，并通过三个常见案例(邮箱、手机号和用户名)展示了正则表达式的应用。文章强调使用原始字符串r""定义模式，并建议从简单模式开始逐步完善。最后推荐了在线工具regex101.com来辅助调试复杂的正则表达式。掌握这些技巧可以大幅提升数据校验的效率和准确性。
2025-12-16 15:17:09
624
原创 Python的正则表达式入门：从小白到能手
别被这个名字吓到。你可以把它想象成一种描述文本模式的“语法”。就像我们用号在文件搜索里代表“任意多个字符”一样，正则表达式也有一套自己的特殊符号，用来定义一个“模式”（Pattern）。然后，我们可以用这个“模式”去匹配、查找、替换符合规则的文本。它就像一个为文本定制的“搜索引擎”，强大到超乎想象。正则表达式初看起来像一堆乱码，但一旦你掌握了它的基本语法，就会发现它处理文本的强大能力。给新手的建议不要贪多求全：先掌握?[]\d\w这些最常用的。动手实践。
2025-12-16 15:13:39
791
python中PIL图片转base64的方法
2023-04-18
中国执行信息公开网验证码训练集18000个.zip
2019-09-30
DataX_Python3.zip
2019-09-30
Centos9安装英伟达3070显卡驱动问题
2024-11-04
keras模型显存消耗问题
2023-10-11
keras使用cnn+ctc训练不定长数字识别问题
2023-05-15
前端等待旋转图片边缘有白边
2022-06-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人