- 博客(270)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Linux下如何使用shell脚本导出elasticsearch中某一个index的数据为本地csv文件
通过此脚本可实现高效、可控的ES数据导出，特别适合自动化运维场景。
2025-06-05 17:17:19
1101
原创 Linux将已经做成raid10的数据盘，拆分成raid0
要将已配置为RAID 10的数据盘拆分为RAID 0，需遵循以下步骤。注意：此操作会破坏现有数据，请务必提前备份所有重要数据。
2025-05-28 10:21:53
416
原创 NL2SQL代表，Vanna
Vanna 的核心是一个 Python 包，它利用检索增强技术，帮助你通过大型语言模型为数据库生成准确的 SQL 查询。
2025-05-26 16:32:53
1033
原创 为什么使用ollama运行的模型不用gpu也可以使用
Ollama 能够在无需 GPU 的情况下运行大语言模型（LLM），主要得益于其轻量化设计、量化技术优化和硬件自适应机制。
2025-05-26 11:09:06
945
原创 Requested data length 138968994 is longer than maximum configured RPC length 134217728
Hadoop集群中出现java.io.IOException错误，原因是客户端发送的RPC请求数据长度（约132.5MB）超过了服务端配置的最大限制（128MB）。解决方案包括：1）修改Hadoop配置文件，增加ipc.server.max.request.size参数值至256MB；2）优化客户端数据传输逻辑，减少单次请求数据量；3）检查网络和资源限制，确保服务端有足够内存处理大请求。修改配置后需重启Hadoop服务，并通过日志监控RPC请求是否正常。此外，建议使用监控工具预警类似问题，并考虑升级Hado
2025-05-12 16:59:28
946
原创 哨兵模式Redis集群主从节点数据一致性保障方案
在哨兵模式的Redis集群中，保障主从节点数据一致性的核心在于同步机制、故障转移和参数优化。首先，主从同步机制结合全量同步和增量同步，通过repl_baklog环形缓冲区和offset判断数据差异，优化建议包括增大缓冲区容量和启用无磁盘复制。其次，哨兵模式通过主观下线、客观下线和选举新主节点实现自动故障转移，避免脑裂问题。参数优化方面，配置合理的同步超时时间、缓冲区容量和最小从节点数，架构设计上采用链式复制和多哨兵部署。最后，通过实时监控工具和日志分析，定期校验数据一致性，确保系统稳定运行。
2025-05-09 10:04:30
617
原创 deepseek-r1 1.5b 7b 8b 14b 32b 70b 671b，有什么区别
DeepSeek-R1系列通过参数分级覆盖全场景需求：轻量级模型（1.5B-8B）实现普惠化AI，中大规模模型（14B-70B）满足专业领域需求，顶级模型（671B）探索技术边界。选型需综合任务复杂度、硬件预算和数据安全要求。
2025-05-01 01:00:00
817
原创 Spring AI如何调用本地部署的大模型
通过 Spring AI + Ollama，开发者能以低代码方式快速集成本地大模型，同时享受 Spring 生态的高并发、安全性和企业级维护能力。此方案适用于数据隐私敏感、需要离线部署或定制化微调的场景，如金融风控、医疗咨询等。
2025-04-30 11:15:13
1237
1
原创 LangChain、LlamaIndex、MCP、Spring AI、Ollama 和 DeepSeek 的定义、关系及典型架构设计
LangChain定位：构建复杂 大语言模型（LLM）应用的通用框架。功能支持链式调用（Chains）和上下文管理，串联多步骤任务（如调用模型、工具、数据库）。集成工具（Tools）、记忆（Memory）、检索（Retrieval）等模块，适合开发聊天机器人、自动化系统。兼容多种模型（如 OpenAI、Anthropic、本地模型）。分工协作LangChain负责复杂流程编排，LlamaIndex专注数据检索，MCP协调工具调用，Spring AI提供 Java 开发生态。
2025-04-28 14:05:42
609
原创 如何在windows10上英伟达gtx1060上部署通义千问-7B-Chat
尽管硬件性能有限，但通过量化与工程优化仍可实现基础对话功能。若需更高性能（如长文本处理），建议升级至RTX 3060 12GB或使用云端API。此方案适合新手，支持命令行和Web界面交互。此方案灵活性强，适合开发者调试。
2025-04-24 17:18:44
849
原创 浅试MCP：spring ai使用mcp调用deepseek的API接口
通过 Spring AI + MCP + DeepSeek 的整合，开发者能快速构建支持工具调用的智能 Agent 系统。
2025-04-23 18:35:01
711
原创 nvme nvme0: controller is down； will reset: CSTS=0x3, PCI_STATUS=0x10
固态硬盘nvme报错
2025-04-16 21:11:45
498
原创 Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic set to ‘Proc
方法为数据分配时间戳并生成水位线（Watermark），事件时间窗口仍会因缺少时间戳信息而报错。显式设置时间语义，Flink 无法从数据中获取有效时间戳，导致默认时间戳为。若业务允许基于处理时间计算，可直接替换为处理时间窗口（如。正确提取数据中的事件时间字段。水位线用于标记事件时间的进展。报错问题，并根据业务需求选择合适的时间语义。），避免窗口因等待延迟数据而过早关闭。），无需分配时间戳或生成水位线。中设置合理的乱序容忍时间（如。定义如何从数据中提取时间戳。或非时间戳值），仍会触发。
2025-04-14 10:04:07
786
原创 ES报错this action would add 2 shareds,but this cluster currently has 3000/3000 maximum normal shards o
尝试新建索引或写入数据时，若涉及分片分配（如索引自动创建、副本分配等），会触发此限制。建议优先清理无用索引，再优化分片分配策略。索引的副本分片（Replica Shard）过多、分片大小不均或未及时清理无用索引，可能导致分片数量快速达到上限。，这是 Elasticsearch 集群分片（Shard）数量达到上限导致的限制问题。若业务数据持续增长但未调整分片配额，或未合理规划分片分布（如单个节点承载过多分片），会加速分片耗尽。：此操作需谨慎，分片过多可能导致节点内存压力增大和性能下降。
2025-04-11 16:32:16
734
原创 哨兵模式下，Redis主从同步原理，新增的Redis从节点如何同步
新增从节点的同步在哨兵模式下仍依赖Redis原生主从复制机制，但哨兵通过自动故障转移和状态监控增强了高可用性。合理配置同步参数和缓冲区大小，可有效提升同步效率与稳定性。
2025-04-11 09:41:29
431
原创 Redis的used_memory_peak_perc和used_memory_dataset_perc超过90%会怎么样
指标健康范围超过90%的风险场景<80%内存交换、持久化失败、OOM70%~90%写入拒绝、缓冲区溢出、碎片化加剧若需进一步诊断，可通过命令获取详细数据，并结合分析大Key分布。长期高内存占用建议升级实例规格或优化业务逻辑。
2025-04-09 17:39:08
877
原创 Kafka集群带NAT地址转换，客户端如何跟集群通信
要与配置了NAT地址转换的Kafka集群通信，需结合NAT映射规则和Kafka的监听配置，确保客户端能通过公网地址正确路由到内网服务。
2025-04-09 10:23:29
449
原创 Redis如何判断哨兵模式下节点之间数据是否一致
通过以上方法综合判断，可以较全面地评估哨兵模式下Redis节点的数据一致性状态。哨兵会持续监控主从节点的复制偏移量，若从节点偏移量落后主节点超过阈值，哨兵会触发警告或自动修复机制。分别在两个节点执行该命令，对比键列表是否完全一致（需注意此命令可能影响性能，慎用于生产环境）。命令模拟从节点同步主节点数据，观察同步过程中是否有错误或延迟，间接判断一致性。（客观下线）警告，这些状态可能暗示节点数据同步异常。命令获取每个键的值，比较主从节点的数据差异。
2025-04-08 21:07:26
434
原创 Redis哨兵模式下执行sentinel failover mymaster命令可能导致什么风险，如何避免
确保客户端（如 Jedis、Lettuce）支持自动感知主节点变更，并配置合理的重试机制。确保主节点和从节点的 RDB/AOF 持久化已完成，避免因未持久化数据导致丢失。优先依赖哨兵的自动故障转移机制，仅在必要时手动干预。切换后，确保新主节点完成数据加载和连接池初始化，再开放流量。避免在业务高峰期触发故障转移，减少对客户端的影响。切换后检查客户端日志，确认连接已切换到新主节点。将其提升为主节点，再通过哨兵更新配置。）的偏移量，确保差值在可接受范围内。（故障转移超时时间），避免误判。
2025-04-08 21:05:35
1027
原创 flink cdc的source数据流如何配置事件时间，如何设置时间语义，分配时间戳并生成水位线
通过以上配置，Flink CDC 数据流即可正确使用事件时间语义，处理乱序数据并触发窗口计算。具体策略需根据业务延迟容忍度和数据特征调整。若使用 Flink 1.12+ 版本，事件时间已是默认语义，但仍建议显式设置以避免混淆。在 Flink CDC 中为 Source 数据流配置事件时间需要结合。CDC 数据（如 MySQL Binlog）通常包含变更时间字段（如。若数据严格有序（如 Kafka 分区有序），可直接使用此策略。此策略允许最大 5 秒的乱序延迟，适用于大多数业务场景。
2025-04-07 19:27:46
627
原创 org.apache.flink.configuration.Configuration cannot be cast to org.apache.flink.configuration.Delega
项目中引入了多个不同版本的 Flink 依赖，导致 JVM 类加载器加载了不同版本的。确保项目中所有 Flink 依赖的版本一致，并与集群环境版本匹配。，优先加载用户代码中的类。若用户代码中包含了 Flink 核心类（如。例如，用户自定义依赖中的 Flink 库与集群环境中的版本不一致。若仍无法解决，建议提供完整的依赖列表和代码片段以进一步分析。修改 Flink 的类加载顺序，使其优先加载集群环境的类（），可能导致同一类被不同类加载器加载，进而类型不兼容时，若两者的类加载来源不同或依赖冲突，会触发。
2025-04-07 19:25:50
620
原创 Caused by: java.lang.ClassNotFoundException: com.ververica.cdc.debezium.DebeziumDeserializationSchem
该问题的核心是类路径缺失或版本不兼容，需依次排查依赖配置、构建环境、部署流程及版本匹配。
2025-04-03 14:16:50
346
原创 java.lang.IllegalStateException: The “before“ field of UPDATE/DELETE message is null
Debezium 在捕获 PostgreSQL 表的变更数据（UPDATE/DELETE）时，必须获取操作前的行数据（即。执行 ALTER TABLE ... REPLICA IDENTITY FULL。PostgreSQL REPLICA IDENTITY设置。，使其完整记录变更前的行数据。验证 wal_level = logical。需要调整 PostgreSQL 表的。，导致变更日志中缺少完整的旧值。重新启动Flink CDC任务。并确保变更数据的完整捕获。Flink CDC任务报错。
2025-04-02 18:20:56
871
原创 Linux的TCP连接数到达2万，其中tcp_tw、tcp_alloc、tcp_inuse都很高，可能出现什么问题
当 TCP 连接数达到 2 万且关键指标高位运行时，需重点关注端口资源内存压力队列溢出和应用性能。通过调整内核参数、优化应用设计、使用长连接和监控工具，可以有效缓解问题。对于超大规模场景，可能需要结合负载均衡或内核旁路技术进一步优化。
2025-04-02 14:32:11
1518
原创 Flink将双流join后的结果封装成一个java对象，写入doris
首先需定义与 Doris 表结构对应的 POJO 类。假设 Join 后的结果包含userIdorderIdamount// 无参构造函数（Flink POJO 必须）// 全参构造函数// Getter/Setter 方法（Flink 反射依赖）// 其他字段类似...通过 Flink-Doris-Connector 实现 Join 结果写入 Doris 的核心步骤包括：对象封装、序列化、Sink 配置及参数调优。
2025-04-01 20:37:15
495
原创 Flink双流join中，KeySelector如何使用
在Flink双流Join操作中，用于定义两个流中元素的关联键，其核心作用是将数据按相同逻辑分区，确保相同键的元素进入同一窗口或时间区间进行关联。
2025-04-01 20:36:44
704
原创 Flink在双流Join中，window如何选择
在Flink双流Join中，窗口（Window）的选择直接影响数据关联的准确性、时效性和资源消耗。
2025-03-31 17:59:38
952
原创 ORC和Parquet同为列存储，他们有什么先天的区别
优先ORC：若使用Hive且需要事务支持，或数据重复率高、追求极致压缩。优先Parquet：若处理嵌套数据、跨平台（如Spark、数据湖），或需灵活压缩算法。两者的差异源于设计目标的根本不同：ORC偏向Hive生态的深度优化，Parquet则追求通用性与复杂数据兼容性。
2025-03-31 01:00:00
1188
原创 Flink项目工程代码管理规范
通过以上规范，可确保双流 Join 项目的代码可维护性和运行稳定性。实际开发中需结合业务需求灵活调整，同时参考 Flink 官方文档进行优化。
2025-03-30 02:45:00
1704
原创 hudi和iceberg在功能和场景上都有什么优缺点
两者均在快速迭代中，Hudi 逐步增强并发能力（如异步索引），Iceberg 也在优化实时流处理（如 Flink 深度集成），需结合最新版本特性评估。Apache Hudi 和 Iceberg 作为主流数据湖表格式，在功能和适用场景上各有侧重。
2025-03-30 02:15:00
659
原创 NVIDIA H200 Tensor Core GPU简介
内存与带宽：141GB HBM3e内存（4.8TB/s带宽），容量和带宽较H100提升近2倍和1.4倍。性能提升LLM推理性能达H100的2倍（如Llama2 70B）。HPC应用性能提升最高110倍（如科学仿真）。能效与成本：相同功耗下优化TCO，降低大规模部署成本。企业支持：H200 NVL支持多GPU互联，提供灵活配置和1.7倍LLM推理加速；搭配NVIDIA AI Enterprise软件生态，简化企业AI开发与部署。技术规格。
2025-03-29 09:42:14
1940
原创 NVIDIA H100 Tensor Core GPU
NVIDIA H100 Tensor Core GPU为各类工作负载提供卓越性能、可扩展性和安全性。基于NVIDIA Hopper架构的突破性创新，H100在大型语言模型推理上将性能提升30倍，为对话式AI树立行业标杆。，提供60万亿次FP64计算性能，并通过动态编程指令（DPX）实现7倍性能提升。，在保持低延迟的同时，相比A100系统性能提升达5倍，为数据中心提供最优性能与扩展能力。（注：所有性能数据均为实验室测试结果，实际应用可能有所变化，具体配置详见原始技术文档）（注：*表示支持稀疏计算）
2025-03-29 09:41:19
476
原创 英伟达GPU SKU设计核心策略
英伟达的GPU SKU（库存单位）设计基于多维度技术分层与市场需求，通过架构迭代、硬件配置差异化和应用场景细分实现产品矩阵的精准覆盖。以下是其设计策略的核心要点：英伟达通过架构代际划分构建技术壁垒，不同代际的GPU对应不同性能梯度的SKU。例如：不同代际的SKU通过核心数量（如CUDA Core、RT Core）和频率差异形成性能梯度。例如，消费级RTX 40系列中，RTX 4090与RTX 4080的核心数差异达30%，频率差距约15%，以区分高端与次旗舰市场。以下是基于图片信息整理的NVIDIA GPU
2025-03-28 16:30:50
694
原创 postgres中CREATE PUBLICATION dbz_publication FOR ALL TABLES什么用，relreplident是什么意思
通过此命令，PostgreSQL 成为一个高效的数据源，支持现代数据架构中的实时数据流转需求。实际使用时需结合订阅（复制标识决定了在逻辑复制（Logical Replication）过程中，如何唯一标识表中的一行数据。）和工具链（如 Debezium）完成端到端配置。在 PostgreSQL 中，执行。复制标识支持以下四种模式，通过。中的一个字段，用于表示表的。PostgreSQL 中的。
2025-03-28 16:06:44
990
Linux常用命令以及使用样例.pdf
2020-06-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人