E往无前 | 腾讯云大数据ES日志轻接入和免运维最佳实践

【ES】使用日志记录 常用操作 阅读详情

导语

日志的采集、检索和分析是每个业务在架构设计上都需要考虑的重要一环,同时也是痛点较多、人力成本较高的一环。如何降低日志接入和后续运维成本,腾讯云大数据ES告诉你答案。

日志的采集、检索和分析是每个业务在架构设计上都需要考虑的重要一环,同时也是痛点较多、人力成本较高的一环。本文将从日志的生命周期开始,分析业界最成熟的ELKB解决方案在接入时和接入后的痛点,并通过在腾讯云大数据ES上接入日志和运维索引的体验,分享腾讯云大数据ES是如何解决这些痛点,来降低日志接入和运维成本,让业务能专注于日志数据价值的挖掘。

一、日志的生命周期

通常情况下,日志的整个生命周期可以分为:日志生成、日志采集、日志处理、日志存储、日志分析和查询。

1.日志生成。业界成熟开源的组件一般有自己规范的日志格式和日志存储路径,而业务开发的程序输入的日志则可能五花八门。在K8S中,日志一般由POD中的业务程序输出到标准输出或标准错误输出中,并最终落盘在K8S规定的日志路径中(例如/var/log/containers),为日志采集提供了便利。

2.日志采集。确定日志文件的路径后,可以通过常用的日志采集的工具进行采集(例如Filebeat、Fluentd、Flume等),采集过程一般较为轻量,不对日志文件的原始内容进行处理。采集的日志根据业务需求或业务量大小,可以直接进入存储,也可以先进入消息队列,再由其他组件消费。

3.日志处理。日志的原始内容一般是一个大的文本,里面包含日志时间、错误等级、详细内容等可按正则表达式或JSON等格式分割的字段。一般情况下,可以以原始的大文本存储,但是对于有过滤、聚合、排序需求的场景,则需要事先将大文本中各字段分割开。这个操作比较消耗资源,一般是独立于采集进行,例如通过Logstash、Flink等工具对原始日志文件进行处理,当然也可以在采集端如Filebeat的processors或存储端如Elasticsearch的pipeline中进行。

4.日志存储。处理后的日志最后需要存储到检索引擎中,供后续分析和查询使用。业界常用的日志检索引擎有Elasticsearch、Clickhouse和Loki等。日志的存储一般具有明显的冷热属性,在最近几天的日志查询量最大,近几星期的日志查询量较小,而一个月以前的历史日志基本没有查询,因此在日志存储时需要根据这个特性考虑日志的存储生命周期,提高热数据的查询性能、节约冷数据的存储成本。

5.日志分析和查询。一般日志的存储端都具备日志的分析和查询能力,根据不同引擎的实现方式,有些擅长全文检索,有些擅长排序聚合,但是都必须具备实时处理大量数据、支持任意关键词检索、低成本等特性,同时对于分析和查询结果,需要有一个可视化界面用于展示或绘制图表(例如Kibana、Prometheus等)。

这几个生命周期中,业务侧关注的是日志的生成和最终日志的分析查询;运维侧则需要关注日志采集、处理和存储的组件管理。

二、ELKB解决方案痛点

对应日志的生命周期中各阶段的需求,业界已经形成了一套成熟的并且广泛使用的开源日志采集和分析架构——ELKB(Elasticsearch+Logstash+Kibana+Beats),提供了日志从采集到最后可视化展示分析结果的全链路解决方案。因为都同属于Elastic生态的产品,因此各个产品间在协议、规范、使用上都具有很好的兼容和一致性,并且Elastic社区活跃度高,产品迭代快,在使用上遇到的问题都能得到快速的解决。因此,对于大部分企业的日志管理需求,ELKB架构都能很好的满足。

159d7cd9e85e553c8cd3f5510d8f3034.png

图一、ELKB架构示意图

但在实际使用ELKB的过程中,其实会发现整条链路的构建和使用维护的过程并不轻松,主要有两方面的问题:

1.日志接入时,终端设备多,部署链路长,无法统一的部署和管理,需要单独部署各个组件,最后再通过配置文件串联起来。这需要运维人员熟悉各个组件的部署过程和配置参数,否则链路很可能构建不通。

2.日志接入后,需要运维数量不断增加的索引,管理生命周期模版等,并且当索引和分片数量不断增长,可能导致集群不稳定,例如当日志量突增时出现写入拒绝,节点故障导致写入阻塞等。

ELKB因其广泛的使用,其链路中的各组件在各大云平台都有云化产品,因此部署单个产品并不困难,困难的还是将日志数据通路打通和后续的运维,这也是自建ELK和云产品部署ELK的共性问题,也是大部分业务迁移上云意愿不强的原因之一——既然自建和上云都需要业务打通复杂的链路,也需要优化和运维ES索引,上云有什么优势呢?

三、腾讯云ES上接入日志的体验

腾讯云上提供了独立部署的Elasticsearch集群、Logstash实例、Beats管理等云服务,对于有单个产品使用需求的客户,提供了非常友好便捷的可视化管理界面。

同时,针对上面提到的日志接入的痛点,腾讯云ES也提供了一站式的数据接入解决方案。进入腾讯云ES数据接入页面,只需按照提示选择数据源、数据采集器、可选中间件(如数据缓存、数据加工)以及数据目的,就能快速的构建起一条日志采集的ELKB数据链路。

ad69cefed2891b643a0f332b4fb9925c.png

图二、创建和查看数据链路

1.丰富的场景和数据源支持。 数据源支持多种场景和多种云产品,满足日志采集、指标采集、数据同步、数据库加速等各种ES使用需求。

(1)日志采集场景,支持云服务器CVM、容器服务TKE中业务产生的日志,以及云防火墙、Web应用防火墙等云产品产生的日志,并且在不断丰富其他云产品日志的接入。

(2)数据同步和数据库加速场景,支持从云数据库MySQL、消息队列CKafka、自建Kafka和弹性Topic中同步数据到ES,自动解析并动态生成字段映射,无需业务部署额外组件或开发。

2.多样的配置和高效的管理。 数据采集根据不同场景,支持日志采集器Filebeat和指标采集器Metricbeat,支持原生的Beats语法和配置,并自动化的安装Beats到数据源中,无需业务额外的脚本下发,并且支持界面的化的采集器管理,部署再多的CVM也可以一目了然。

3.灵活而便捷的链路搭建。 数据缓存和加工作为可选项,可不配置或Logstash、CKafka+Logstash、弹性Topic等多种模式,满足不同业务场景的不同需求。

相比固定单一的SaaS产品,腾讯云ES的数据链路提供的是灵活而易用的数据接入方式,业务可以根据自身特点,选择合适的组件,定义简单或多样的组件配置,并且所有组件都兼容原生产品的使用方式,让上云业务不需要改变原有的使用习惯,不需要改造原有的业务代码。

f06791d826c1b64913e043f94bfb333c.png

图三、灵活多样的数据链路

四、腾讯云ES上运维索引的体验

日志已经采集到ES了,可以顺利的分析和查询日志了,这篇文章按道理也应该结束了。但事实上,从我们大量的线上运营与实践经验看,运维的工作远没有结束,随着日志的不断写入,问题也随之而来,而这些问题让头发本就稀疏的程序员雪上加霜。

1.如何定义和创建索引? 随着新业务的不断加入,定义和创建日志索引的工作量只增不减。万事开头难,对于新业务,怎么创建新索引,是创建普通索引还是data stream,怎么使用别名,怎么确定主分片数,索引模版和生命周期规则是复用还是新建,都是索引创建的痛点。

2.如何设置主分片数量,既能应对写入拒绝,又能收敛分片数? 通常日志索引通过一个索引模版按天滚动,命名例如app-log-2022.12.01,模版中定义了一个固定的主分片数量,因此无法合理的控制每个索引大小。当遇到日志量大的日子,索引可能过大导致分片无法承载写入出现写入拒绝;遇到日志量小的日子,设置的过多分片随着时间的推移增加了ES集群管理元数据的负担。

3.如何防止创建索引和更新mappings任务阻塞写入? 多个以时间命名的业务索引可能在每天的同一时间同时创建新索引,例如每天0:00或8:00,会导致这个时间点大量的分片创建任务阻塞写入任务的执行,导致写入失败甚至数据丢失。同样的,在日志字段数量较多的场景中,日志字段的频繁变更导致mappings的频繁更新,也会阻塞写入的任务。

4.如何提高日志写入吞吐? 日志的写入量通常较大,因此节点规模也常常较高,但有时会发现,集群的整体资源使用率较低时却出现了写入延迟较高的情况,无法充分利用集群资源提高写入吞吐。

5.如何提高日志查询性能? 以时间命名的索引在查询时往往采用通配符方式,例如GET app-log-*/_search,这种查询会遍历匹配到的所有索引的分片,极大的增加了查询延迟,在PB级以上的日志查询尤其明显。

6.如何应对0副本ES集群的硬件故障导致的写入失败? 硬件的故障在所难免,ES原生通过分片副本的机制保证高可用。但日志场景往往数据量较大,从成本考虑会将索引设置为0副本,这样虽然降低了成本,但是遇到分片所在节点硬件故障时,写入会失败。

针对上面的使用和运维痛点,腾讯云ES提供了独家的索引管理解决方案——自治索引。顾名思义,自治索引是一种能够自运维的索引,在ES原生索引增删改查能力的基础上,提升了易用性和免运维能力。通过自治索引,能很好的解决上面提到的问题。

(1) 如何定义和创建索引

自治索引基于ES原生的data stream方案,因此不需要考虑怎么使用别名。但是ES原生data stream的创建过程较为复杂,如下图所示,各步骤分别调用ES API并互相关联。

a52de2dbdcc7d2d4f35bf928abc9b354.png

图四、ES原生data stream创建流程

而在自治索引中,只需要调用一次ES API就可完成创建,API定义中支持原生的settings、mappings参数,并加入了精简的生命周期规则参数policy以及自治索引特性参数options。同时,自治并且也提供了控制台可视化的界面支持白屏化索引创建。

1e53b32d89d3a3f43ddc694b006bbd04.png

图五、自治索引创建流程

(2) 如何设置主分片数量,既能应对写入拒绝,又能收敛分片数

运维索引最头疼的问题就是如何设置索引主分片数量,因为这个参数在创建时设置完,后续是不能修改的。主分片数设置过少,单个分片承载的写入量有限,容易出现写入拒绝;主分片数设置过多,随着时间的推移,集群的分片数越来越多,对元数据管理造成压力。

针对这个问题,自治索引基于data stream的后备索引(Baking indices)结构及自研算法实现了主分片数量的自动调优,使业务不再需要关系如何设置主分片数量的问题。

a5ad836eae324ea37ae0117a28bbfc32.png

图六、自治索引结构

对于写入突增的场景,自治索引通过监测写入流量和拒绝指标,在发生流量突增或写入拒绝后,计算能够承载突增流量的分片数,并自动滚动出新的后备索引作为新的写入索引,过程平滑无感知,也无需人工干预。

对于写入稳定上涨的场景,自治索引会通过历史监控数据预测写入流量的趋势,提前设置合适的分片数,提前规避写入拒绝。

对于写入存在周期性波动的场景,自治索引考虑了调整的容忍比例,避免频繁的调整分片数滚动出太多的后备索引,产生调整震荡,在不出现写入拒绝的前提下保持分片数稳定。

对于写入减少的场景,自治索引会谨慎缩容索引分片数,通过更长的时间窗口观察,通过多个相邻的历史后备索引的分片数的变化趋势来判断当前是否应该缩容分片数。对于分片数规划不合理的集群,采用自治索引后,分片数由9000+持续降低到4000以内,收敛约60%+。

(3)如何防止创建索引和更新mappings任务阻塞写入

这个问题的根因在于,创建新索引或更新索引mappings的元数据更新任务,与写入任务冲突导致。

针对这个问题,在自治索引中,通过索引预创建将元数据更新任务和数据写入任务分隔开,在索引创建好之前,继续写旧索引,不阻塞写入,直到新的后备索引创建完成后,再写入新的后备索引。同时为了降低mappings更新对写入的影响,自治索引会继承历史后备索引的mappings字段,将之前动态加入的字段映射也体现在新的后备索引中,降低在新的后备索引中更新mappings的频率。

(4) 如何提高日志写入吞吐

这个问题的根因在于,对于不指定路由的写入,一个bulk请求中包含的成百上千个文档,会被ES原生哈希算法均匀打到每个分片上,而这些分片又均匀分布在每个节点中,这就导致了一次bulk请求会与索引分片所在的所有节点交互,就像一面扇子一样,从扇子根部的一个点往外扩大成一个扇面,称为写入扇出。这种情况下,只要分片所在的任何一个节点存在例如硬件故障、后台任务堆积、长时间GC等情况无法及时处理写入请求,就会导致整个bulk请求都在等待这个节点处理完成,造成写入延迟和吞吐降低。

针对这个问题,在自治索引中,通过分组路由策略,将分片的写入请求分组,减少单次bulk请求涉及的分片数,降低写入扇出,减少长尾影响,使得写入TPS提升了1倍多,CPU利用率提升50%以上。

fab253a70268b6d2eafcc20b7492f7f7.png

图七、自治索引分组路由

(5)如何提高日志查询性能

在查询方面,日志场景一般具有明显的冷热特点,比如保留7天的日志数据,但P90查询都集中在近12小时;并且在查询日志时一般使用索引前缀查询,比如filebeat-*,这种查询比指定索引名查询,耗时会长3倍以上。我们分析发现耗时主要集中在query阶段,由于索引前缀查询匹配的到的索引的分片数量大,遍历这些分片的网络请求总耗时很高。

为了降低这类场景的查询延迟,结合查询行为冷热明显的特点,自治索引基于时间字段进行了查询裁剪优化,在后备索引的元数据中加入索引中文档时间字段的最小值和最大值。在查询时,协调节点根据查询条件中指定的时间范围,通过后备索引元数据中记录的时间范围信息,快速跳过无关索引,降低分片发送请求的数量,并实现了在PB级日志查询性能3倍多的提升。

08268452532d1090b03d71485c2ae763.png

图八、自治索引查询裁剪

(6)如何应对0副本ES集群的硬件故障导致的写入失败

自治索引基于data stream后备索引的结构,在没有设置分片副本的情况下,当监测到索引分片所在的某个节点故障导致索引red或者写入异常时,自治索引会自动滚动出新的后备索引,并将写入路由到新的后备索引上,剔除异常节点的分片分布,保证新的后备索引分片都分布在正常节点,保证写入的可用性,整个过程无需人工干预,业务无感知,全部由自治索引自动完成。

4714a8f82c0f93c2131a37768fcb38f8.png

图九、自治索引剔除异常节点

     以上我们分析了日志接入过程和索引运维的痛点,并通过腾讯云ES的数据链路和自治索引解决方案逐一破解,极大的降低了日志接入和运维成本,让业务能专注于日志数据价值的挖掘。欢迎大家上云体验和提出宝贵的意见!

运维学习————运维日志分析系统es——Elasticsearch Elasticsearch 是一个分布式的开源搜索和分析引擎,适用于所有类型的数据,包括文本、数字、地理空间、结构化和非结构化数据。Elasticsearch 在 Apache Lucene 的基础上开发而成,由 Elasticsearch N.V.(即现在的 Elastic)于 2010 年首次发布。Elasticsearch 以其简单的 REST 风格 API、分布式特性、速度和可扩展性而闻名,是 Elastic Stack 的核心组件 阅读详情

相关推荐

ELK在安全运营中的应用实践

一、前言 本文不会涉及具体的平台搭建步骤以及具体的方案架构讨论,在这里只是想和大家分享一下我们在运营当中遇到的一些问题以及解决的思路,可能文中提及的技术架构也并非适合每一位读者。闲暇时写下本文,仅仅希望能够帮助在甲方企业和机构从事安全运营工作的同仁们获得一些启示和灵感,为大家提供更多的解决方向。本文前面的章节会简要给大家介绍下SIEM产品目前在市场上的几种分类和应用情况,接着会给大家介绍下我们为...

sacredbook的博客 3321

Elasticsearch 日志分析与监控

Elasticsearch 是进行日志分析和系统监控的强大工具,通过有效的日志数据采集、索引设计、查询分析和集群监控,用户可以实现对系统运行状态的全面了解,并快速定位问题。借助 Elastic Stack,用户不仅能实现高效的日志分析,还能通过实时监控和可视化展示,为运维人员提供可靠的决策支持。

Flying_Fish_roe的博客 3442

【ElasticSearch实战指南】从零到一:Linux环境下的ES与Kibana部署全解析

本文详细解析了在Linux环境下从零部署ElasticSearch与Kibana的完整流程。内容涵盖环境准备、软件安装、目录结构解析,并重点解决了经典的root用户权限报错问题,提供了创建专用用户的标准解决方案。同时,文章也介绍了核心配置、单机多节点集群模拟以及Kibana的可视化配置与连接,为初学者和运维人员提供了一份清晰的实战指南。

pink的博客 520

ElasticSearch

启动docker下nginx,启动nginx其实就是为了要里面的配置文件docker中拉取镜像时 一般情况下 要检索 docker search 镜像资源名称 docker hub上去检索官方镜像docker pull 镜像名称 拉取镜像到本地 docker run1.本地中是否有镜像资源 ,如果没有则拉取该镜像2.创建nginx目录3.当nginx容器启动后将nginx容器内的文件复制到宿主机中挂载的nginx文件里面。

陌殇殇的博客 1619

腾讯云TDMQ消息队列实战:核心模型选型、最佳实践与运维指南

消息队列作为分布式系统的核心中间件,其核心原理在于解耦服务、异步通信与流量削峰,通过生产者-消费者模型实现系统间可靠的数据传递。这一技术价值在于保障系统高可用、最终一致性,并支撑复杂业务场景的弹性扩展。在云原生与微服务架构下,消息队列已成为构建事件驱动架构和数据管道的基石。腾讯云TDMQ作为企业级消息中间件,深度融合了RocketMQ的顺序事务能力与Pulsar的高吞吐流式处理特性,提供了从经典队列到现代流式模型的完整解决方案。本文聚焦于TDMQ的**核心模型选型**与**生产消费最佳实践**,深入解析其在

weixin_34288121的博客 466

360星图日志分析软件实战解析与功能详解

htmltable {th, td {th {pre {简介:360星图日志分析软件是一款专注于日志数据处理与分析的专业工具,具备日志收集、实时监控、智能分析、可视化展示等功能。该软件适用于本地、远程及云环境中的日志统一管理,支持自定义规则设置与报警机制,结合大数据与机器学习技术,实现异常检测、性能优化与趋势预测,适用于IT运维、故障排查和系统监控等场景。本软件0.6.2版本进行了多项优化,提升了性能与用户体验,是企业日志分析的重要工具。

weixin_33419305的博客 847

E往无前 | get正确使用姿势!腾讯云大数据ES日志场景优化案例回顾

随着ELK方案在开源日志分析领域越来越流行,各种业务场景也给ELK方案带来了越来越多的挑战。本文将回顾一次真实客户案例,从使用姿势上,提供一些大集群、多日志主题场景下的集群优化思路。

cloudbigdata的博客 1350

关于RS485通讯TVS器件选择的经验

先说经验结论 如果你的RS485用于频繁热拔插, 比如作为手持终端使用, 且手持器与目标板非隔离, 那么使用6.8CA可能是更好的选择.因为有热拔插会产生浪涌, 而且在非隔离的场合有些工业设备接地也是无法保障的.对于使用场景较为单一的, 点对点或点对多场合. 可以使用最大峰值脉冲电流较小的SM712.这是在长期的产品设计中得到的经验. 仅供参考 一. TVS的工作原理和作用 瞬态电压抑制二极管 ...

qq_20163075的博客 6510

Elastic 线下 Meetup 将于 2025 年 7 月 27 号下午在深圳举行

2025ElasticMeetup深圳站将于7月27日在腾讯滨海大厦举行,聚焦AI驱动搜索技术前沿。活动邀请Elastic、腾讯云等专家分享向量搜索、RAG技术演进、百亿级AISearch优化实践等议题,涵盖搜索智能化、多模态检索、日志系统应用等热点。刘晓国、陈曦等资深技术人将深入解析行业趋势,活动还设有茶歇交流及抽奖环节。需提前实名报名并验证入场。

Elastic 中国社区官方博客 1744

gnss变形监测基础(四)

监测站的数据采样率指的是监测站在单位时间内收集数据的频率,通常以赫兹(Hz)为单位。在GNSS变形监测中,数据采样率决定了监测系统能够捕捉到的变形动态变化的详细程度和时间分辨率。例如,一个采样率为1Hz的GNSS监测站意味着它每秒钟收集一次位置数据;而一个采样率为10Hz的监测站则每秒钟收集10次位置数据。较高的采样率能够提供更细致的时间序列数据,有助于分析快速变化的动态过程,如地震活动或建筑物的振动响应。然而,较高的采样率也意味着数据量更大,可能需要更多的存储空间和更强大的数据处理能力。

我的博客 1294

Prometheus常用配置介绍

除了 scrape_configs 外,上部还有 global 和 rule_files 部分, 其中 global 中 是 全 局 参 数 , scrape_interval 指 定 全 局 默 认 的 时 间 间 隔 , evaluation_interval 指定告警规则校验的时间间隔,rule_files 指定了告警规 则文件的位置名称。• annotations(注释):它们被用于存储更长的其他信息,例如警报描述 或者链接,注释值也可以被模板化。• alert:告警的名称。

weixin_42886699的博客 2264

PB级大规模Elasticsearch集群运维与调优实践

【活动】Elasticsearch Service免费体验馆>> Elasticsearch Service自建迁移特惠政策>>Elasticsearch Service新用户特惠狂欢低至4折>>Elasticsearch Service企业上云特惠>> 导语 |腾讯云Elasticsearch 被广泛应用于日志实时分析、结构化数据分析、全文检索等场景中,本文将以情景植入的方式,向大家介绍与腾讯云客户合作过程中遇到的各种典型问题,以及相应的解决思路..

cloudbigdata的博客 631

基于GEC6818开发板的C/C++贪吃蛇小游戏

f.开始游戏(进入游戏,并没有马上开游戏,需要点击播放才能开始)2.相关宏,全局变量(可以根据自己需要进行修改)k.显示文字前的相关初始化。k.自定义font.h文件。1.需要的主要头文件。l.在开发板上显示字1。m.在开发板上显示字2。a.显示固定大小图片。h.线程1:获得坐标。

2301_77273301的博客 2134

实时监控:基于流计算 Oceanus ( Flink ) 实现系统和应用级实时监控

本文描述了如何使用腾讯云大数据组件来完成实时监控系统的设计和实现,通过对云服务器(CVM)的机器系统信息及App应用信息采集来实现 CPU、内存及应用消耗JVM情况实时监控告警,通过短信、电话、微信消息等方式实现实时反馈,高效地保障系统稳健运行。通过运用云化的Kafka、Flink、ES等组件,大大减少了开发运维人员的投入。 1 解决方案描述 1.1 概述 本方案结合腾讯云 Ckafka、流计算 Oceanus、腾讯云数据库 Elasticsearch、腾讯云 Prometheus等,通过Filebeat实

cloudbigdata的博客 943

EPLAN 电气制图(六):结构盒与设备管理器核心概念(基础知识选看)

结构盒是 EPLAN 中用于标识元件安装位置的逻辑容器,非实际设备或黑盒,仅用于原理图中划分功能区域或物理位置(如 “柜内”“柜外”)。标识符设置:在 “显示设备标识符” 中输入位置代号(如 “+ 柜外”),完整格式为 “= 高层代号 + 位置代号”;筛选与定位:通过 “筛选器” 按类别(如电机、接触器)快速查找设备,右键 “转到(图形)” 可高亮定位图纸中的元件;设备保护:重要设备可启用保护(【项目数据】→【设备】→【启用设备保护】),防止误删除(显示橙色圆圈标记)。

电工 1060

大模型之Spring AI实战系列(二):Spring Boot + OpenAI 打造聊天应用全攻略

本篇文章是《Spring AI实战》专栏的第一篇开发入门文章,我们将借助一个完整的OpenAI聊天应用示例,详细介绍如何运用Spring Boot和Spring AI快速搭建一个支持OpenAI API的聊天服务,全面涵盖基础对话、流式对话、多提供商配置等核心功能。

寻道AI,探索AI无限可能! 6872

2024最新分布式任务调度平台XXL-JOB轻量级部署与运维指南

XXL-JOB作为一款轻量级任务调度平台,以其快速开发、简单学习和易扩展的特性,成为分布式部署场景下的理想选择。本文将手把手教你从零开始搭建这套强大的任务调度系统,通过多样化部署方案和高效运维工具,让你轻松掌握分布式任务调度的核心技术。 ## 一、核心价值:为什么选择XXL-JOB轻量级任务调度平台 XXL-JOB是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。它

gitblog_00442的博客 814

用 CL_ABAP_PARALLEL 把批量处理跑进并行对话进程:资源配额、超时治理与可复制的落地模板

文章摘要: CL_ABAP_PARALLEL是SAP推荐的并行处理工具,适用于时间窗口受限的批量任务处理。它基于aRFC/pRFC机制,通过对话进程实现并行,能将小时级任务压缩到分钟级。使用时需注意版本兼容性(可能需要Note 2791374)、资源限制(会话数、进程数)和任务切片策略。提供两种实现方式:继承式(重定义do方法)和接口式(实现IF_ABAP_PARALLEL)。关键参数包括并发控制(p_percentage)、超时设置(p_timeout)和调试开关(p_debug)。最佳实践建议按业务维度

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 244

数据库对比(Redis/Mysql/SQLite/ES/MongoDB)

做后端开发的程序员基本都要学会数据库的相关知识。

NCU_wander的博客 3841

Windows 上安装 OpenCode 完全指南:从零到成功,人人能看懂!

跟着这篇教程,你应该已经成功在 Windows 上安装并运行了 OpenCode。步骤操作要点1安装 Chocolatey必须以管理员身份运行 PowerShell2安装 OpenCode3验证安装关闭并重新打开终端,输入4进入项目目录必须是 Git 仓库(git init5配置模型输入/connect,输入 API Key6开始使用输入问题测试最后的小建议如果没有 API Key,可以从 DeepSeek 或 Kimi 开始,有免费额度初次使用建议先在简单项目上测试。

专注于编程、AI、人工智能等多个领域内容研究和分析 3897

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Shell 脚本批量生成:DeepSeek 辅助编写服务器运维自动化指令

摘要:Shell脚本作为Unix/Linux系统自动化运维的核心工具,在批量服务器管理中发挥着关键作用。本文探讨了如何结合DeepSeek智能辅助工具高效编写健壮的Shell脚本,实现服务器批量配置、日志管理和系统监控等自动化任务。通过实际案例展示了DeepSeek在代码生成、错误检查、优化建议等方面的辅助能力,同时强调了生产环境中脚本设计的安全性、健壮性及测试验证的重要性。

qinzhenyan的博客 767

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

实战演练:企业级日志监控系统的架构设计与性能调优

ElastAlert2作为开源社区中备受推崇的实时日志监控解决方案,为企业提供了强大的异常检测和告警能力。这个工具专为从Elasticsearch和OpenSearch数据中识别异常模式而设计,支持多种规则类型和40+告警渠道,是现代运维监控体系的核心组件。 ## 架构解密:ElastAlert2的核心设计理念 ### 模块化架构设计 ElastAlert2采用高度模块化的设计架构,主要分为四

gitblog_09802的博客 366

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

零基础Linux运维学习路线:从虚拟机到自动化运维的完整指南

想转行运维,但面对海量教程和复杂的技术栈,不知道从何入手?担心学了半天,结果连最基础的服务器都玩不转?这可能是很多零基础同学最真实的困惑。Linux运维,这个听起来门槛不低、内容庞杂的领域,其实有一条清晰、高效的学习路径。很多人失败,不是因为不够努力,而是因为一开始就选错了方向,在细枝末节上浪费了太多时间。 这篇文章要解决的,正是这个核心痛点: 为完全零基础、想系统入行Linux运维的伙伴,提供一份从“是什么”到“怎么做”的完整、可落地的学习路线图 。这不仅仅是一份课程列表,更是一份结合了行业需求、技能拆解

weixin_33985679的博客 501

后端技术周报第二期

ASCE1885,硕士毕业于华中科技大学,先后在华为、百度、平安任职,从事过 C++ 桌面和嵌入式软件开发、移动开发、后端开发,前端开发也有所涉猎,曾写过《Android 高级进阶》一书...

ASCE1885 2571
上一篇: E往无前 | get正确使用姿势!腾讯云大数据ES日志场景优化案例回顾
下一篇: 《湖仓一体技术与产业研究报告(2023)》内容抢先看!
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值