E往无前 | get正确使用姿势!腾讯云大数据ES日志场景优化案例回顾

数据库国产化探究及升级改造过程指导 当前官网最新版本为DM8,相较于目前主流产品架构:不同特性依靠不同内核去实现,DM8独特采用了双存储引擎架构,行存储引擎和列存储引擎可相互配合、协同工作。同时实现了计算层和存储层的分离,同一内核既支持共享存储式集群,也支持分布式事务集群。 阅读详情

 导语:

随着ELK方案在开源日志分析领域越来越流行,各种业务场景也给ELK方案带来了越来越多的挑战。本文将回顾一次真实客户案例,从使用姿势上,提供一些大集群、多日志主题场景下的集群优化思路。

一、ELK不香了?   

我们客户的ELK已作为其日志分析平台的方案,服役了多年。随着新服务上线、业务增长,集群规模也随之扩大,每次集群扩容都成功使日志平台顶住了业务的压力。最近客户经历的几次高峰期,又按照以往的经验,紧急做了多次扩容,希望能快速解决问题。然而,依旧频繁出现大面积日志积压,甚至还出现日志查询变慢,集群飚红等从未出现过的情况。多次扩容后,ELK方案的月成本增加到了客户难以接受的6位数,然而问题接连不断,性能令人堪忧。难道ELK不香了?

二、找出问题核心   

我们第一时间对集群做了分析,奇怪的是在客户反馈积压的时刻,集群各层面的压力并不高。为了快速恢复日志服务的实时性,客户对logstash也做了扩容操作,期望能快速消费完kafka的积压。然而扩容后收益甚微,集群的写入速度变化不大。经历了几次,从客户发现高峰期积压,到高峰期结束,通过扩容的方式没能有效的解决积压问题,只能等待积压消费完成。

进一步分析发现,客户的集群规模很大,接近PB级别。索引多,整个集群热温架构,100个数据节点,75个热节点,共2000多个索引,50000多个分片。这2000多个索引,基本采用的是{index_name}-yyyy.MM.dd命名的按天滚动的索引,索引大小上两极分化,大的索引2~3TB,小的索引几KB,各索引的主分片数设置、分片大小的也不尽相同。实际上这种索引写入的规划上,是存在很大的优化空间的,但此时还没有明确的证据表明,这是导致链路积压的直接原因。直到我们偶然发现有集群中两个异常节点,压力比其他节点高很多。通过监控发现这两个节点在写入速度上,明显高于其他节点。

443f81bb98763666dddf7f651ee216e7.png

图1

这种明显的写入倾斜,一般是分片分配不均导致。通过近期实现的cerebro添加的节点、索引增强过滤功能,在众多索引中快速定位到了问题索引。

0840bb4cb5f58836f862ccb9faf542ea.png

图2

可以看到这里只定义了一个主分片的索引,大小已经写到了800多G,其写入压力集中在了主分片和副本分配对应的两个节点上。这时我们和客户一起查看kafka的积压情况,果然也发生了积压。和客户了解到,这个索引是新业务上线写入,客户还没开始使用这个日志主题。这个单分片数也不是客户主动定义的,是索引模版的误修改,使得新增的日志主题匹配到了单分片的模版。了解清楚问题后,修正了模版,删掉了还未投入使用的日志索引。再次查看节点的写入监控,发现问题立刻得到了改善。

b2b64853624755b37f4e25ef29b2167b.png

图3

48801af63a2a6098fc1a8ff335636273.png

图4

不难发现,这两个异常节点写入速度恢复了正常,其余节点的写入速度、整体集群的写入速度也同时提升了!这是一次主动发现的,个别索引影响整个集群性能的问题。那么,是否客户在高峰期遇到的积压问题,也可能是个别索引造成的呢?我们虽然未能找出这种明显的证据,但还是合理的怀疑这个可能性。

为了求证这一想法,深入了解了客户日志集群的架构后,发现:

1.客户日志主题数以百计,由于历史原因日志主题在kafka的topic中是混用的,在logstash的管道中也没有做拆分,日志数据混合地向ES写入。

2.由于历史原因客户的索引模版定义未统一设规范,索引模版和ILM策略没有统一,有些索引匹配了不适合的模版。

3.日志主题没有做量级预估,均采用按天滚动的索引方式,分片数过多,大小上两极分化。

多个日志主题的数据混合写入到了同一个集群。几乎可以确定,只要有某个或某几个分片数规划不合理的索引,其写入性能受限,就会存在“短板效应”,引起整体集群写入速度受限!过多的日志主题,导致我们不易发现具体是哪个日志主题的索引拖慢了集群,很可能有很多索引都存在这样的问题。ELK的使用姿势优化势在必行。

三、优化无法实施   

由于混合写入,带来了短板问题,那么最快的解决手段就是将量级较大的日志主题使用独立的kafka topic和logstash pipeline。然而,从客户的角度看,这几乎是无法实施的。日志接入是一直沿用的规范,由于历史原因中间的处理逻辑暂无人维护。且每个日志主题都对应了一个业务/微服务,需要推动对应的团队来修改,改造成本较大。

那么我们不得不换一个思路。既然数据接入层面混写无法优化,存在“短板效应”问题,那我们来解决短板问题不就好了吗?也就是说,我们回到ES本身,将ES的每个日志主题的索引,都来做最合理的配置,让集群中不存在“短板”。这样即便混写的数据进来,我们只要保证了每个索引都有最佳的写入能力,也能一定程度缓解短板效应。

客户对这种优化方式表示接受,同时也提出了几点诉求。需要考虑:

1.稳定性:优化需要平滑,保证各业务部门的正常使用;要能承受高峰期的写入

2.易运维性:简化的,新增日志主题方法、扩缩容后的分片策略调整方法

3.降低成本:过高的成本客户无法承受,要在保证性能的前提下降低成本

总结优化目标:

1、稳定性

1) 根治个别索引造成写入短板,阻塞整个链路。排除由于es原因导致消费能力无法提升的可能性

2) 保证分片的均匀分布和合理大小,提升各节点写入能力。排除单节点分配不均导致的性能问题

3)平滑优雅的过渡流程,最小化操作,过程中尽量保证业务无感、故障可回退

2、易运维性

1) 制定template和ilm策略的命名和管理规范,核心策略数量简化到个位数,完成替换后统一删除旧的。避免template过多不易维护,甚至错误覆盖导致一系列的集群、索引问题

2)仅用别名来读写索引,对外屏蔽内部索引策略

3、降低成本

优化项完成后视情况操作降配,兼顾稳定性

深入分析了每个日志主题的日增大小,可以将其分为4类

1c5b850fa24cdac2788f641f4e15fc3f.png

图5

四、优化思路   

1、使用别名读写索引,索引按天滚动改为按量滚动

1)使用`ilm索引生命周期`的rollover能力,将`rollover_alias`设置为索引名即可 

2)例如,`log1-2022.10.19`这个索引,以后使用时,都仅指定`log1`,es会根据该别名,定位到需要读写的具体索引 

3)写入时,以往logstash直接带出了后缀日期,后续这个后缀交给`ilm索引生命周期`来自动管理,logstash写入时只需指定`log1` 

4)查询时,kibana的index pattern将通配改为使用别名`log1`来指定

2、分片均匀分布

1)热层索引主分片数等同于热节点数量 

2)索引`total_shards_per_node`=2,避免索引维度分片聚堆 

3)提升分片均衡算法中的索引权重`cluster.routing.allocation.balance.index`,以保证索引层面的分片均匀分配

3、索引策略尽量减少,并抽象归类为

1)大日志主题(日增索引大小>960G),共用一套模版:

a.rollover条件,`max_primary_shard_size=40g`,`max_age=1d`,两条件触发任何一个即滚动一个新索引供写入    

b. rollover后1d降温,即从创建开始,最长2d会降温 

c. 降温后13d删除,即从创建开始,最长15d会删除

2)小日志主题(240G<日增索引大小<960G),共用一套模版:   

a.rollover条件,`max_primary_shard_size=40g`,`max_age=2d`,两条件触发任何一个即滚动一个新索引供写入    

b. rollover后1d降温,即从创建开始,最长3d会降温

c. 降温后13d删除,即从创建开始,最长15d会删除

3)小日志主题(60G<日增索引大小<240G),共用一套模版:   

a.rollover条件,`max_primary_shard_size=40g`,`max_age=4d`,两条件触发任何一个即滚动一个新索引供写入    

b. rollover后1d降温,即从创建开始,最长5d会降温

c. 降温后10d删除,即从创建开始,最长15d会删除

4)微日志主题(日增索引大小<60G),共用一套模版:

a. 索引热阶段分配在即冷节点,索引从创建到删除始终在温节点,    

b.rollover条件,`max_primary_shard_size=40g`,`max_age=8d`,两条件触发任何一个即滚动一个新索引供写入    

c. rollover后1d降温,即从创建开始,最长9d会降温

d. 降温后6d删除,即从创建开始,最长15d会删除

4、ilm+组件模版本次优化核心配置示例

PUT _ilm/policy/ALIAS_POLICY_VER.2022.11.02-large_topic_ilm
{
  "policy": {
    "phases": {
      "hot": {
        "min_age": "0ms",
        "actions": {
          "rollover": {
            "max_primary_shard_size": "40gb",
            "max_age": "1d"
          }
        }
      },
      "warm": {
        "min_age": "1d",
        "actions": {
          "allocate": {
            "include": {
              "_tier_preference": "data_warm"
            }
          }
        }
      },
      "delete": {
        "min_age": "13d",
        "actions": {
          "delete": {
            "delete_searchable_snapshot": true
          }
        }
      }
    }
  }
}


PUT _component_template/ALIAS_POLICY_VER.2022.11.02-large_topic_component_template
{
  "template": {
    "settings": {
      "index": {
        "lifecycle": {
          "name": "ALIAS_POLICY_VER.2022.11.02-large_topic_ilm"
        },
        "number_of_shards": "32",
        "number_of_replicas": "0",
        "routing": {
          "allocation": {
            "total_shards_per_node": 2,
            "include": {
              "_tier_preference": "data_hot"
            }
          }
        }
      }
    }
  }
}


PUT _component_template/ALIAS_POLICY_VER.2022.11.02-tiny_topic_component_template
{
  "template": {
    "settings": {
      "index": {
        "lifecycle": {
          "name": "ALIAS_POLICY_VER.2022.11.02-tiny_topic_ilm"
        },
        "number_of_shards": "24",
        "number_of_replicas": "0",
        "routing": {
          "allocation": {
            "total_shards_per_node": 2,
            "include": {
              "_tier_preference": "data_warm"
            }
          }
        }
      }
    }
  }
}

5、后续新日志主题的添加方法(日志名称以log1为例)

PUT _index_template/ALIAS_POLICY_VER.2022.11.02-log1
{
  "template": {
    "settings": {
      "index": {
        "lifecycle": {
          "rollover_alias": "log1"
        }
      }
    }
  },
  "index_patterns": [
    "log1-*"
  ],
  "composed_of": [
    "ALIAS_POLICY_VER.2022.11.02-small_topic_component_template"
  ]
}


# PUT <log1-{now/d{yyyy.MM.dd|+08:00}}-000001>
PUT %3Clog1-%7Bnow%2Fd%7Byyyy.MM.dd%7C%2B08%3A00%7D%7D-000001%3E
{
  "aliases": {
    "log1": {
      "is_write_index": true
    }
  }
}

五、ES的平滑蜕变   

1、原始的索引读写策略

读写方需指定日期后缀,集群未使用别名(客户的logstash实际是混写,为了方便理解,将索引对应的数据流单独体现出来)

867de1e9df84029835d083536a27ebfc.png

图6

2、过渡的索引读写策略

写入需指定日期后缀,读取可指定别名无需指定日期后缀

932706bf34fcdbc95b29adec7f4f2623.png

图7

3、优化后的索引读写策略

采用ilm定期定量rollover后的索引使用方式,索引切分策略交由ES来管理,读写访问无需带日期后缀

红色的别名代表is_write_index=true,当前写入指向的索引

10c586bc5fa8ad02d8c232abecf452ad.png

图8

4、操作步骤

1)升级7.14版本,支持component_template特性

2)梳理当前集群所有索引主题(日志主题),整理作为脚本配置。确保优化过程中不会有新的日志主题被创建

3)操作过渡的前一天

a.通过脚本1,为所有历史索引赋予别名(形如log1)

b.通过脚本2,提前创建所有日志主题的日期后缀别名(形如log1-2022.10.20)索引,保证第二天的数据流不会创建新的日期后缀索引

4)提前将新模版(使用component_template)都创建好,但不激活(不创建匹配index_pattern的index_template)。索引日志主题较多,需一一梳理后,编写脚本自动生成来提交index_template

5)准备进入关键流程,以下步骤需在一天内完成

a. 通过脚本3,将所有日志主题最新的写入指向的索引,更新别名`log1`的属性`is_write_index=true`

b. 通过脚本4,激活所有新模版(提交index_template)

6)修改logstash的写入方式,去除时间后缀,重新部署所有管道

7)通过脚本5,将当前各主题最新索引赋予rollover_alias策略并手动执行rollover

8)观察写入稳定后,关键流程结束

9)待所有旧索引生命周期结束后(预计两周),删除所有旧模版、旧ilm策略

原本希望不引入脚本操作,尝试使用alias date math的功能,但其不支持在模板中定义https://github.com/elastic/elasticsearch/issues/75651 。所以最终还是编写了批处理脚本,按照上述方式,基本完成了平滑无感的变更。完成后集群压力明显下降,随后便顺利地完成了集群的降配。

六、案例总结   

从结果上看,本次针对es集群的优化方案,已经达到了预期的效果,成功的解决了客户的问题。客户关注的几个方面都顺利完成

1、稳定性

节点压力得到了均衡,客户遵循该策略后,ES层面不会再出现个别短板阻塞整个链路的问题

2、易运维性

梳理了187个日志主题,归纳并制定了4套索引策略,告别客户之前无序的维护

3、降低成本

集群按预期降配,性能和集群压力都维持正常,ES成本降低约50%

【核心问题】

多索引场景下,部分索引有写入瓶颈,混写时产生“短板效应”。

【核心优化点】

使用rollover的按量滚动能力,使所有分片均工作在合理的大小,使索引、集群维度,分片都是均衡分配的,充分发挥集群性能。

使用component_template功能,抽象并简化索引策略,大幅提升集群的可维护性。

【优化难点】

本次优化,一方面是在制定更加合理的ES使用规范,解决稳定、易运维、降本三方面的问题;另一方面更是在帮助客户梳理其整个业务日志链路,给杂乱无章的梳理工作起了个头,让客户对ELK方案重拾信心。后续客户表示会逐步推动拆分logstash、kafka仍存在的混写情况。

【结语】

如果您对ES比较了解,或者是ELK的老用户,希望本文能给您带来一些新的启发。如果您面临新的使用场景,也强烈推荐使用腾讯云ES的自治索引来保持正确的使用姿势。腾讯云ES团队可以提供专业的技术支持,期待能够与您合作。

【信息科学与工程学】【产品体系】第二十篇 CDN网络 04 国内 CDN 厂商在多租户隔离场景下实现 μ_c 求解与 LRU 淘汰的结合,公开资料中并未确认任何一家直接部署了 AdaptSize 原版的完整组合。最接近的公开生产级方案是腾讯 CDN 的LACA,通过异常租户检测 + 局部 MRC + DP 搜索实现轻量多租户缓存分配,但其不直接求解 μ_c,而是通过调整租户配额 K_t 间接控制。外层(LACA 式):异常租户检测 → 局部 MRC → DP 搜索租户配额 K_t中层(AdaptSize 式) 阅读详情

相关推荐

mall 电商项目完整部署---实战

mall 后端 SpringBoot,mall‑admin‑web 后台管理 Vue 前端,mall‑app‑sc 移动端 uni‑app 前端;修改数据库、redis、minio、logstash 地址,容器之间 link 别名:mysql 容器别名。🔔排坑:登录报跨域 / 接口报错,检查 prod.env.js 地址,确认 8080 后端服务正常运行。能打开页面,接口列表展示出来,后端部署完成。,所以打包的时候会自动构建镜像,很慢而且你暂时不需要。,容器数据持久化,删除容器数据不会丢失。

qq_63196465的博客 347

行业独家 | 腾讯云ES:PB日志查询大提速,自治索引查询裁剪详解!

作者:腾讯云大数据ES团队背景概述日志场景一般具有明显的冷热特点,比如保留7天的日志数据,但P90查询都集中在近12小时,并且在查询日志时一般使用索引前缀查询,比如filebeat-*,这种查询比指定索引名查询,耗时会长3倍以上。而日志场景一般具有近热远冷的特性,例如刚上报的日志数据,往往读写频率较高,而随着时间推移,频率则慢慢降低,因此,通配查询的必要性并不强,如果能根据该特性进行查询剪枝,将能...

cloudbigdata的博客 1762

iOS逆向实战:绕过SSL Pinning抓取ChatGPT设备令牌

在移动应用安全与网络协议分析领域,中间人攻击是一种核心的流量拦截与分析技术。其原理是在客户端与服务器之间插入一个代理节点,通过伪造数字证书来解密和窥探HTTPS加密流量。这项技术的工程价值在于,它使开发者能够调试API、分析通信协议以及实现自动化集成。然而,许多高安全要求的应用(如金融、社交类App)会采用SSL Pinning(证书绑定)技术来抵御此类攻击,这为逆向工程带来了挑战。本文聚焦于一个具体的应用场景:如何针对启用了SSL Pinning的ChatGPT iOS客户端,通过特定的工具链(如Trol

weixin_28235889的博客 979

十八、.net core(.NET 6)搭建ElasticSearch(ES)系列之使用Logstash通过Rabbitmq接收Serilog日志到ES...

使用Logstash通过Rabbitmq接收Serilog日志到ES 首先,要部署logstash 为了与前面的ElasticSearch版本保持一致,此处Logstash下载的版本也是7.13.1,下载地址: https://artifacts.elastic.co/downloads/logstash/logstash-7.13.1-windows-x86_64.zip 解压以后,修改一些...

WeskyNet 1006

NFC门禁卡复制全解析:从M1卡到UID卡的攻防实践

本文深入解析了NFC门禁卡的安全机制与攻防实践。从M1卡基于Crypto1算法的原理漏洞讲起,详细阐述了利用Proxmark3等工具进行侦听、破解密钥及使用UID卡进行复制的完整攻击链条。同时,为防御方提供了从升级CPU卡、启用全扇区认证到部署多因子验证的系统性防护策略,旨在帮助管理员构建更稳固的物理安全防线。

weixin_29182481的博客 1407

【高等数值分析】Krylov子空间方法

文章目录1. 预备理论1.1 Krylov 子空间1.2 最佳逼近1.2.1 方法一:最佳平方逼近1.2.2 方法二:假设 AAA 对称正定1.2.3 方法三:残差2范数2. 基底正交化2.1 Arnoldi 过程(CGS)2.2 改进 Arnoldi 过程(MGS)2.3 Lanczos过程3. 方程组求解3.1 全正交方法 (FOM)3.2 D-Lanczos方法3.3 广义极小残量法(GMRES)3.4 MINRES 方法 1. 预备理论 现在需要求解一个大规模稀疏方程组 Ax=bAx=bAx=b,可

Glooow的博客 1万+

es查询性能优化

1.如果条件允许,内存和cpu一定要足够多,要超过总数据量的1半以上最好,当然数据量很大的时候要在经常查询数据的2倍以上。 2.数据分离存储,经常查询的数据放一些索引,不经常查询的放一部分索引,然后通过唯一的id关联即可,需要查那些不经常查的数据的时候通过id查询即可,这里可以和hbase联合使用。把条件字段和经常查看的字段放在es中,不经常查看的放hbase中,这样既可以省es的空间,性能效果也俱佳 3.数据大时,每个索引的数据量不要太大,一般很大的时候可以每天一个索引,或者每月一个索引,具体看业务来

花&败 5627

基于人脸识别的课堂考勤系统 tkinter+openpyxl+face_recognition

基于face_recognition库实现人脸考勤系统功能。利用Python的tkinter模块来设计考勤系统的图形化界面,此外结合openpyxl模块,实现将学生的信息和考勤打卡数据保存到表格中,方便查看和调用。该系统具备“刷脸打卡”、“新学生注册”等功能。............

lyx4949的博客 6970

ES大数据量下查询优化

转载自:https://zhuanlan.zhihu.com/p/60458049 面试题 es 在数据量很大的情况下(数十亿级别)如何提高查询效率啊? 面试官心理分析 这个问题是肯定要问的,说白了,就是看你有没有实际干过 es,因为啥?其实 es 性能并没有你想象中那么好的。很多时候数据量大了,特别是有几亿条数据的时候,可能你会懵逼的发现,跑个搜索怎么一下5~10s,坑爹了。第一次搜索的时候,是5~10s,后面反而就快了,可能就几百毫秒。 你就很懵,每个用户第一次访问都会比较慢,比较卡么?所以.

大懒熊的博客 5336

CORS(跨域资源共享)漏洞解决方法

最近,测试环境上的项目被360测试人员检测出来有一个CORS漏洞,以下记录下漏洞问题与解决方法。 一、低危漏洞:CORS漏洞问题 测试人员访问某个url,将请求头中的Origin字段修改为任意值,结果仍然能获得正确的响应报文,就说明有CORS漏洞。 当CORS的设置不正确时,就会带来安全问题;当响应头中的Access-Control-Allow-Origin设置为null或*时,表示信任任何域,这时候就可能引入安全问题。 修复方法是合理配置CORS,判断Origin是否合法;具体说就是不让在nginx或t

BHSZZY的博客 3万+

手把手教你学simulink实例--基于Simulink的轨道交通车辆悬挂系统仿真

轨道交通车辆悬挂系统是保证列车运行平稳性、舒适性和安全性的重要组成部分。通过悬挂系统的合理设计,可以有效减小车辆在运行过程中受到的轨道不平顺和振动影响。基于MATLAB/Simulink平台进行悬挂系统仿真,可以对悬挂系统的动力学行为、控制策略以及性能优化等环节进行建模与分析,从而验证系统的设计性能并优化参数。本项目旨在构建一个完整的轨道交通车辆悬挂系统仿真模型,包括悬挂系统动力学建模、控制策略模块以及性能评估模块,并通过仿真验证系统的稳定性和舒适性。

MHD0815的博客 1034

.net core 日志收集es+logstash+kibana

一、新建项目:ELKWeb Nuget: <ItemGroup> <PackageReference Include="NLog.Extensions.Logging" Version="1.6.5" /> <PackageReference Include="NLog.Web.AspNetCore" Version="4.9.3" /> </ItemGroup> nlog.config <?xml version="

码农的专栏 1375

openclaw 保姆级部署与核心玩法解析:国产DeepSeek模型 + 飞书

OpenClaw是一款功能强大的开源AI个人助理,支持全平台私有化部署,数据完全本地掌控。它不仅可通过聊天窗口直接操控电脑(安装软件、创建项目),还支持接入飞书等主流通讯工具,化身24小时在线的智能助理。本文提供了从零开始的详细部署教程,涵盖基础安装、模型配置(如GLM-4、DeepSeek)到飞书集成的完整实战指南,助你将这款“核动力”AI助手快速融入日常工作流。

甘蓝的专栏 3002

Elastic:开发者上手指南

你们好,我是Elastic的刘晓国。如果大家想开始学习Elastic的话,那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里,我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。 我们可以按照如下的步骤来学习: 1)Elasticsearch简介:对Elasticsearch做了一个简单的介绍 2)Elasticsearch中的一些重要概念:cluster,n..........................................................

Elastic 中国社区官方博客 17万+

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Linux核心思想与实战入门:从哲学到服务器部署的完整指南

操作系统是计算机系统的核心软件,负责管理硬件资源并为应用程序提供运行环境。其基本原理在于通过内核进行进程调度、内存管理和设备驱动,实现资源的抽象与共享。Linux作为开源操作系统的典范,其技术价值体现在高度的可定制性、稳定性与安全性,是构建现代数字基础设施的基石。在应用场景上,Linux广泛应用于服务器、云计算平台、嵌入式系统和开发环境。本文聚焦于Linux的“一切皆文件”设计哲学、开源发行版生态以及包管理系统,并深入探讨了从WSL环境搭建到Shell脚本编写的实战路径,特别涵盖了systemd服务管理和网

weixin_30466039的博客 515

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

51c大模型~合集111

OpenAI 的某发言人表示:「为了提高清晰度和安全性,我们增加了一个额外的后处理步骤,其中模型会审查原始的思维链,删除任何不安全的内容,然后简化某些复杂的思维。可以看到,虽然 ChatGPT 确实完成了任务并展示了总结版的思维链,但似乎并未如 OpenAI 发言人说的那样给出与提示词语言同样语言的总结版。北大-灵初联合实验室表示,Align-DS-V的多模态强推理能力是VLA模型大脑端的核心,接下来的研究训练计划,是利用多模态推理模型的跨模态穿透能力,实现action穿透,最终实现真正高效的VLA模型。

whaosoft~aiotの开发板商城 2320

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

ElasticSearch(一)API的使用

elasticsearch的API使用

qq_40358025的博客 224

企业如何同时管理用电安全、电能质量和节能降碳?从异常溯源看施耐德电气EEO的协同管理价值

通过整合电力运行信息,并结合EEO资产健康模块、EEO电能质量模块与EEO能碳管理模块,企业可以围绕设备、回路和负荷建立更连续的分析流程,使不同专业人员能够基于相互关联的数据开展判断。企业需要进一步核对异常出现的时间、涉及的配电回路、生产负荷变化以及设备运行状态,才能判断问题来自正常的生产调整、设备运行异常,还是需要采取措施的电能质量问题。从关键回路的异常排查入手,逐步完善设备数据、专业分析和治理验证流程,企业可以让用电安全、电能质量与节能降碳从分散的管理任务,转变为相互关联的日常运营工作。

科技,技术,行业类博主 188

京东 Apache Doris 湖仓查询优化实践:从多引擎统一到百万级查询

京东基于 Apache Doris 构建统一湖仓查询引擎,支撑日均百万级查询与 PB 级数据扫描。深入解析 Presto、StarRocks 迁移、分区裁剪、Split 调度、向量化执行及 AI Agent 混合负载优化实践。

SelectDB 435

Day3 - Flink 窗口与时间语义:从滚动窗口到迟到数据处理

水位线是一个特殊的时间戳,代表"小于这个时间戳的数据都已经到齐了比如水位线推进到 10:00:05,就告诉 Flink:10:00:05 之前的数据应该都到了,如果还有晚于这个时间到达但时间戳小于 10:00:05 的数据,就是"迟到数据"。窗口大小固定,窗口之间不重叠,数据只属于一个窗口。时间线: 0 10 20 30 40 50 60窗口1: [--------)窗口2: [--------)窗口3: [--------)窗口4: [--------)

YEEMOLY的博客 276

智能问诊的流程

本文介绍基于FastAPI构建的医疗多Agent系统MediAgent,通过症状分析、诊断推理与治疗建议等模块协同,实现从问诊到报告生成的完整工作流。系统采用前后端分离架构,结合MySQL、RabbitMQ与Docker实现工程化部署,支持异步化验结果接入。虽当前状态暂存于内存,但已具备可扩展性,未来可通过Redis持久化、消息队列联动及医疗安全机制完善,应用于慢病管理、辅助决策等场景,推动AI在医疗流程中的落地应用。

Joey 的工作空间~ 787

大数据与审计专业哪些证书企业比较认可?

大数据与审计专业选证书,首先要明确就业方向:是进入会计师事务所做财务审计,还是进入企业从事内部审计、风险控制,或向数据审计、信息系统审计发展。不同岗位看重的专业能力不同,证书的价值也应放在具体招聘要求中判断。面向2027年的求职与备考规划,值得重点考虑的有六类:初级会计专业技术资格、注册会计师、审计专业技术资格、CDA数据分析师、国际注册内部审计师和国际注册信息系统审计师。选择时,宜采用“财审基础+数据能力+岗位专长”的组合,而不是单纯追求持证数量。

YangYang9YangYan的博客 312

深入浅出聊聊 Linux 的 PageCache 与系统极致性能

本文深入浅出解析了 Linux PageCache 的核心机制,揭示其如何通过“延迟写、预读读”提升系统性能。以监控告警为切入点,阐明 free -h 中 buff/cache 并非真正占用,真正可用内存由 available 决定。结合 Kafka、Elasticsearch、MySQL 等实战场景,说明中间件如何依赖 PageCache 实现极致性能。强调不可手动清理缓存,并建议合理调优脏页参数,避免卡顿。最终指出:内存满≠危机,而是系统高效运行的体现。

小小默:进无止境 525

CentOS7-Elasticsearch8.15.3-Kibana8.15.3-安装部署笔记

Token 有效期只有 30 分钟,请保存好输出的 base64 字符串并尽快完成 Kibana 对接;本文整理自单机离线部署实践,适用于 CentOS 7 + Elasticsearch/Kibana 8.15.3 场景。只对新登录的会话生效,修改后需重新连接 SSH。结尾,其中包含 elastic 用户初始密码、HTTP 层证书等信息。等字段的集群 JSON 信息,即说明账号、HTTPS、证书均正常。安装成功后,终端会打印安全自动配置结果,以。按交互提示输入两次自定义密码。,保存后重启服务器生效。

遇见bug的博客 193

数据科学与大数据技术大一到大三考证顺序怎么排?

数据科学与大数据技术专业的考证安排,适合跟着课程和求职方向走,而不是跟着证书数量走。大一还在学高等数学、程序设计,大二逐步接触概率统计、数据库,大三开始进入机器学习、大数据平台和专业实习。证书与这些课程衔接起来,备考才容易转化为实际能力。下文推荐6项证书,其中既有基础性考试,也有职业方向认证,不需要全部考完。安排考证顺序的关键,是让每次备考都留下两项成果:一张能够说明学习经历的证书,以及一份能够展示实际能力的作品。

2501_93367079的博客 84
上一篇: E往无前 | 腾讯云大数据 ElasticSearch 高级功能:Cross Cluster Replication实战
下一篇: E往无前 | 腾讯云大数据ES日志轻接入和免运维最佳实践
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值