腾讯云ES:一站式接入,数据链路可视化重磅来袭!

腾讯云ElasticsearchService(ES)为解决用户在数据接入方面的复杂流程问题,推出了数据链路可视化接入服务。该服务简化了数据源配置、采集、缓存、加工和目的等步骤,降低了使用和维护成本,提高了创建效率。用户可以通过界面填写组件信息,快速完成CVM、TKE等数据源的日志和指标接入。服务包括CVM-Filebeat-CKafka-Logstash-ES及TKE-Filebeat-CKafka-Logstash-ES两种链路配置示例。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

c981b9922905982e57d25901730dae19.gif

当前,各大云厂商均推出了Elasticsearch的云上托管服务,并通过提供运维管理、监控告警、日志查看等工具,方便用户进行集群的管理与维护。但在数据接入方面,腾讯云 Elasticsearch Service(ES)在实践中发现,用户仍需单独打通每一个组件的上下游,最终完成整个链路的创建,而数据链路涉及数据源配置、数据采集、数据缓存、数据加工、数据目的等复杂的流程,每一步都需要单独配置的情况下,用户接入以及运维的成本较高。

基于此,腾讯云ES推出了一站式的数据链路可视化接入服务,相对于传统的数据接入,数据接入可以大大的降低使用与维护成本,提高链路创建效率。数据接入提供了CVM与TKE、MySQL等数据源的接入,只需在界面上填写链路中相关组件的配置信息或者遵循相关指引,即可快速完成整个链路的创建。

a9e580883513a710cc4840f31c98e5af.png

使用介绍

进入新建页面

  • 登录 ES 控制台,单击数据接入进入数据链路列表。

  • 单击新建数据链路进入新建页面。

数据链路配置

填写基本信息

1.填写数据链路名称,将根据该名称自动生成数据链路ID。

2.选择地域,后续数据链路的相关组件与资源,都将来自该地域。

3.选择数据源,当前日志场景支持CVM与TKE等等数据源、指标场景支持CVM,后续将支持更多的数据源,其他数据同步配置如MySQL等可通过相关文档指引进行。

4.点击“开始创建”,将进入数据链路组件配置页面。

组件配置

1.建议数据链路各个组件在同一个VPC以保证网络互通,否则您需要自行打通网络连接。

2.通过选择数据链路模式,可切换该链路组件配置。

3.为了创建数据接入链路,通过助手下发配置时,要使用用户密钥,初次点击“新建数据链路”时,需要您授权创建服务相关角色,授权 “腾讯云Elasticsearch服务” 访问您的 "自动化助手服务”、“云服务器CVM”、“容器服务TKE”、”消息队列CKafka”,使用相关服务接口完成相应功能。


以下将通过CVM及TKE日志采集链路的配置进行相关说明。

CVM-Filebeat-CKafka-Logstash-ES

数据源

1.选择VPC。

2.选择CVM,仅支持Linux系统的CVM,且CVM必须安装自动化助手后才能采集数据。

e4459f330f32e22430103621c52a93de.png

数据采集

1.填写采集配置相关内容。

2.output信息将在提交时根据您填写的链路配置自动填充,请勿在此输入相关信息。

fec4f274b1114e485d49e323bc630e5b.png

数据缓存

1.选择CKafka实例。

2.从Ckakfa实例已经路由打通的VPC中,选择跟当前链路组件有交集的VPC。

3.创建或者选择已有Topic,当选择创建Topic时,如您未填写Topic名称,将自动生成格式为{数据链路ID_topic_随机字符串}的Topic名称。

52388465b783e20935bf91a5937db48c.png

数据加工

1.选择VPC。

2.选择Logstash实例。

3.生成数据链路时,将自动在该实例下创建名称为{数据链路ID_lgpipe_随机字符串}的管道,如需对数据进行加工,可在数据链路创建完成后到对应的Logstash实例下修改相关管道的配置。

d0dda80b5646728856efa603825e3177.png

数据目的

1.选择VPC。

2.选择ES实例。

3.选择写入的索引类型,自治索引适用于2022年6月1日之后创建的7.14.2版本集群,早于此时间创建的7.14.2版本集群重启后可支持。低于7.14.2版本的集群需升级至7.14.2版本。

4.填写索引名称,当写入的索引类型为普通索引时,该名称为索引别名,您可根据该别名访问您的数据。如您未填写索引名称,将自动生成格式为{数据链路ID_index_随机字符串}的索引名称。

5.在写入的索引类型中,如您选择的是新建自治索引,您可对字段映射进行预定义;如您选择的是选择自治索引,请确保采集的 "时间字段" 与所选自治索引的 "时间字段" 完全一致,否则将导致数据写入失败。

460fc4e8efc857bcd37cd30fb821243a.png

TKE-Filebeat-CKafka-Logstash-ES

数据源

1.选择VPC

2.选择TKE集群。

e2e5f46ddc58f7ddc14a8bacb680bbd1.png

数据采集

1.命名空间:必选。第一个下拉可选择 包含/不包含。第二个下拉可选择命名空间,支持多选,不支持选择不包含全部命名空间。

2.Pod 标签:选填。支持创建多个 Pod 标签,标签之间是逻辑与关系。

3.容器名称:选填。填写的容器名称必须在采集目标集群及命名空间之下,为空时,Filebeat 会采集命名空间下符合 Pod 标签的全部容器。

4.日志内容过滤:选填。根据关键字过滤日志,可填多个关键字,以逗号分隔。

5.高级采集配置:选填。个性化设置解析方式、过滤等,一般采用默认配置。

ffcc704bc1083247f01e4912ae59507c.png

数据缓存

1.选择CKafka实例。

2.从Ckakfa实例已经路由打通的VPC中,选择跟当前链路组件有交集的VPC。

3.创建或者选择已有Topic,当选择创建Topic时,如您未填写Topic名称,将自动生成格式为{数据链路ID_topic_随机字符串}的Topic名称。

4a671dc1472725f5013f50a90bc94b16.png

数据加工

1.选择VPC。

2.选择Logstash实例。

3.生成数据链路时,将自动在该实例下创建名称为{数据链路ID_lgpipe_随机字符串}的管道,如需对数据进行加工,可在数据链路创建完成后到对应的Logstash实例下修改相关管道的配置。

9898ac44f42c6f345dfdf249b67cc341.png

数据目的

1.选择VPC。

2.选择ES实例。

3.选择写入的索引类型,自治索引适用于2022年6月1日之后创建的7.14.2版本集群,早于此时间创建的7.14.2版本集群重启后可支持。低于7.14.2版本的集群需升级至7.14.2版本。

4.填写索引名称,当写入的索引类型为普通索引时,该名称为索引别名,您可根据该别名访问您的数据。如您未填写索引名称,将自动生成格式为{数据链路ID_index_随机字符串}的索引名称。

5.在写入的索引类型中,如您选择的是新建自治索引,您可对字段映射进行预定义;如您选择的是选择自治索引,请确保采集的 "时间字段" 与所选自治索引的 "时间字段" 完全一致,否则将导致数据写入失败。

bef7f0983efdbbf2c77599444435edbf.png

### 计算机网络空间可视化概述 计算机网络空间可视化是指通过图形化的方式表示复杂的网络结构、流量模式以及安全事件等信息,使这些抽象的数据变得易于理解和分析。这种技术不仅能够帮助网络安全专家快速识别潜在威胁,还能辅助决策者制定有效的应对策略。 #### 研究方向 当前对于计算机网络空间可视化的研究主要集中在以下几个方面: - **实时监控与预警**:开发高效的算法来处理大规模动态变化的网络环境下的数据流,并能及时发现异常行为并发出警报。 - **多维度数据分析**:结合时间序列分析、社交图谱构建等多种方法论,从不同角度解析网络活动特征。 - **用户体验优化**:致力于创建更加友好且具有高度互动性的界面设计,让用户可以轻松操作复杂的信息展示平台[^1]。 #### 技术实现 为了达到上述目标,在实际的技术实施过程中通常会采用如下手段: - **数据采集层**:利用SNMP协议获取路由器交换机端口状态;借助NetFlow/IPFIX记录IP通信详情;部署蜜罐系统捕捉恶意攻击企图。 ```python import pysnmp.hlapi as hlapi def get_snmp_data(target, oid): iterator = hlapi.getCmd( hlapi.SnmpEngine(), hlapi.CommunityData('public'), hlapi.UdpTransportTarget((target, 161)), hlapi.ContextData(), hlapi.ObjectType(hlapi.ObjectIdentity(oid)) ) errorIndication, errorStatus, errorIndex, varBinds = next(iterator) if not errorIndication and not errorStatus: return {v.prettyPrint(): k.prettyPrint() for k,v in varBinds} else: raise Exception(f"Error occurred while fetching SNMP data from {target}") ``` - **数据预处理阶段**:清洗过滤掉无关噪声干扰项;标准化各类异构源产生的原始日志格式;提取关键字段作为后续建模输入变量。 - **模型训练环节**:运用机器学习框架(如TensorFlow/PyTorch)建立预测模型评估未来趋势走向;引入深度神经网络架构提高分类准确性。 - **前端渲染部分**:选用D3.js库绘制精美的矢量图形;集成Leaflet插件支持地理信息系统功能;配合WebGL加速三维场景呈现效果[^2]. #### 常见工具 市场上存在多种成熟的解决方案可供选择用于搭建自己的项目: - **开源软件包** - Gephi: 开放式的桌面应用程序专攻于大型网络图表布局计算; - Kibana: Elasticsearch官方配套产品之一,擅长日志检索查询及仪表板定制; - Wireshark: 广泛应用于抓取并解码底层传输层消息帧内容。 - **商业级套件** - SolarWinds Network Performance Monitor (NPM): 提供全面的企业级性能管理服务; - Splunk Enterprise Security: 集成SIEM特性强化内部防护机制; - IBM QRadar Advisor with Watson: 利用AI驱动的风险评分体系增强态势感知能力[^3]. #### 应用实例 具体的应用场景非常广泛,这里列举几个典型例子说明其价值所在: - **企业内网安全管理**:通过对进出站请求路径跟踪描绘出完整的访问链路图谱,便于审计人员审查是否存在违规越权现象发生。 - **互联网骨干带宽规划**:基于历史峰值统计规律合理分配资源配额防止拥塞状况频发影响服务质量。 - **物联网设备接入认证**:当海量终端节点试图连接至中心服务器时,可以通过拓扑视图直观判断哪些区域出现了热点聚集情况从而采取分流措施缓解压力。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值