从Elasticsearch详解Ambari与第三方软件的集成（三）

最新推荐文章于 2025-07-05 15:27:58 发布

BalaBalaYi

最新推荐文章于 2025-07-05 15:27:58 发布

阅读量2.4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： hadoop elasticsearch ambari

本文链接：https://blog.youkuaiyun.com/BalaBalaYi/article/details/84140971

本文详细介绍了如何通过Ambari集成Elasticsearch和Kibana，包括下载代码、配置服务、安装及启动，并展示了服务可用性检查的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

上文已经讲了集成实现的具体步骤，下面我们以Elasticsearch和Kibana为例，来简单实践下第三方集成服务的安装。

三. 部署使用

1. Ambari安装第三方服务

1）下载代码

2）拷贝至Ambari的服务目录（这里采用2.6版本）：

cp -r ./ELASTICSEARCH-6.4.x /var/lib/ambari-server/resources/stacks/HDP/2.6/services
cp -r ./KIBANA-6.4.x /var/lib/ambari-server/resources/stacks/HDP/2.6/services

3) 重启Ambari-server：

ambari-server restart

2. 安装并配置

1）选择添加服务，并选择Elasticsearch和Kibana：

2）选择主服务，这里我们简单选择一个Kibana Server和一个Elasticsearch Master：

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

BalaBalaYi

关注关注

1
点赞
踩
6

收藏

觉得还不错? 一键收藏
10
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

2万字长文详解Ambari面试题及参考答案

大模型大数据攻城狮的专栏

07-08

948

Ambari允许管理员定义警报，包括警报的名称、描述、严重级别、评估间隔以及警报触发的具体条件。警报条件可以基于Hadoop服务的运行状态、性能指标或日志信息。

从Elasticsearch详解Ambari与第三方软件的集成（一）

BalaBalaYi的博客

11-18

1713

一. 简单介绍 1. 软件介绍 1）Ambari（HDP）玩过大数据的人都知道，除了原生的apache hadoop，有两大hadoop厂商（现在已经合并了。。喜闻乐见。。。）：Hortonworks 和 Cloudera。Cloudera的hadoop产品相对来讲成熟度高，商业化程度高。而Hortonworks的hadoop产品种类更多，且开源度高，社区活跃。正是因为开源，才能自定义第三...

10 条评论您还未登录，请先登录后发表或查看评论

从Elasticsearch详解Ambari与第三方软件的集成（二）

BalaBalaYi的博客

11-18

2307

Ambari集成接入Elasticsearch服务（无网接入）

周源的专栏

08-30

4465

注明：个人从git上下载了Elasticsearch5.2版本，但脚本编写不完整，未发现slave相关的py脚本，需添加完善。故暂时接入Elasticsearch 2.3.3版本 Github下载地址（接入Elasticsearch版本可能后续会更新变化）： https://github.com/teamsoo/elasticsearch-ambari 1 ...

ambari集成es

weixin_42348946的博客

05-16

1434

ambari2.6.5 安装 elasticsearch6.3.2 ambari的hdp中原生不支持elasticsearch安装，下面介绍如何通过mpack方式使ambari支持elasticsearch安装： hdp2.3-2.6版本以外版本请看问题1 /usr/bin没有java原因:自己手动安装的jdk,使用linux原生JDK不会出现此问题注意要先看/usr/bin下边是否有java和...

ambari-elasticsearch-service-5.6.1

04-19

ambari集成elasticsearch， ambari版本：2.4.2 ElasticSearch版本：5.6.1

大数据领域数据中台的性能监测与调优

最新发布

大数据洞察的博客

07-05

1637

在当今数据驱动的时代，数据中台作为连接数据与业务的核心枢纽，其性能直接决定了企业数据价值的释放效率。本文深入探讨了大数据领域数据中台的性能挑战，系统阐述了构建全方位性能监测体系的方法，详细介绍了关键性能指标(KPI)的设定与分析，并提供了从基础设施到应用层的多层次调优策略。通过生动的类比、详实的代码示例和实战案例分析，本文旨在帮助技术团队建立科学的性能优化方法论，使数据中台能够高效支撑业务需求，从容应对大数据量、高并发和复杂计算的挑战，最终实现数据价值的最大化。

使用Ambari整合的各大数据组件版本(hadoop,spark,hbase,phoenix)等

06-30

使用Ambari整合的各大数据组件版本(hadoop,spark,hbase,phoenix)等

Ambari 中安装ElasticSearch插件

阿狸的博客

01-10

2849

1.说明： Elasticsearch-Yarn插件地址： https://oss.sonatype.org/content/repositories/snapshots/org/elasticsearch/elasticsearch-yarn/ Elasticsearch下载地址： https://download.elastic.co/elasticsearch/elasticsear

CentOS7.4+HDP+Ambari+consul+Elasticsearch安装部署文档.rar

07-12

CentOS7.4+HDP+Ambari+consul+Elasticsearch 安装部署文档

大数据Ambari之flume集成编译好的源码包

05-02

这是已经编译好的flume包，可以直接用于集成在Ambari上

ambari 集成 Flume RPM 打包

Phoenix_fly_Kfc的博客

08-01

2692

ambari 集成 Flume RPM 打包最近有一个新的工作，因为公司服务器过多，为了保证flume安装版本位置配置一致并且安装方便决定使用PRM打包的方式来完成flume的安装配置工作：目录 ambari 集成 Flume RPM 打包目录 ambari 集成 flume RPM 打包 linux 环境原理 SPEC 规范写法最终生成的 flume.spec ...

Ambari2.7.X集成flume1.9

qq_36567420的博客

09-04

176

一定要把flume.repo复制到需要安装的子节点上，比如：要在hadoop01、hadoop02节点安装flume，则需要把flume.repo复制到以上两个节点。参考链接：https://blog.youkuaiyun.com/NDF923/article/details/123692025。注：该项目是py，先执行sh buildrpm.sh脚本，在添加相关的包。可以在这里填写配置，也可以不填，等安装完成再填写。到此，rpm包编译完成。

ambari2.7.1+hdp3.0.1集成Elasticsearch6.4.2

我的博客

07-05

2336

一、准备工作环境说明 ambari2.7.1+hdp3.0.1的集群环境提前安装好。本次安装es使用的集群共有3个节点： manager.node master.node worker.node 其中，elasticsearch master安装到manager.node管理节点，elasticsearch slave安装到所有安装。二、上传解压拷贝三、安装四、遇到问题 ...

Ambari2.7.3+hdp3.1 集成Elasticsearch6.4.2

AnIntellectual的博客

05-06

887

1.环境准备 1.1.环境说明 Ambari的集群环境是提前安装好的。本次安装es使用的集群共有四个节点:  node1.bde.unicloud.com  node2.bde.unicloud.com  node3.bde.unicloud.com  node4.bde.unicloud.com 2.所需安装包 2.1.elasticsearch-6.4.2.tar.gz 下载地址： ...

Ambari之flume集成配置及流程

不吃鱼的cat的博客

05-02

941

（HDP）Ambari之flume集成配置及流程查看压缩包中编译好的源码包 zkyrpm 一：将zkyrpm/ambari-flume-service 相对目录下的FLUME 复制到 ambari-server 主机的 /var/lib/ambari-server/resources/stacks/HDP/3.1/services/ 目录下并重启ambari-server: ambari-server restart 到此，ambari的web界面就能识别出来flume了。二：创建flume的本地yum

ambari集成安装 elasticsearch

weixin_42348946的博客

05-07

2441

ambari2.6.5 安装 elasticsearch6.3.2 ambari的hdp中原生不支持elasticsearch安装，下面介绍如何通过mpack方式使ambari支持elasticsearch安装： hdp2.3-2.6版本以外版本请看问题1 注意要先看/usr/bin下边是否有java和javac,没有就将自己安装的ln到/usr/bin下边 ln -s $JAVA_HOME/bi...

Ambari之ES安装

weixin_40619157的博客

08-02

879

Ambari安装Elasticsearch 更新进度 2019.08.02 安装准备部署环境 [注]：本次使用的ES版本为:Elasticsearch-2.1.2 虚拟机配置：本文档以开发及生成工作站安装的CentOS 7.4 64位操作系统(mini版本)作为基础进行集群软件部署，按4台服务器的规模进行部署描述。本平台基于CentOS 7.4 64位操作系统实施部署，其中主机名和I...

第十七讲：如何将服务一劳永逸的集成到ambari中，方便新环境部署，无需二次拷贝...

CREATE_17的博客

03-10

752

点击上方蓝色“大数据实战演练”，选择“设为星标”或“置顶”回复“资料”领取独家整理的学习资料！每一个成功人士的背后，必定曾经做出过勇敢而又孤独的决定。放弃不难，但坚持很酷~一、前言如何将服...

es 第三方安全性集成详解

03-28

<think>好的，用户现在问的是关于Elasticsearch的第三方安全性集成。我需要先回顾之前的对话，确保回答的一致性和连贯性。之前用户询问了静态加密的支持，现在转向了第三方安全集成，可能是在他们的系统安全架构中需要整合外部工具或服务。首先，用户可能是系统管理员或者开发人员，负责Elasticsearch集群的安全配置。他们可能已经了解了基础的加密措施，现在想进一步了解如何与第三方安全解决方案集成，比如单点登录、LDAP、KMS等。需要明确第三方集成的常见类型和具体配置方法。接下来，用户可能的需求包括如何将ES与现有的身份验证系统（如LDAP、AD）集成，如何管理密钥，或者如何实现审计和合规性。需要分门别类地介绍不同的第三方集成方式，例如身份验证、密钥管理、日志审计等。需要确保回答结构清晰，分点说明，每个部分有配置示例和注意事项。比如，在讲LDAP集成时，要给出yml配置的例子，同时提醒用户关于TLS加密和权限同步的问题。此外，用户可能关心不同ES版本的支持情况，比如企业版和社区版的区别，是否需要订阅。还要考虑用户可能遇到的常见问题，比如性能影响、配置错误导致的连接问题，以及如何验证集成是否成功。例如，在配置完LDAP后，如何通过API测试用户登录，或者如何检查密钥是否正确从Vault获取。另外，用户可能对安全合规有要求，比如GDPR、HIPAA，需要提到第三方集成如何帮助满足这些合规要求，比如使用Vault进行密钥管理符合审计要求，或者集成SIEM工具进行日志分析。最后，总结部分需要帮助用户根据自身情况选择合适方案，比如企业版用户可以直接用内置的Security功能，而社区版可能需要更多自定义或第三方工具。同时强调密钥管理和权限控制的重要性，确保整个集成过程的安全性。</think>--- Elasticsearch（ES）的第三方安全性集成是指通过外部工具或服务增强 ES 的安全能力，例如身份验证、权限管理、密钥存储、审计等。以下从**集成场景**、**典型方案**和**配置示例**进行详解： --- ### **1. 第三方安全性集成的核心场景** | **场景** | **需求描述** | |-------------------|----------------------------------------------------------------------------| | **身份认证** | 集成企业 LDAP、AD、OAuth2 等认证源，替代 ES 内置用户体系。 | | **密钥管理** | 使用外部 KMS（如 AWS KMS、Hashicorp Vault）管理加密密钥，避免本地存储风险。 | | **权限控制** | 结合外部 RBAC 系统（如 Keycloak）实现细粒度权限分配。 | | **审计与监控** | 将 ES 安全日志推送至 SIEM 工具（如 Splunk、ELK Stack自身）进行分析和告警。 | | **传输层加密** | 通过外部代理（如 Nginx）或服务网格（如 Istio）增强 TLS 加密和证书管理。 | --- ### **2. 典型集成方案详解** #### **2.1 身份认证集成（以 LDAP/AD 为例）** - **适用版本**： ES 企业版（需订阅）支持原生 LDAP/AD 集成；社区版可通过插件（如 Search Guard）实现。 - **配置步骤**： 1. **修改 `elasticsearch.yml`**： ```yaml xpack.security.authc.realms.ldap.ldap1: order: 0 url: "ldap://ldap.example.com:389" bind_dn: "cn=admin,dc=example,dc=com" bind_password: "password" user_search: base_dn: "ou=users,dc=example,dc=com" group_search: base_dn: "ou=groups,dc=example,dc=com" ``` 2. **映射 LDAP 组到 ES 角色**：在 `role_mapping.yml` 中定义权限映射： ```yaml monitor: - "cn=es-admins,ou=groups,dc=example,dc=com" ``` - **注意事项**： - 建议启用 TLS 加密 LDAP 通信（使用 `ldaps://` 或配置 `start_tls`）。 - 定期同步 LDAP 用户/组信息，避免权限滞后。 --- #### **2.2 密钥管理集成（以 Hashicorp Vault 为例）** - **场景**：将 ES 的加密密钥、SSL 证书等敏感信息存储在 Vault 中，动态获取而非硬编码。 - **实现方式**： 1. **配置 Vault 密钥引擎**： ```bash vault secrets enable transit vault write -f transit/keys/es_encryption_key ``` 2. **通过 ES 插件集成**：使用社区插件（如 `vault-elasticsearch`）或自定义脚本定期从 Vault 拉取密钥。 ```bash # 示例：从 Vault 获取密钥并写入 ES 密钥库 KEY=$(vault read -field=key transit/decrypt/es_encryption_key) ./bin/elasticsearch-keystore add xpack.security.encryption_key --stdin <<< "$KEY" ``` - **优势**： - 支持密钥自动轮换和吊销。 - 符合合规审计要求（如 PCI DSS）。 --- #### **2.3 权限控制集成（以 Keycloak 为例）** - **场景**：通过 Keycloak 统一管理 ES 角色权限，实现 OAuth2/OIDC 协议的单点登录（SSO）。 - **配置流程**： 1. **在 Keycloak 中创建 ES 客户端**： - 设置 Redirect URI 为 ES 的 Security 回调地址（如 `https://es-node:9200/_security/oidc/callback`）。 - 生成客户端密钥（Client Secret）。 2. **修改 ES 配置**： ```yaml xpack.security.authc.realms.oidc.oidc1: order: 1 rp.client_id: "elasticsearch" rp.response_type: "code" rp.client_secret: "your_client_secret" op.issuer: "https://keycloak.example.com/auth/realms/master" op.authorization_endpoint: "https://keycloak.example.com/auth/realms/master/protocol/openid-connect/auth" op.token_endpoint: "https://keycloak.example.com/auth/realms/master/protocol/openid-connect/token" op.userinfo_endpoint: "https://keycloak.example.com/auth/realms/master/protocol/openid-connect/userinfo" claims.principal: "preferred_username" ``` --- #### **2.4 审计日志集成（以 Splunk 为例）** - **场景**：将 ES 的安全审计事件（登录、权限变更等）实时推送至 Splunk 分析。 - **实现方法**： 1. **启用 ES 审计日志**： ```yaml xpack.security.audit.enabled: true xpack.security.audit.logfile.events.include: "access_denied,authentication_failed,security_config_change" ``` 2. **通过 Filebeat 收集日志并发送至 Splunk**： ```yaml # filebeat.yml 配置示例 filebeat.inputs: - type: log paths: - /var/log/elasticsearch/audit.log output.splunk: hosts: ["splunk.example.com:8088"] token: "splunk_http_event_collector_token" ``` --- ### **3. 关键注意事项** - **版本兼容性**： - 企业版功能（如 OIDC、LDAP）需订阅，社区版依赖插件或自定义开发。 - **性能影响**： - 频繁的远程认证请求可能增加延迟，建议缓存或批量处理。 - **安全加固**： - 所有通信必须使用 TLS 加密（如 LDAPS、HTTPS）。 - 限制第三方服务的访问权限（如 Vault 的细粒度策略）。 - **故障排查**： - 使用 `_security` API 测试集成状态： ```bash curl -XGET -u elastic:password "http://localhost:9200/_security/_authenticate?pretty" ``` --- ### **总结** ES 第三方安全性集成需根据实际需求选择工具： - **企业用户**：优先使用原生支持的 LDAP、OIDC、KMS 集成。 - **社区用户**：通过插件（如 Search Guard、OpenDistro）或自定义脚本扩展。 - **核心原则**：确保端到端加密，避免敏感信息泄露，定期审计集成系统的安全性。