Apache atlas安装踩坑记

最新推荐文章于 2024-08-07 09:11:05 发布
原创 最新推荐文章于 2024-08-07 09:11:05 发布 · 397 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#apache #elasticsearch #solr

这篇博客记录了在安装Apache Atlas 2.2.0过程中遇到的挑战，包括编译时依赖包下载困难、sqoop版本升级至1.4.7、Hbase配置需求以及启动时Solr与Elasticsearch的选择。博主提醒，未指定搜索引擎会导致Solr默认加载到JanusGraph，每次启动都会覆盖配置，需要预先修改atlas-application。此外，开启atlas-log4j.xml的debug模式有助于排查错误。最后，不同版本的JanusGraph可能需要匹配特定的Elasticsearch版本。

Apache atlas安装踩坑记

安装版本：atlas 2.2.0。

从github下载下来后，编译过程中各种包无法下载
sqoop 包升级到1.4.7，默认是1.6.xxx

需要设置hbase 根目录，首次启动前先确定自己是使用solr还是Elasticsearch，通过修改atlas-application中的配置，如果没有进行修改，启动后，系统会讲solr默认加载到JanusGraph全局变量GLOBAL_OFFLINE中，之后每次启动都会覆盖application配置文件中的变量，导致需要重启Hbase

conf下的atlas-log4j.xml非常有用，打开debug后，很多错误信息都可以直接定位了，默认是info和warn的，少量的debug

JanusGraph不同的版本会对应不同的Elasticsearch版本
在这里插入图片描述

hoho_java
关注
Apache Atlas精讲：由浅入深，从概念，原理，使用，到自定义数据模型，生成血缘关系，带你玩转Atlas
m0_54252387的博客
07-08 708
Apache Atlas 是托管于 Apache 旗下的一款元数据管理和治理的产品，目前在大数据领域应用颇为广泛，可以很好的帮助企业管理数据资产，并对这些资产进行分类和治理，为数据分析，数据治理提供高质量的元数据信息。随着企业业务量的逐渐膨胀，数据日益增多，不同业务线的数据可能在多种类型的数据库中存储，最终汇集到企业的数据仓库中进行整合分析，这个时候如果想要追踪数据来源，理清数据之间的关系将会是一件异常头疼的事情，倘若某个环节出了问题，追溯的成本将是巨大的，于是 Atlas 在这种背景下应运而生了，通过它，
AI驱动人才管理系统落地踩坑记：架构师遇到的10个致命问题及解决
最新发布
AI智能探索者的博客
09-01 648
需求调研的3个关键问题你当前的流程是什么？（What）流程中的痛点是什么？（Pain）解决这些痛点能带来什么价值？（Value）用“流程画布”工具：将流程可视化，标注痛点位置，让技术团队和HR达成共识。数据平台是AI-HR系统的基础：必须先整合数据，再做模型；选择合适的工具：实时数据用Flink，批量数据用Spark，结构化数据用Doris，全文检索用Elasticsearch；元数据管理：明确数据的owner（如HR负责职位数据，IT负责简历数据），确保数据的准确性。
【亲测免费】 Apache Atlas 安装与使用指南
gitblog_00913的博客
08-07 759
Apache Atlas 是一个用于数据治理的平台, 支持元数据管理、分类以及数据生命周期管理等功能. 下面是 `https://github.com/apache/atlas.git` 克隆下来的仓库主要目录说明: - **bin**: 包含了运行和停止 Atlas 的脚本. - **conf**: 包含了配置文件, 如 `atlas-application.properties`, `atl...
Apache Atlas的部署
Sen的博客
07-01 1766
Apache Atlas 的部署 个人公众号 编译atlas 你可以下载官方给出的稳定2.0 的稳定版，也可以clone最新的项目编译，本文以clone最新的项目编译为例： git clone https://github.com/apache/atlas.git cd atlas #修改各组件版本和自己集群的各组件版本一致 vim pom.xml export MAVEN_OPTS="-Xms2g -Xmx4g" #该方式编译不会内嵌HBase和Solr（使用外部HBase和Solr） mvn clea
Apache Atlas: 数据治理和元数据管理平台
gitblog_01086的博客
08-07 1276
Apache Atlas 是一个高级的元数据管理和数据治理框架，它提供了企业级的数据发现、业务语义层定义、数据血缘分析等功能。其核心特性包括但不限于： - **元数据存储库**：用于存储和检索元数据。 - **实体生命周期管理**：支持创建、更新、删除和查询元数据实体。 - **类型系统**：定义实体的结构和关系，如表、列或字段等。 - **搜索和浏览功能**：提供强大的搜索引擎和浏览器来查找相...
在Windows和Mac上使用IntelliJ的Apache Atlas开发环境设置
u012398953的专栏
06-10 2954
介绍 本文列举了在Mac和Windows上使用IntelliJ设置Atlas开发环境所需的步骤。 此设置使用BerkeleyDB作为后端，并使用嵌入式Solr作为索引引擎。 与其他后端和索引引擎变体的设置类似，但将涉及其他设置。 先决条件 这些应该在您开始之前出现在您的机器上： 用于克隆存储库的Git。如果要在Mac和Windows之间切换，命令Git Shell非常有用。 Mave...
Apache Atlas 2.0 安装部署详解 Atlas自带Hbase/Solr部署 && 独立部署
青竹暖回阳的博客
06-29 9886
Apache Atlas 2.0 安装部署详解背景环境配置Atlas嵌入式Hbase与Solr的部署方式1、下载源码并编译2、Atlas 启动Atlas独立部署1、Atlas独立编译2、Kafka，Zookeeper安装3、Hadoop安装3.1、解压3.2 、查看本机hostname3.3、修改 hadoop-env.sh 配置文件3.4、修改 core-site.xml 配置文件3.5、修改 hdfs-site.xml 配置文件3.6、复制 mapred-site.xml 文件并修改3.7、修改 yar
Apache Atlas 编译及安装记录
快乐星球
12-29 2244
1、环境准备 atlas现在是市场很受欢迎的数据管理工具，但是atlas的下载完是一个源码的项目，无法直接使用，所以要对源码进行编译(就是由源程序到目标程序的过程内含代码生成、代码集成、语法分析、词法分析、依赖下载)后才能安装使用。 linux 但是编译过程中要通过网络下载相应的依赖包，所以内网环境下的服务器暂时用不了，所以我采用的是腾讯云的云服务器。 JDK 8安装 下载地址 https://www.oracle.com/java/technologies/downloads/#java8 下载：
Apache Atlas 1.2.0编译包：简化大数据元数据管理
- **踩坑经验**：由于Atlas的配置和部署过程可能比较复杂，文档说明未必详尽，因此很多实践者在部署和使用过程中会遇到各种问题。文件描述中提到的“踩过好多坑”，可能指的是在配置和集成过程中遇到的典型问题及其...
Atlas 导入hive元数据踩坑(一)
wzj_wp的博客
09-08 1582
[wzj@hadoop001 hook-bin]$ ./import-hive.sh Using Hive configuration directory [/home/wzj/app/hive/conf] Log file for import is /home/wzj/app/apache-atlas-sources-1.1.0/distro/apache-atlas-1.1.0/logs/import-hive.log log4j:WARN No such property [maxFileSize
大数据 数据治理 数据血缘组件之—Atlas1.2 集成solr5.5.1 踩坑之旅
HouJoe的博客
02-03 1047
Atlas1.2 集成solr 踩坑之旅 1.修改配置文件 vim atlas-application.properties #修改如下配置 atlas.graph.index.search.solr.zookeeper-url=hadoop102:2181,hadoop103:2181,hadoop104:2181 进入 solr/bin 目录，修改 solr.in.sh 文件 [atguigu@hadoop102 solr]$ vim bin/solr.in.sh #添加下列指令 ZK_...
Apache atlas 元数据管理治理平台使用和架构
白鸽
10-12 6673
Apache Atlas 是托管于 Apache 旗下的一款元数据管理和治理的产品，目前在大数据领域应用颇为广泛，可以很好的帮助企业管理数据资产，并对这些资产进行分类和治理，为数据分析，数据治理提供高质量的元数据信息。随着企业业务量的逐渐膨胀，数据日益增多，不同业务线的数据可能在多种类型的数据库中存储，最终汇集到企业的数据仓库中进行整合分析，这个时候如果想要追踪数据来源，理清数据之间的关系将会是一件异常头疼的事情，倘若某个环节出了问题，追溯的成本将是巨大的，于是 Atlas 在这种背景下应运而生了，通过它，
linux部署apache atlas 及 本地开发环境部署apache atlas
u012925673的博客
07-22 3127
1.背景： 为搭建元数据管理系统，选用apache atlas进行二次开发。 2.安装步骤： 官方安装手册：http://atlas.apache.org/2.0.0/InstallationSteps.html 2.1 单机版 注：安装环境：centos 1)下载安装包 下载地址：http://atlas.apache.org/#/Downloads 2)解压打包 tar xvfz apache-atlas-2.0.0-sources.tar.gz cd apache-a
Apache Atlas技术实践V1.0
super_chenzhou
08-14 2169
Apache Atlas技术实践
java中apache安装与配置_如何安装和配置Apache Atlas的最小系统？
weixin_34740753的博客
02-26 217
我是学生，这些问题让我感到沮丧数周，请帮助我 .根据某个社区的开发人员的说法，运行Atlas需要Hive，即Atlas的最小系统必须由Atlas，Hive，Hadoop和MySQL等RDBMS组成 .我也做了很多研究，并阅读了https://github.com/shivajid/atlas上的教程 . 但本教程基于HDP，我的老师要求我自己配置最小系统 .我模仿了上面提到的shivajid / ...
CDH6.3 从0-1搭建部署Apache Atlas2.0 windows hive 元数据治理
weixin_45506408的博客
06-13 2610
这里写自定义目录标题1.编译Atlas源码包：1.1 环境准备：1.1.1 win101.1.2 jdk1.81.1.3 maven 3.6.0 或 以上 （ps:必须使用3.6.0以上版本，我用的是3.6.3） 1.编译Atlas源码包： 1.1 环境准备： 1.1.1 win10 1.1.2 jdk1.8 1.1.3 maven 3.6.0 或 以上 （ps:必须使用3.6.0以上版本，我用的是3.6.3） 1. 下载 解压 安装 （下载地址：http://maven.apache.org/downlo
Apache Atlas源码编译以及本地调试环境搭建
Milkcoffeezhu的博客
06-29 2748
一、Apache Atlas源码的编码 内置HBase、solr git把Atlas的源码拉下来，使用git clone https://github.com/apache/atlas.git 假如是为了本地测试我们可以直接编译内嵌HBase solr的atlas。在执行mvn clean -DskipTests package -Pdist,embedded-hbase-solr之前需要首先修改打包的pom文件不然有的包下载不下来。将Atlas源码中distro中的pom文件修改如下将hbase.tar
APACHE-ATLAS-2.1.0 - 【编译打包】使用IDEA在WINDOWS下编译打包APACHE-ATLAS-2.1.0
记录并分享
06-17 827
使用IDEA在WINDOWS下编译打包APACHE-ATLAS-2.1.0。
基于CDH6.2.0的Atlas-2.1.0安装部署避坑指南
任培培的博客
05-30 1841
最近有数据治理的需求，在研究apache Atlas时，发现atlas安装时依赖众多，不小心就会踩坑，真可谓是使用只需二分钟，安装却要两小时！现在把安装过程以及中间可能遇到的坑总结一下。 目录 一、编译 1.1 下载源码 1.2修改pom文件中对应软件的版本 1.3修改源码 1.4编译源码 二、安装 2.1修改配置文件 atlas-application.properties 2.2 修改 atlas-env.sh 2.3 启动Atlas 三、集成Hive...
apache atlas安装
12-29
### Apache Atlas 安装教程 #### 准备工作 为了成功部署Apache Atlas，需先安装并配置一些必要的依赖组件。这些组件包括但不限于Hadoop、Hive、Zookeeper、Kafka、HBase以及Solr[^2]。 #### 下载与解压软件包 前往官方项目地址下载最新版本的Apache Atlas压缩文件，并将其放置到服务器上的合适位置。使用如下命令完成解压操作： ```bash tar -zxvf apache-atlas-2.1.0-server.tar.gz -C /opt/module/ ``` 此过程会创建一个新的目录来存储Atlas的相关文件和资源[^4]。 #### 配置环境变量 进入解压后的目录路径`cd /apache_atlas/atlas/distro/target/apache-atlas-1.0.0-SNAPSHOT-bin/apache-atlas-1.0.0-SNAPSHOT`，根据实际情况调整版本号以匹配所使用的具体发行版。在此基础上设置相应的环境变量以便后续启动服务时能够正常识别各个模块的位置[^3]。 #### 启动服务 确保所有前置条件均已满足之后，可以按照官方文档中的指导逐步执行初始化脚本和服务启停指令。通常情况下，在完成上述准备工作后，只需遵循指南内给出的具体说明即可顺利开启Atlas实例运行状态。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值