安装datahub,2023-04

czyang5

已于 2023-05-03 09:57:24 修改

阅读量290

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

于 2023-04-13 17:24:05 首次发布

本文链接：https://blog.youkuaiyun.com/czyang5/article/details/130135605

本文详细介绍了如何在CentOS7上安装Python3.8和Python2，以及Docker1.41和docker-compose2.16。接着，指导了Datahub的安装和使用，包括启动和摄入元数据。此外，还提到了开放服务给同事的步骤，涉及防火墙设置和配置Datahub的前端绑定地址。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一：安装python和java

python装的3.8

centos7同时安装Python2和Python3_centos 安装python2_Bulut0907的博客-优快云博客

二：安装docker和docker-compose

1.docker

docker要装1.41的，compose要装2.16的

卸载

yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine

安装yum工具包和存储驱动

yum install -y yum-utils device-mapper-persistent-data lvm2

安装Docker的yum源

yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

sudo service docker start

usermod -aG docker root #重新登录

docker version

vim /etc/docker/daemon.json

systemctl daemon-reload

systemctl restart docker

2. docker-compose

迅雷下载https://github.com/docker/compose/releases/download/v2.16.0/docker-compose-linux-x86_64 -o /usr/local/lib/docker/cli-plugins/docker-compose

三：安装datahub

python3 -m pip install --upgrade pip wheel setuptools
python3 -m pip uninstall datahub acryl-datahub || true # sanity check - ok if it fails
python3 -m pip install --upgrade acryl-datahub
python3 -m datahub version

python3 -m datahub docker quickstart

四：使用

先关闭防火墙

sudo systemctl stop firewalld

摄入官方提供的测试用元数据

datahub docker ingest-sample-data

五：开放网址给同事

Xshell无法连接到虚拟机Linux系统（桥接方式） | IP

cd /root/.datahub/quickstart/

vim docker-compose.yml

在datahub-frontend-react部分，找到environment部分，然后添加以下行：

- DATAHUB_FRONTEND_BIND_HOST=0.0.0.0

重启

#docker-compose down && docker-compose up -d
#docker network inspect datahub_network --format '{{json .Containers}}' | jq '.[]|.Name'
#docker rm -f "schema-registry"

docker-compose down docker-compose up -d

重新加载元数据

cd /export/data

vim xx_to_datahub_rest.yml #修改IP
datahub ingest -c xx_to_datahub_rest.yml