hadoop
文章平均质量分 50
hadoop部署使用运维
人生匆匆
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
docker部署datahub
快速安装,有网环境用,但是我没有用。原创 2024-08-08 15:27:52 · 978 阅读 · 1 评论 -
部署Hadoop 3.4.0+ZooKeeper3.8.4
节点名字 节点IP 系统版本1 下载组件。转载 2024-08-05 17:13:47 · 1301 阅读 · 0 评论 -
com.amazonaws.SdkClientException: Unable to load AWS credentials from environment variables
正确答案,但是我最终通过将这个属性添加到hive-site.xml中使它工作起来。原创 2024-08-02 16:58:54 · 899 阅读 · 0 评论 -
HBase无法给用户赋权的解决方案
安装过程中hbase并没有任何特殊设置,只要在hdfs上创建一个/hbase目录,启动hbase master就会自动创建需要的文件。2.以开始以为语法有错误,不会啊,很简单的语法。经过测试几个命令发现,但凡和权限相关的命令,都失败了。之后删除zookeeper的hbase信息,和hdfs的hbase目录,重启hbase就好了。百度到一些建议,需要检查参数,在确认下面几个参数都设置正确的情况下,问题依旧。4.下面这句话,提醒了我,是不是hbase:acl丢失了?建表之后,在赋权的时候,发现有错误。原创 2024-05-14 15:57:51 · 672 阅读 · 0 评论 -
Hive 数据迁移与备份
同时迁移表及其数据(使用import和export)HDFS 集群连通时使用 DiskCP 进行拷贝。一、Export、Import。HDFS 集群不连通。上传到目标 HDFS。目标集群和服务器检查。原创 2024-03-19 15:45:50 · 1756 阅读 · 0 评论 -
HBase导出建表语句
在HBase中,数据以表的形式存储,每个表由行和列组成。本文将介绍如何使用HBase导出建表语句,并提供相应的代码示例。该命令可以获取表的描述信息,包括表的名称、列族的名称等。在该语句中,'table_name’是表的名称,'column_family_name’是列族的名称。可以在建表语句中指定多个列族,每个列族由大括号括起来。在HBase中,建表语句用于创建表和指定表的列族。执行上述命令后,HBase将打印出表的描述信息,其中包含了建表语句。可以将这些信息复制到文本文件中,作为建表语句的备份和文档。原创 2023-11-09 21:39:45 · 1881 阅读 · 0 评论 -
Ranger问题not using SSL the verifyServerCertificate property is set to ‘false‘. You need either
问题一 For compliance with existing applications not using SSL the verifyServerCertificate property is set to ‘false’. You need either to explicitly disable SSL by setting useSSL=false, or。2、在配置文件 my.ini 的 [mysqld] 配置,永久生效。1、在 MySQL 数据库中执行以下语句,临时生效,重启后失效。原创 2022-11-30 13:44:21 · 1614 阅读 · 0 评论 -
在Ambari上添加Kerberos
归作者所有:来自51CTO博客作者一语成谶灬的原创作品,请联系作者获取转载授权,否则将追究法律责任。#以上需要在服务端和客户端都配置,可以在服务端配置好以后使用scp拷贝。10、新增用户(add_principal USER)删除用户(delete_principal)三、 在Ambari上添加kerberos。4.在服务端安装krb5-server。在Ambari上添加Kerberos。1.创建kerberos数据库。4.启动服务和设置开机自启。1.开启Kerberos。1.下载jce并解压。转载 2022-11-01 16:51:26 · 1131 阅读 · 0 评论 -
CentOS部署集群版Presto
discovery-server.enabled: Presto使用Discovery服务去找到集群中的所有结点。这样可以简化部署, 不需要额外的服务,Presto的coordinator内置一个Discovery服务。也是使用HTTP端口。如果是Coordinator节点:注意 discovery.uri是指Coordinator节点的域名或者IP。http-server.http.port:指定HTTP端口。jmx.rmiregistry.port: 指定JMX RMI的注册。原创 2022-09-20 11:05:00 · 512 阅读 · 0 评论 -
HBase 使用HDFS底层文件来进行数据迁移
4、如果实在上传上去的文件属主属组又问题就用命令去更改hadoop的文件。3、把数据传到被恢复集群的HDFS上(需要切换hbase用户)根据region目录中的.regioninfo,生成meta表。上传的数据是没有 .regioninfo信息的,需要恢复。5、恢复HBase元数据( .regioninfo信息)上传数据前需要检查属主属组是否和HDFS上面一致。2、 把数据传到需要恢复数据的集群的hbase。1、下载原来的hbase集群的表数据。修复.regioninfo文件。原创 2022-09-19 17:20:15 · 1922 阅读 · 0 评论 -
CentOS部署单机Presto
node.environment=mediaforce#环境环境的名称。集群中的所有Presto节点必须具有相同的环境名称。node.data-dir=/data1/presto/prestoData#数据目录的位置。node.id=endemo-5#id此Presto安装的唯一标识符。原创 2022-07-18 14:22:04 · 903 阅读 · 0 评论 -
ambari SSLError: Failed to connect. Please check openssl library versions.
ambari常见报错转载 2022-06-23 17:49:54 · 662 阅读 · 0 评论 -
ambari运维问题记录
hadoop综合问题记录1、hdfs无法启动错误:2018-04-25 14:36:09,293 - Retrying after 10 seconds. Reason: Execution of '/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://master:8020 -safemode get | grep 'Safe mode is OFF'' returned 1. safemode: Call From m转载 2020-10-16 09:56:27 · 1307 阅读 · 0 评论 -
HDFS副本丢失修复方法 Target Replicas is 3 but found 1 live replica(s), 0 decommissioned replica(s),0 decommi
检查方法切换到hdfs用户su - hdfshdfs fsck /副本数量是3但只找到两个尝试修复丢失的副本命令说明:hdfs debug recoverLease -path 文件位置 -retries 重试次数hdfs debug recoverLease -path /hbase/oldWALs/node01%2C60020%2C1605600631429.meta.1605607974721.meta -retries 1也可以修改副本数量,建议谨慎使用(/apps指的是hd翻译 2021-11-09 18:44:42 · 2153 阅读 · 0 评论 -
HBase报错:No jar path specified for org.apache.phoenix.coprocessor.UngroupedAggregateRegionObserver
日志大概内容如下:2018-03-05 16:38:38,590 ERROR [RS_OPEN_PRIORITY_REGION-c2bde55:16020-1] coprocessor.CoprocessorHost: The coprocessor org.apache.phoenix.coprocessor.MetaDataEndpointImpl threw java.io.IOException: No jar path specified for org.apache.phoenix.copro原创 2021-08-31 13:12:15 · 863 阅读 · 0 评论 -
spark on yarn实战 +HA
1 启用namenode HA选择hdfs-service actions-enable namenode HA, 提前关闭hbase,nameservice ID:BFDcluster;如图所示:2 选择主机3 开始启动4 在namenode创建checkpoint登录到namenode主机,将namenode切换到安全模式,并创建checkpoint,如图:5 配置组件并且初始化journalnodes6 启动组件并初始化元数据7 完成HA配置8 YARN原创 2021-08-05 16:47:19 · 494 阅读 · 0 评论 -
ambari部署
1.环境信息CentOS6.510.0.0.41node1mysql, ambari serverCentOS6.510.0.0.42node2CentOS6.510.0.0.43node32.创建ambari用户并初始化密码2.1创建用户[root@node1 ~]# for i in {41..43}; do ssh 10.0.0.$i "groupadd ambari && useradd -g ambari -d /home/am原创 2021-08-04 18:02:44 · 382 阅读 · 0 评论 -
Ambari之扩充Ambari节点
1、关闭防护墙systemctl stop firewalld.servicesystemctl disable firewalld.service2、配置主机名,并运行hostname生效vi /etc/hostname3、修改主机名与IP的映射,所有节点都必须加进来vi /etc/hosts4、配置免密码登录,略5、安装JDK,略6、开启NTP服务yum install ntpsystemctl is-enabled ntpdsystemctl enable ntpdsy转载 2021-08-03 18:10:58 · 913 阅读 · 0 评论 -
Error executing bootstrap Cannot create /var/run/ambari-server/bootstrap
前言本文总结在使用ambari时产生的异常,以及如何解决的。如果发生了异常,在界面上不能直观的看出异常的原因,那么我一般通过查看日志的方法解决。通过下面的命令查看vim /var/log/ambari-server/ambari-server.log若该日志文件没有异常信息,可在其他日志文件里查找1、异常一异常发生在add host并confirm host的时候,会卡住不动,然后看日志会发现异常信息:Error executing bootstrap Cannot create /var转载 2021-08-02 16:34:27 · 746 阅读 · 0 评论 -
SSLError: Failed to connect. Please check openssl library versions.
SSLError: Failed to connect. Please check openssl library versions.错误描述: 在查看agent的日志时,发现报错 SSLError: Failed to connect. Please check openssl library versions.解决方法: 1.查看openssl版本:openssl version 如果低于 openssl-1.0.1e-16.el6.x86_64 版本,则需要更新到 openss原创 2021-08-02 16:14:31 · 1120 阅读 · 1 评论 -
ambari安装部署HDP集群
4.1.1 访问ambari界面执行成功后,浏览器访问[ambari_server_ip]:8080账户:admin密码:admin4.1.2 开始安装hdp4.1.3 创建集群Create a Cluster–Get Started–Name your cluster:BFD_test–Next,详见下图:4.1.4 选择HDP版本Select Version–HDP-2.6.1.0–Use Local Repository–redhat7 详见下图:添加所需路径为 /etc原创 2021-08-02 15:28:12 · 627 阅读 · 0 评论 -
zookeeper报错:Unable to start failover controller. Parent znode does not exist. Run with -formatZK fla
报错原因:我在做phoenix upsert 操作时,误操作,删除了来源表hbase的底层hdfs的数据,导致正在执行的phoenix任务挂掉,整个集群挂掉(由于hdfs的挂掉,导致的集群挂掉),如图,我已解决:这里Failover Controller挂掉,看日志,发现是zookeeper一直无法正常启动,报错如下:解决:格式化zookeeperhdfs zkfc -formatZK分析:由于误删除了底层文件,导致正在被操作的hbase表发生变化,但是zookeeper已经记录了一部分元数据,转载 2020-12-15 13:12:31 · 1287 阅读 · 0 评论 -
ambari之api安装组件
Ambari Blueprints 是用来自动化安装hdp组件的配置文件,它告诉ambari:要安装什么service/component,安装在哪里。导出蓝图curl -H "X-Requested-By:ambari" --user admin:admin -X GET http://localhost:8080/api/v1/clusters/BFD_test?format=blueprint > export_blueprint.jsonBFD_test导出的集群下面就是这个配置文原创 2020-07-23 18:29:43 · 1114 阅读 · 0 评论
分享