- 博客(14)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 Doris、StarRocks 压测对比
1、在多表查询下，仅在一个场景下Doris速度逊于StarRocks ，大部分场景是Doris优于StarRocks的。2、在单表查询下，StarRocks 在部分场景下优于Doris，但是二次查询，二者不分伯仲。3、在cpu和内存的事使用上，doris会比starrocks多吃1.5倍的资源。使用doris-master\tools\ssb-tools下的压测脚本。4、本次测试，未调优二者的参数，开箱起服务，直接测试的，部署架构一致。创建表：./create-ssb-tables.sh。
2024-03-01 14:26:11
6029
4
翻译 Hadoop 应用
Hadoop Modules（Hadoop 模块）Hadoop Distributed File System (HDFS): A distributed file system that provides high-throughput access to application data. Hdfs：一种分布式文件系统，提供对应用程序数据的高吞吐量访问的分布式文件系统。 Hadoop YARN: A framework for job scheduling and cluster resourc
2021-03-14 23:03:19
527
1
原创 Hadoop 格式化format namenode 后，ambari端启动datanode节点无法正常启动处理
问题描述：hadoop namenode -format hdfs重新格式化之后，重新启动后，一直无法启动。在datanode上的报错日志如下，可以看出id不一致 2021-01-09 16:34:09,920 ERROR namenode.NameNode (NameNode.java:main(1759)) - Failed to start namenode. org.apache.hadoop.hdfs.server.common.IncorrectVersionExcep
2021-03-13 23:53:34
716
1
原创 DataNode因主机配置问题，ambari端启动异常
问题1： 2021-02-05 15:16:45,544 ERROR datanode.DataNode (DataNode.java:secureMain(2692)) - Exception in secureMain java.io.IOException: Login failure for dn/test9@XIAOKE.COM from keytab /etc/security/keytabs/dn.service.keytab: javax.security.auth.l..
2021-03-12 23:43:52
698
1
原创 Yarn 服务启动后，一段时间后停止，再起再停
项目场景： 最近在一套hadoop新集群的时候，搭完集群后，发现nodemanager不够用，遂添加了一个nodemanager节点，可是添加完之后，启动nodemanage后，一段时间又掉了。问题描述： 2019-04-03 16:51:06,517 INFO org.apache.hadoop.yarn.server.nodemanager.NodeManager: registered UNIX signal handlers for [TERM, HUP...
2021-03-12 23:16:45
1446
原创 Hadoop 3.x安装部署详细手顺
一、准备工作 Ambari、HDP版本介绍 Ambari 2.7.3仅支持HDP-3.1.0，HDP-3.0.1，HDP-3.0.0使用以下URL确定对每个产品版本的支持https://supportmatrix.hortonworks.com/，以及下载报告 工具包下载 ambari-2.7.3.0：http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari-2.7.3.0-c
2021-03-09 23:59:04
3211
6
原创 Hadoop Web控制台添加身份验证
我们在安装完hadoop 2.x 版本之后，默认情况下，可以通过 http://ip:50070/dfshealth.html访问hdfs页面，查看namenode和datanode状态，以及hdfs的相关文件等。但是这存在安全隐患，可能导致我们的文件信息的泄露，如果我们在页面里面添加个认证机制，只有验证之后的用户才可以进入页面里操作。下面介绍一个既安全又好用的配置方案。既然这是一个web界面，那就可以从为web项目添加用户校验入手，而不是为hadoop提供用户校验入手。1、...
2021-03-08 00:25:23
5836
19
原创 Hbase跨集群数据同步验证
环境信息 集群 主机名称 IP地址 HDFS HBASE zookeeper kerberos A集群 pthadoop01.dcs.com 192.168.98.37 namenode journalnode datanode hmster...
2021-03-08 00:10:17
4076
4
原创 Hbase读写缓存优化
我们在hbase使用过程，经常遇到hbase慢问题，我们在生产中也是遇到这个，尤其是大量业务袭来的时候，数据量一上来，hbase读写慢问题非常明显。很多时候，是通过日志和监控观察某个节点压力大，重启对应的region server，这样可以短时解决hbase慢过程中region server服务夯死的问题，但是重启后，本地化率降低，查询还是变慢，出现了夯死、重启、本地化率低的死循环。于是我们分析hbase读写缓存情况，发现有可以改善的地方。首先我们调整了datanode的jvm， ...
2021-03-06 23:49:20
1178
1
原创 Hadoop的资源隔离
Hadoop的资源隔离背景 最近在接入oss域的hadoop集群中发现，当接入的集群的用户较多跑MR相关的spark、hive等服务时，如果不做资源的管理与规划，那么整个Yarn的资源很容易被某一个用户提交的Application占满，其它任务只能等待，这种当然很不合理，我们希望每个业务都有属于自己的特定资源来运行MapReduce任务，这里我们通过Hadoop中提供的公...
2021-03-06 23:31:33
946
3
原创 Hbase表跨集群迁移手册
Hbase表跨集群迁移手册将旧集群的namespaceA下的表移到新集群的namespaceB下面1、检查新、旧集群的hdfs、hbase是否正常（1）使用命令：hbase hbck #查看hbasemeta表情况，确认0个，说明hdfs中的数据和hbase表中的meta表是对应的。（2）使用hdfs dfsadmin –report查看集群中的hdfs是否有block异常查看无异常以后，继续前进。。。2、将旧集群文件数据复制至新集群（1）前面确认好两...
2021-02-25 16:21:33
621
1
hbase-hbck2-1.2.0，支持hbase[2.0.3, 2.0.5,2.1.1, 2.2.0, 3.0.0]版本
2022-11-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人