随笔
日常随笔,记录各种问题
IT贫道
10余年大数据架构行业工作经验,多年线下和线上大数据教学经验,专注于大数据技术分享。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Window10 没有 bthserv服务 或者 没有 “蓝牙支持服务”
部分Windows系统存在bthserv服务丢失导致蓝牙开启后搜索不到设备的现象, 可通过导入bthserv服务注册表文件,重启系统后打开蓝牙相关服务(BTAGService、BluetoothUserService_随机数、bthserv)后解决,此文件在Win10环境亲测可用。退出电脑所有安全杀毒软件,下载解压后,直接双击运行即可。原创 2024-10-20 20:32:41 · 1398 阅读 · 0 评论 -
Elasticsearch 集群分片出现 unassigned 其中一种原因详细还原
🏡🚩 私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。最近公司ES集群一些节点挂掉,致使一些索引的分片一直是unassigned状态,导致ES集群状态为RED,等待许久也不见好转,非常影响集群UI观感。想想什么原因,解决解决。先复原一波 ES集群中出现 分片 unassigned 的现象。如上图所示,0号主分片和0号副本分片所在的节点分别为es3、es5、es6节点,将对应这些节点上的es进程进行kill略微一等,发现test索引的2号分片会自动在es集群中自动均衡分布。原创 2023-11-02 07:00:00 · 2607 阅读 · 1 评论 -
Linux 脚本周期性监控进程是否存在,不存在就启动
以监控节点上的“Elasticsearch”进程为例,下面的脚本实现了周期性监控该进程是否存在,不存在就执行对应命令启动进程功能。原创 2023-11-01 13:59:08 · 1203 阅读 · 0 评论 -
Doris中tablet节点分布不均匀问题
分区均衡的主要思想是,将每个分区的在各个 Backend 上的 replica 数量差(即 partition skew),减少到最小。为了尽量少的迁移次数,分区均衡使用二维贪心的策略,优先均衡partition skew最大的分区,均衡分区时会尽量选择,可以使整个 cluster 的在各个 Backend 上的 replica 数量差(即 cluster skew/total skew)减少的方向。负载均衡的主要思想是,对某些分片,先在低负载的节点上创建一个副本,然后再删除这些分片在高负载节点上的副本。原创 2023-10-31 11:32:41 · 1080 阅读 · 0 评论 -
扑克牌对弈编程考试试题
4个人甲乙丙丁在一起玩一副扑克纸牌,每张纸牌按照数字计分,不同花色的相同数字的纸牌分值一样。其中1-10各种花色的纸牌分别为1-10,J、Q、K分别被记为11,12,13,大王和小王分别记为20。四种花色(方片,梅花、红桃、黑桃)分别被记为A、B、C、D。如红桃K表示为13C,分值为13;方片5表示为5A,分值为5。大王表示为20K,分值为20小王表示为20Q,分值为20。54张纸牌叠在一起倒扣在桌子上。游戏过程如下:1) 洗牌: 54张纸牌随机顺序组合。原创 2023-08-31 07:15:00 · 1568 阅读 · 0 评论 -
Hive结果赋值给变量携带WARN信息问题
在大数据开发中,会有使用命令“hive - e sql”将对应的查询结果赋值给变量的情况,如果使用hive3.x版本执行 “hive -e sql”命令将结果赋值给变量时,由于“hive -e”会有WARN信息输出,会把所有信息都赋值给了变量。以上WARN警告信息单独配置Hive日志并不能去除,可能由于由日志文件,系统日志,或者其他日志记录机制打印输出。在hive客户端目录$HIVE_HOME/conf/中创建log4j.properties,内容如下,配置这个的目的是保证结果中没有hive相关日志输出。原创 2023-08-04 13:09:17 · 486 阅读 · 0 评论 -
【免费】各种hadoop版本对应的hadoop.dll和winutils.exe
各种hadoop版本对应的hadoop.dll和winutils.exe,兄弟们拿去这个资料随便用。原创 2021-12-24 11:06:23 · 16151 阅读 · 22 评论 -
Centos6 yum源失效问题,亲测可用
2.在 /etc/yum.repos.d目录下创建CentOS-Base.repo,写入如下内容。3.执行 yum clean all && yum makecache。1. 将 /etc/yum.repos.d/ 下所有内容备份。原创 2023-06-14 12:33:32 · 493 阅读 · 1 评论 -
Clickhouse VS Doris 导入-并发-查询对比
就单表来说,clickhouse导入性能比doris要好,因为单表clickhouse导入数据直接导入的是本地磁盘,对于分布式表,clickhouse和doris相比,clickhouse就没有本地表导入的优势,借助clickhouse进行数据排序,而doris 中有spark Load这种导入引擎,不占用doris集群进行数据导入,所以大量数据集导入,doris导入性能理论上比clickhouse要好(待测)。原创 2023-07-14 06:15:00 · 2013 阅读 · 0 评论
分享