明星it-优快云博客

原创 python通过thrift操作hbase

1、安装thrift下载thrift：wget http://mirror.bit.edu.cn/apache/thrift/0.10.0/thrift-0.10.0.tar.gztar zvxf thrift-0.10.0.tar.gzcd thrift-0.10.0/./configuresudo make && make install注：如果报g++: error: /usr/lib64/libboost_unit_test_framework.a: No s

2021-08-05 14:47:20 932

转载 CountDownLatch的理解和使用

在笔者想要了解Thrift时候，找到一个博主写的系统间通信技术的架构设计，在了解和学习的过程中遇到很多小问题和基础知识，自己还是不够清楚，就查询和总结下。因为笔者也都是从网上找的一些资料，好的资料笔者都是自己收敲一遍，这样觉得能够加深下印象，引发更多的思考，毕竟很多时候笔者感觉自己都是七秒的记忆。在第一篇文章中遇到了一个CountDownLatch同步计数器，当计数器数值减为0时，所有受其影响而等待的线程将会被激活，这样保证模拟并发请求的真实性。CountDownLatch概念CountDo

2021-05-14 14:41:43 347

原创记录ResourceManager选主失败的一次case

前段时间在clouderamanager管理集群的时候，需要重启集群，但是重启集群后发现两个ResourceManager都处于备用状态，也就是没有选出主RM

2021-01-29 17:33:32 879 1

原创 centos7添加系统服务项

centos7和centos6对于添加系统服务项步骤已经完全不同，在centos6中通过添加/etc/init.d/service来添加系统服务项，但是centos7中却不是，以下以添加mysql系统服务项为例说明：一、centos7与centos6相比有什么不同：　　1　　在centos7中服务不在是用service这个命令来启动与停止，也不再用chkconfig来设置开机启动与否！　　在centos7中所有对服务的管理都集中到了systemctl当中；sy...

2020-06-29 15:35:54 1645

原创 mysql重置root密码

经常会有朋友或者同事问起，MySQL 的 root 密码忘了，不知道改怎么办。其实解决方法很简单，下面是详细的操作步骤。（1）修改配置文件my.cnf，在配置文件[mysqld]下添加skip-grant-tables，重启MySQL服务即可免密码登录　　其中--skip-grant-tables 选项前面曾经介绍过，意思是启动 MySQL 服务的时候跳过权限表认证。启动后，连接到 MySQL 的 root 将不需要口令。# SERVER SECTION# ---------.

2020-06-29 15:30:39 529

原创 hdfs的acl权限控制

ACL(Access Control Lists，访问控制列表)，Hadoop中的acl与unix中的acl机制（posix模型）基本相同，可以为文件或目录提供更精细化的权限访问控制。对于每个文件或目录而言，权限管理分为3个不同的用户类：owner，group和others。每个用户类有3种不同的访问权限：read，write，execute。当一个用户试图访问一个文件系统对象时，hdfs会根据该用户所对应的权限进行验证：如果该用户是其所有者（owner），那么hdfs将检查owner类权限；如果.

2020-06-10 15:30:14 1263 1

转载 jdk常用并发包

一、Fork/JoinJava7提供了Fork/Join用于并行执行任务的框架，可以把一个大任务分割成若干个小任务，最终汇总每个小任务结果后得到大任务结果的框架。如果一个应用能被分解成多个子任务，并且组合多个子任务的结果就能够获得最终的答案，那么这个应用就适合用 Fork/Join 模式来解决，对开发来说也不再需要处理各种并行相关事务，例如同步、通信、死锁等问题，需要做的就是拆分任务...

2020-03-31 10:18:08 542

原创 hdfs数据块丢失处理

查看修复HDFS中丢失的块检测缺失块1 hdfs fsck -list-corruptfileblocks1 hdfs fsck / | egrep -v '^\.+$' | grep -v eplica查看上面某一个文件的情况1 hdfs fsck /path/to/corrupt/file -locations -blocks -files解决方法如果文件不重...

2020-03-30 11:09:52 1380

转载分布式系统理论之Quorum机制

一，Quorum机制介绍在分布式系统中有个CAP理论，对于P（分区容忍性）而言，是实际存在从而无法避免的。因为，分布系统中的处理不是在本机，而是网络中的许多机器相互通信，故网络分区、网络通信故障问题无法避免。因此，只能尽量地在C 和 A 之间寻求平衡。对于数据存储而言，为了提高可用性（Availability），采用了副本备份，比如对于HDFS，默认每块数据存三份。某数据块所在的机器宕机了，...

2020-02-21 15:15:06 1212

原创 kafka中zookeeper的作用

Kafka使用zk的分布式协调服务，将生产者，消费者，消息储存（broker，用于存储信息，消息读写等）结合在一起。同时借助zk，kafka能够将生产者，消费者和broker在内的所有组件在无状态的条件下建立起生产者和消费者的订阅关系，实现生产者的负载均衡。1. broker在zk中注册kafka的每个broker（相当于一个节点，相当于一个机器）在启动时，都会在zk中注册，告诉zk其br...

2019-12-05 17:35:05 1486

转载 kafka的groupid

设置消费者properties的两个参数consumer.group.idproperties.setProperty("auto.offset.reset", "earliest”) // latest注意：只要不更改group.id，每次重新消费kafka，都是从上次消费结束的地方继续开始，不论"auto.offset.reset”属性设置的是什么场景一：Kafka上...

2019-12-05 16:48:26 38016 3

转载 Kafka分区与消费者个数之间的关系

1. 前言我们知道，生产者发送消息到主题，消费者订阅主题（以消费者组的名义订阅），而主题下是分区，消息是存储在分区中的，所以事实上生产者发送消息到分区，消费者则从分区读取消息，那么，这里问题来了，生产者将消息投递到哪个分区？消费者组中的消费者实例之间是怎么分配分区的呢？接下来，就围绕着这两个问题一探究竟。2. 主题的分区数设置在server.properties配置文件中可以指定一...

2019-12-05 16:41:51 8458 1

转载 ssh连接远程主机执行脚本的环境变量问题

近日在使用ssh命令ssh user@remote ~/myscript.sh登陆到远程机器remote上执行脚本时，遇到一个奇怪的问题：~/myscript.sh: line n: app: command not foundapp是一个新安装的程序，安装路径明明已通过/etc/profile配置文件加到环境变量中，但这里为何会找不到？如果直接登陆机器remote并执行~/myscript....

2019-01-04 15:59:05 857

转载 sbt介绍与构建Scala项目

一、sbt简介 sbt是类似ANT、MAVEN的构建工具，全称为Simple build tool，是Scala事实上的标准构建工具。主要特性：原生支持编译Scala代码和与诸多Scala测试框架进行交互；使用Scala编写的DSL（领域特定语言）构建描述使用Ivy作为库管理工具持续编译、测试和部署整合scala解释器快速迭代和调试支持Java与Sc...

2018-08-14 14:49:43 4660

转载 mongo和hive集成

1.背景公司希望使用MongoDB作为后端业务数据库，使用Hadoop平台作为数据平台。最开始是先把数据从MongoDB导出来，然后传到HDFS，然后用Hive/MR处理。我感觉这也太麻烦了，现在不可能没有人想到这个问题，于是就搜了一下，结果真找到一个MongoDB Connector for Hadoop2.MongoDB简介–摘自邹贵金的《mongodb》一书NoSQL数据库与传统...

2018-07-31 10:58:30 2340 1

转载一个著名的调度系统是怎么设计的？

实习生张大胖这是个代码写得很烂的电商系统，只要运行一段时间，服务器就会出现Out Of Memory。别人都忙得四脚朝天，于是实习生张大胖被抓了壮丁去研究为什么会出现OOM。刚入行的张大胖技术水平一般，“装模作样”地看代码，研究日志，请教老员工，一个星期过去了，还是一无所获。周一例行的项目会议上，大家似乎要看张大胖的笑话了，没想到他却提了一个歪招：“这个O...

2018-07-20 12:19:56 349

转载 sqoop无法导出parquet文件到mysql

1.问题描述在CDH集群中我们需要将Hive表的数据导入到RDBMS数据库中，使用Sqoop工具可以方便的将Hive表数据抽取到RDBMS数据库中，在使用Sqoop抽取Hive Parquet表时作业执行异常。Sqoop抽数脚本：sqoop export \--connect jdbc:mysql://localhost:3306/test_db \--username root \--passw...

2018-06-08 14:56:59 5105