笃志近思-优快云博客

原创 Kerberos HA高可用配置

Kerberos 高可用配置[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YmnKxnd2-1586329094906)(https://www.kerberos.org/images/krbmsg.gif)]Kerberos 安装(主节点操作)节点信息data80data81data82data83备注主Kerberos节点：data80...

2020-04-08 14:58:54 2116 2

原创 Requested data length 88431035 is longer than maximum configured RPC length 67108864.

HDFS DataNode RPC 异常Requested data length 88431035 is longer than maximum configured RPC length 67108864.异常信息2020-04-05 08:29:19,993 WARN org.apache.hadoop.ipc.Server: Requested data length 8843103...

2020-04-05 13:02:34 2319 2

转载软件架构原则

软件架构设计原则基本原则原则1： KISS (Keep it simple,sutpid) 和保持每件事情都尽可能的简单，用最简单的解决方案来解决问题。原则2： YAGNI（你不需要它）原则，只在需要时构建原则3：先学会爬，然后再学会走，最后学会跑。换句话说，先保证能够正常运行，然后优化它使其更好，最后逐渐让它变得完美。使用迭代开发，采用敏捷开发模式。为每个功能制定一个...

2019-11-01 11:10:20 387

原创 apache_sentry

Hadoop 权限SentryHivebeeline连接Hivebeeline&amp;amp;amp;gt; !connect jdbc:hive2://datanode03:10000/default scan complete in 1msConnecting to jdbc:hive2://datanode03:10000/defaultEnter username for jdb...

2018-06-21 23:11:47 699

原创 Kerberos 安装

Kerberos InstallKerberos 安装节点信息name01datanode01datanode02datanode03datanode04安装 kdc server在KDC(name01)上安装包 krb5、krb5-server 和 krb5-clientyum install krb5-server krb5-libs kr...

2018-06-21 23:10:14 1376

原创 Java对象的字节大小计算

计算Java对象的字节大小Java基本类型长度及对应对象的字节长度基本类型长度 the size of an object Int 4 16 Short 2 16 Long 8 24 Byte 1 16 Character 1 16 Float 4 16 Dou...

2018-05-06 17:34:55 21268 4

原创 JVM垃圾收集机制

JVM垃圾收集机制JVM结构如何判定对象可回收引用计数缺点很难解决对象之间循环引用的问题可达性分析(根节点枚举)使用引用链和GC RootsGC停顿原因根节点枚举时必须保证对象引用关闭保持不变，所以必须停顿所有java线程可以作为GC Roots的对象虚拟机栈（栈帧中的本地变量表）中引用的对象方法区中类静态属性引用的对象方法区中常量引用的对象本地方法栈中JNI（即一般说

2017-12-27 19:07:25 657

原创 goldengate_mysql_kafka同步

goldengate 实现mysql到kafka同步 Oracle GoldenGate 提供异构环境间事务数据的实时、低影响的捕获、路由、转换和交付goldengate架构goldengate相关概念Manager进程是GoldenGate的控制进程，运行在源端和目标端上。它主要作用有以下几个方面：启动、监控、重启Goldengate的其他进程，报告错误及事件，分配数据存储空间，发布阀值报

2017-12-14 22:16:47 3254

原创【spark】Shuffle过程解析

Shuffle过程解析ShuffleMapTask ShuffleMapTask时shuffle过程的入口，runTask方法实现了shuffle的主要逻辑，runTask依赖ShuffleManager和ShuffleWriter实现具体的操作，其中ShuffleManager和ShuffleWriter在目前spark版本中都有多种实现，可以通过spark.shuffle.manager参数

2017-04-03 00:09:50 902

原创【spark】HashShuffleManager解析

HashShuffleManager HashShuffleManager在spark早期版本中为默认shuffle管理器（spark1.2以前）。单此版本存在明显的弊端，此shuffleManager在作业运行阶段会产生大量的文件，任务在此环节会产生大量IO操作。接下来我们会一起探讨HashShuffleManager的具体执行逻辑。

2017-04-02 23:29:39 1753

原创 spark yarn-cluster模式提交task流程

spark yarn-cluster模式提交task流程

2017-03-15 23:38:34 1502

原创 Hbase JVM优化

Hbase JVM优化优化项export HBASE_OPTS="$HBASE_OPTS -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+UseCMSCompactAtFullCollection -XX:CMSFullGCsBeforeCompact

2016-08-22 19:24:42 5719 1

原创 HBase不稳定因素分析

Hbase不稳定因素分析配置问题内存配置不正确目前hbase内存主要如下几个配置项： 1）HBASE_HEAPSIZE HBase RegionServer是内存贪婪性的，按照经验判断至少8~16G内存，但也不宜过大，更多内存应该分配给HBASE_OFFHEAPSIZE 2）HBASE_OFFHEAPSIZE Hbase offheap内存为非堆内存，主要在hbase缓存数据时使用，需

2016-08-22 19:12:27 5184

原创 Hive order by/sort by/distribute by/cluster by作用

Hive order by/sort by/distribute by/cluster by作用order by Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reducer）。

2016-07-31 14:25:13 881

原创 Hive Example

Hive Example 此实例主要学习Hive的基本操作准备数据下载数据 wget http://files.grouplens.org/datasets/movielens/ml-100k.zip 解压数据 unzip ml-100k.zip 数据说明（具体请查看解压目录中README）u.data -- The full u data set, 100000 r

2016-07-28 21:51:13 1227

原创 Hive安装过程（mysql/oracle存储元数据）

Hive安装过程（mysql存储元数据）前置条件： - mysql数据库已经安装成功 - hadoop环境已经配置正确，且可以提供正常服务说明： -由于资源有限，下面配置的hadoop集群只有一个节点，所有服务都在一个节点上启动（1）创建mysql用户hadoop@ubuntu:~$ mysql -uroot -pmysqlmysql> CREATE

2016-07-27 22:48:35 3563 1

原创 Linux_nc命令用法

linux nc命令参数及用法详解功能说明：功能强大的网络工具语　　法：nc [-hlnruz][-g<网关...>][-G<指向器数目>][-i<延迟秒数>][-o<输出文件>][-p<通信端口>][-s<来源位址>][-v...][-w<超时秒数>][主机名称][通信端口...]参　　数：-g<网关> 设置路由器跃程通信网关，最丢哦可设置8个。 -G<指向器数目> 设置来源路由

2016-07-27 15:10:06 760

原创 Hbase内存磁盘大致关系

Hbase内存磁盘关系磁盘数 diskNum磁盘容量 diskCapacity备份数 replications单个HFile文件大小 hbase.hregion.max.filesizeregions数 regions diskNum*diskCapacity/replications =hbase.hr

2016-06-06 15:24:18 5207

原创 Oracle常见问题解决方法

Oracle 常见问题解决方法解决ORA-28002:密码过期问题警告信息: ERROR: ORA-28002: the password will expire within 7 days 原因分析: sql> SELECT * FROM dba_profiles s WHERE s.profile='DEFAULT' AND resource_name='PASSWORD_LIFE_T

2015-11-19 17:29:20 982

原创 hbase遇到问题及解决方法

hbase遇到问题及解决方法1.zookeeper启动报错错误日志启动zookeeper报错信息如下：java.net.NoRouteToHostException: No route to host at java.net.PlainSocketImpl.socketConnect(Native Method) at java.net.AbstractPlainSo

2015-08-27 14:57:16 34974 2

原创二分查找（非递归实现和递归实现）

二分查找（非递归实现和递归实现）public class BinarySearch { //非递归实现 public static int binarySearch(int array[], int low, int high, int key) { while (low <= high) { int middle = (low + high)

2015-08-12 22:50:27 1361 1

原创 hadoop知识点总结

hadoop知识点总结hadoop原理上图中展现了整个HDFS三个重要角色：NameNode、DataNode和Client。NameNode可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。D

2015-08-06 22:21:38 8027

原创 RRegionServer Splitting 实现过程

RRegionServer Splitting 实现过程1、RegionServer决定本地的region分裂，并准备分裂工作。第一步是，在zookeeper的/hbase/region-in-reansition/region-name下创建一个znode，并设为SPLITTING状态。2、Master通过父region-in-transition znode的watcher监测到刚刚创建的zno

2015-07-28 10:00:29 1154

原创常见排序算法（java实现）

常见排序算法介绍冒泡排序：冒泡排序，选择排序，插入排序，快速排序

2015-07-26 14:25:25 1318

原创 hbase ganglia监控配置

hbase ganglia 监控hbase 配置hadoop-metrics2-hbase.properties *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31 *.sink.ganglia.period=10 hbase.sink.ganglia.period=10 hbase.s

2015-06-09 12:35:38 4194

原创 ganglia安装教程

ganglia 安装教程依赖软件http://nchc.dl.sourceforge.net/project/pcre/pcre/8.32/pcre-8.32.tar.gz tar xvzf pcre-8.32.tar.gz cd pcre-8.32 ./configure –prefix=/usr/local make && make install 2.http://

2015-05-22 14:15:10 3426

原创 ganglia安装教程(centos7)

ganglia 安装教程依赖软件http://nchc.dl.sourceforge.net/project/pcre/pcre/8.32/pcre-8.32.tar.gz tar xvzf pcre-8.32.tar.gz cd pcre-8.32 -./configure –prefix=/usr/local make && make install 2.http:

2015-05-14 12:40:45 8196

原创 HBase RegionServer详解

Hbase RegionServer详解Hbase RegionServer详解RegionServerMemStoreFlusherHeapMemoryManagerCompactSplitThreadZooKeeperWatcherMasterAddressTrackerClusterStatusTrackerSplitLogWorkerRegion

2015-05-11 21:53:14 17079 1

转载 HBase Default Configuration(Hbase1.0.0)

The documentation below is generated using the default hbase configuration file,hbase-default.xml, as source.hbase.tmp.dirDescriptionTemporary directory on the local filesystem. Change t

2015-03-29 21:53:50 4755

原创 Hbase完全分布式集群安装配置(Hbase1.0.0,Hadoop2.6.0)

Hbase安装文档1. 安装软件OS:centos6.5Hadoop：hadoop2.6.0Hbase:hbase.1.0.0JDK: jdk1.7.0_51集群机器：192.168.153.130（hadoop130 namenode）192.168.153.131 (hadoop131datanode)192.168.153.132 (hadoop132

2015-03-27 23:07:56 38819 1

原创 NodeManager代码分析之NodeManager启动过程

1、NodeManager概述NodeManager（NM）是YARN中每个节点上的代理，它管理Hadoop集群中单个计算节点，包括与ResourceManger保持通信，监督Container的生命周期管理，监控每个Container的资源使用（内存、CPU等）情况，追踪节点健康状况，管理日志和不同应用程序用到的附属服务。2、NodeManager分析2.1、代码分析接下来将

2014-10-22 22:41:38 8935

原创设置多台服务器相互ssh无密码访问

1、在每台服务器上都执行ssh-keygen -t rsa生成密钥对:#ssh-keygen -t rsa2、在每台服务器上生成密钥对后，将公钥复制到需要无密码登陆的服务器上：举例如192.168.15.240，192.168.15.241，192.168.15.242这三台服务器需要做相互免密码登陆，在每台服务器生成密钥对后，在每台服务器上执行ssh-copy-id命令（具体说明

2014-10-09 14:23:01 1597

转载 linux awk命令详解

awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息awk处理过程: 依次对每一行进行处理，然后输出awk命令形式:awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file [-F|-f|-v] 大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=

2014-10-05 16:26:10 5431

转载深入理解Java内存模型

转载于：http://www.infoq.com/cn/articles/java-memory-model-1?utm_source=infoq&utm_medium=related_content_link&utm_campaign=relatedContent_articles_clk深入理解Java内存模型（一）——基础并发编程模型的分类在并

2014-05-08 20:57:59 4358

原创【源码学习-LinkedHashMap】

1. LinkedHashMap概述：LinkedHashMap是Map接口的哈希表和链接列表实现，具有可预知的迭代顺序。此实现提供所有可选的映射操作，并允许使用null值和null键。此类不保证映射的顺序，特别是它不保证该顺序恒久不变。 LinkedHashMap实现与HashMap的不同之处在于，后者维护着一个运行于所有条目的双重链接列表。此链接列表定义了迭代顺序，该迭代顺序可以

2014-04-16 20:36:38 1201

原创用 EasyBCD 在 Win7/8 中硬盘安装 Ubuntu

EasyBCD 可以方便地编辑 Win7 和Win8 的启动菜单项，操作中注意细心；下载 Ubuntu 的 desktop 光盘镜像iso文件，如 ubuntu-12.10-desktop-i386.iso：http://mirrors.163.com/ubuntu-releases/12.10/1、下载安装 EasyBCD1)EasyBCD个人版是免费的,在出来的安装对话框中

2014-04-12 14:25:21 20454 1

原创【Hadoop基础】hadoop fs 命令

1，hadoop fs –fs [local | ]：声明hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺序查找：hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-site.xml。使用local代表将本地文件系统作为hadoop的

2014-03-26 12:40:33 106255 1

原创 linux yum命令详解

yum（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及SUSE中的Shell前端软件包管理器。基於RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软体包，无须繁琐地一次次下载、安装。yum提供了查找、安装、删除某一个、一组甚至全部软件包的命令，而且命令简洁而又好记。yum的命令形式

2014-02-27 22:14:48 28765 1

原创适合Go语言初学者的资料

适合Go语言初学者的资料本页为那些对Go语言学习感兴趣的开发者列举了一些Go语言的资源安装GO语言和配置工作空间从这里开始学习如何创建一个工作空间来写Go代码How to Write Go CodeWriting, building, installing, and testing Go code在线资源一旦你配置完Go语言的

2013-12-13 12:58:01 4659

原创 Java String对象以“引用”方式被传递

译文路径：String is passed by “reference”in JavaJava String对象以“引用”方式被传递这是Java的一个经典问题。很多类似的问题已经在StackOverflow被问，这里面有很多的不正确/不完整的答案。这个问题很简单，如果你不去想太多。但它可能是非常令人困惑的，如果你把它给更多的思考。1、一个段有趣和令人困惑的代码public stat

2013-11-30 10:18:58 28845 1