
linux
小布-01
10年编程经验,乐观向上,爱分享
展开
-
gitignore忽略不需要提交的文件
进行项目开发时,有时很多文件并不需要提交到git仓库。为避免每次add提交时,显示很多的文件信息,采用如下方式自动忽略不需要提交的文件:1.使用ll -a查看文件目录[dhp@dhpMac]: ll -atotal 32drwxr-xr-x@ 10 dhp staff 320B 2 6 20:48 .drwx------+ 52 dhp staff 1.6K ...原创 2020-02-06 21:55:16 · 750 阅读 · 0 评论 -
设计RPC框架应考虑的问题
最近面试遇到一个很好的问题,面试官说如何设计一个RPC框架,虽然自己在Hadoop中会用到RPC,但是从来没总结过PRC框架的知识点,所以记录一下喽。RPC作用RPC作为分布式系统常见的一种通信方法,通俗来讲,RPC就是从一台机器(客户端)上通过参数传递的方式调用另一台机器(服务器)上的一个函数或方法(可以统称为服务)并得到返回的结果。框架需解决问题RPC要达到的目标:远程调用时,要能够像...原创 2019-10-31 11:34:20 · 1664 阅读 · 0 评论 -
常用linux命令汇总
后台进程ps -aux | more #查看后台运行的所有进程ps -aux|grep XXX ##查看指定内容的后台进程ps -aux | grep sshd ##查看sshd服务是否启动ps -ef | more #查看父进程ps -ef | grep sshd #查看sshd服务的父进程pstree -p #进程树ps -a:显示当前终端的所有进程信息ps...原创 2019-04-23 22:50:17 · 1668 阅读 · 0 评论 -
记一次有趣的hadoop源码编译
之前看到过很多人讲解源码编译,但自己一直没有尝试过。最近由于工作需要,想在本地搭建一个hadoop阅读环境,学习一下hadoop源码。准备阶段(1)首先下载要编译的hadoop源码版本,镜像链接如下:http://mirror.bit.edu.cn/apache/hadoop/common/(2)进入到hadoop目录,查看BUILDING.txt,了解编译需要的环境要求:比如本人编译的...原创 2019-05-04 13:58:14 · 1760 阅读 · 0 评论 -
hdfs mkdir递归建立目录背后的设计
我们都知道hdfs命令:hdfs fs -mkdir -p /xx1/xx2/xx3 可递归创建一个目录,简单的命令背后,hadoop源码是如何执行的呐?接下来一起领略一下hadoop的源码魅力。接下来直接上mkdirs方法:public boolean mkdirs(Path f) throws IOException{ Path parent = f.getParent(); //...原创 2019-05-12 15:37:52 · 4284 阅读 · 0 评论