zhangshk_的博客

hbase作为hadoop生态圈的数据存储系统，在整个大数据技术栈中占用重要地位，也是google三大论文，bigtable的对应产品。我们先看看hbase官网介绍吧： Welcome to Apache HBase™ Apache HBase™ is the Hadoop database, a distributed, scalable, big data store. Us

linux有两种计划执行方式： 一种是计划某一时刻执行一次 一种是定时周期执行执行计划at：就是计划在某一个时刻执行一次命令 demo：[root@localhost tmp]# at 09:35 #指定执行时间点 系统时间录入date查看at> cp /etc/passwd ./ #执行任务，把/etc/passwd 拷贝当前目录at> <EOT>

shell编程、if、case基本操作ifdemo1.[root@dev-02 software]# cat ifsh #!/bin/bashif [ 2 -eq 2 ]then echo "yes"fi[root@dev-02 software]# sh ifsh yestips:-eq是数字的判断符号，详情可参考下面链接2.[root@dev-02 software]# c

java中我们经常用到while循环，那么shell中也有while循环：while简单循环直接看demo：demo1: 求1-10的和[root@dev-02 software]# cat while1to10.sh #!/bin/bashi=1while [ $i -le 10 ]do sum=$((sum+i)) i=$((i+1))doneecho $sum[r

linux中的for循环有很多用处：比如跑历史数据，参数为日期，那么我们可以把日期放入for循环中，循环把日期作为参数执行下面看一个我生产中用到的例子[zhangshk@fonova-app02 ~]$ cat nohup_run0_100.sh for i in {0..100}do sh /data/zhangshk/Memory_Statistics-0.0.0.1-SNAPSHO

Linux shell解释型脚本语言直接调用linux命令Shell 脚本执行的两种方式sh 脚本文件./脚本文件 ，需要脚本文件有执行权限[root@localhost test]# ./test.sh-bash: ./test.sh: Permission denied赋执行权限：[root@localhost test]# chmod u+x ./test.sh [root@l

考虑一个场景：ifconfig查询网络信息，我们需要提取ip地址，那么怎么做呢？ [kuerl@fonova-app02 ~]$ ifconfig eth0 Link encap:Ethernet HWaddr 00:16:3E:00:04:72 inet addr:10.161.170.72 Bcast:10.161.175.255 Mask:2

linux中软件包管理方式软件包有两种类型，一种是源码包，还有一种是二进制包这两种包的不同: 二进制包是经过编译之后的包，安装速度很快，但是看不到源码，有很强的依赖性，比如A包依赖了B包，那么我们装A包，就必须要中B包，有可能B包还会依赖其他的软件包，所以二进制包的依赖问题是个很大的问题。但是二进制包，通过rpm 或者yum命令管理，所以安装、卸载、升级、查看都很方便。rpm包和yum包有什么区别

系统管理命令. top$man top 查看top的文档说明 DESCRIPTION The top program provides a dynamic real-time view of a running system. It can dis- play system summary information as well as a list

Linux中的压缩命令1.gzip gzip，压缩时不保留原文件 gzip，不能压缩目录压缩：[kuerl@fonova-app02 Test]$ gzip 123.txt解压缩：[kuerl@fonova-app02 Test]$ gunzip 123.txt.gz！！对于大文件 ，压缩比还是比较大的压缩前：451820 Apr 13 22:31 file_kuerl 压缩后：973

磁盘管理1. 查看当前磁盘使用情况[root@localhost ~]# df -hFilesystem Size Used Avail Use% Mounted on/dev/mapper/VolGroup-lv_root 18G 3.5G 13G 22% /tmpfs 491M

Linux基本环境设置 这里我们有几个东西需要设置：* 静态ip： 为什么需要设置静态ip（通常使用linux系统都是需要提供服务的，作为服务器都需要固定的IP地址，就是静态的IP地址。这样，客户端才能正常访问这个Linux服务器。）* Hostname： 主机名，当主机很多的时候，就需要能够很清晰的区分不同的主机* 网络映射：主机名和其ip之间的映射* DNS域名解析 链

我们有时候会在java代码中，去执行一个linux shell脚本或者windows触发执行一个.bat脚本本文章，会写一个通用的脚本工具类，通过这个工具类，可以在java代码中，调用linux shell脚本，或者window .bat脚本。 比如我们数据平台，有一个数据分析工具，当数据分析工程师，通过我们的工具，配置了某一个数据分析任务，后台的injector进程会监测到这个j...