LINUX
关注
分享
扫一扫
fish_cool
擅长java并发设计与开发(包括多核开发)、java性能调优、java分布式架构与设计、工作流引擎算法、python；对erlang、ada、搜索引擎有浓厚的兴趣，曾从事过数据分析与挖掘(SAS)和hadoop平台相关(hive、sqoop、R、zookeeper、mahout、Hbase等)方面的研究与开发，现阶段负责公司的整个大数据平台的搭建(包括海量实时OLAP查询、离线计算平台、实时计算平台)，并朝着各平台封装成产品的方向前进
展开
-
Crontab实例
cron是一个linux下的定时执行工具，可以在无需人工干预的情况下运行作业。由于Cron 是Linux的内置服务，但它不自动起来，可以用以下的方法启动、关闭这个服务：/sbin/service crond start //启动服务转载 2011-09-13 11:46:09 · 934 阅读 · 0 评论 -
/proc/pid/status详解
Name 应用程序或命令的名字 State 任务的状态，运行/睡眠/僵死/ SleepAVG 任务的平均等待时间(以nanosecond为单位)，交互式任务因为休眠次数多、时间长，它们的 sleep_avg 也会相应地更大一些，所以计算出来的优先级也会相应高一些。Tgid 线程组号 Pid 任务ID Ppid 父进程ID TracerPid 接收跟踪该进程信息的进程的ID号转载 2012-11-22 11:31:52 · 2542 阅读 · 0 评论 -
liunx对网卡常用操作
最近在使用HBase的时候，有一台机器是双网卡，导致在HBase的集群里该节点无法正常运行。最后是因为我们对双网卡的使用不太熟悉导致，之前这两个网卡都插过网线，都分配的IP地址，当其中一个网卡不接网线时，还是有IP地址，并且能通过另一台机器ping通。这里将常用的方式做个笔录。 网卡接口都是按照ethi的顺序开始，i从0.....N，一块就是eth0，第二块就是eth1，第三块原创 2012-12-06 13:56:36 · 805 阅读 · 0 评论 -
常用16个命令总结
为了更好监控hadoop集群，我这里从其他地方总结了常用的一些监控命令。 iostatiostat 命令用来显示存储子系统的详细信息，通常用它来监控磁盘 I/O 的情况。要特别注意 iostat 统计结果中的 %iowait 值，太大了表明你的系统存储子系统性能低下。 meminfo 和 freeMeminfo 可让你获取内存的详细信息，你可以使用 cat 和 grep转载 2012-12-13 17:27:03 · 651 阅读 · 0 评论 -
liunx安装git
$ yum install git $ yum install git-svn git-email git-gui gitk原创 2012-12-14 16:42:37 · 551 阅读 · 0 评论 -
如何分析CPU的瓶颈和相关操作
以下内容来自转载和自己的初用体验。vmstat[root@master ~]# vmstat -n 3procs -----------memory---------- ---swap-- -----io---- --system-- ----原创 2012-12-13 18:39:20 · 2413 阅读 · 0 评论 -
使用iptraf进行实时监控流量
下载源码安装关联关系太多了（有时候操作系统安装的不是很完全的话，源码安装会有问题），还是用yum方式这样方便(适用于liunx内核)，首先用它查看下iptraf依赖关系。[root@slave1 conf]# yum search iptrafLoaded plugins: fastestmirrorLoading mirror speeds from cached hostfile原创 2012-12-24 18:40:18 · 2302 阅读 · 0 评论 -
关于liunx开机启动配置
两种方式：一种：chkconfig mysql on一种是修改/etc/rc.local文件原创 2013-01-06 15:25:05 · 532 阅读 · 0 评论 -
liunx管道技术笔记
信号和消息的区别 我们知道，进程间的信号通信机制在传递信息时是以信号为载体的，但管道通信机制的信息载体是消息。那么信号和消息之间的区别在哪里呢？ 首先，在数据内容方面，信号只是一些预定义的代码，用于表示系统发生的某一状况；消息则为一组连续语句或符号，不过量也不会太大。在作用方面，信号担任进程间少量信息的传送，一般为内核程序用来通知用户进程一些异常情况的发生；消息则用于进程间交换彼此的数原创 2013-01-15 17:22:54 · 531 阅读 · 0 评论 -
搭建NFS服务简介
最近由于业务需要，用到了NFS服务（liunx环境），将相关的常用操作记录下来。第一：修改vim /etc/exports，增加一条记录（关于exports的格式，网上有很多资料，这里不详细描述），查看用exportfs 命令第二：重启nfs服务，service nfs reload第三：在另一台机器上面配置挂载（前提是能ping通开通NFS的主机） moun原创 2012-12-13 14:56:58 · 1131 阅读 · 0 评论 -
nmon的分析报表体验
使用了一个简单命令：[root@slave1 soft]# ./nmon_linux_x86_64 -s10 -c60 -f -m /root/soft/ 在10分钟后，生成了一个监控文件如下： 将此文件（slave1_130204_1139.nmon）下载到window机器上，用之前下载的（nmon_analyser.zip）包，解压后里面有两个文件：一个是使用手原创 2013-02-04 14:25:29 · 1409 阅读 · 0 评论 -
nmon部署安装体验
安装此工具环境：liunx5.5下载地址：http://nmon.sourceforge.net/pmwiki.php?n=Site.Download版本：nmon_linux_14g.tar.gz 上传到机器上后，解压文件[root@slave1 soft]# tar -zxvf nmon_linux_14g.tar.gz解压后出现的内容如下：然后执行了赋权限原创 2013-02-04 11:24:23 · 5584 阅读 · 0 评论 -
perf部署注意事项
perf这个命令很强大，但是只支持el6的内核。如下图：但是在el5下面没有这个工具了。通过uname -a查看操作系统信息如下：原创 2013-02-07 10:34:54 · 734 阅读 · 0 评论 -
buffer和cache定义
A buffer is something that has yet to be "written" to disk. A cache is something that has been "read" from the disk and stored for later use.翻译 2013-01-21 16:28:35 · 611 阅读 · 0 评论 -
free命令复习
最近系统学习liunx相关的命令，方便未来解决更多有深度的问题。第一行和第二行都是查看内存使用情况，只是角度不同。第一行是从操作系统(OS)的角度来看第二行是从应用程序角度来看 在第一行中有个公式：total=used+free在第二行中有个公式：used2=used1-buffer1-cached1原创 2013-01-21 16:48:56 · 748 阅读 · 0 评论 -
vmstat命令详解
vmstat命令用来获得有关进程、虚存、页面交换空间及 CPU活动的信息。这些信息反映了系统的负载情况。输出项类别项目含义说明Procsr等待执行的任务数展示了正在执行和等待CPU资源的任务个数。当这个值超过了CPU数目，就会出现CPU瓶颈了 b M转载 2013-02-07 11:19:52 · 1414 阅读 · 0 评论 -
Linux lsof使用
lsof（list open files）是一个列出当前系统打开文件的工具。在linux环境下，任何事物都以文件的形式存在，通过文件不仅仅可以访问常规数据，还可以访问网络连接和硬件。在终端下输入lsof即可显示系统打开的文件，因为 lsof 需要访问核心内存和各种文件，所以必须以 root 用户的身份运行它才能够充分地发挥其功能。 [root@master ~]# lsof -p 22转载 2013-03-12 16:38:00 · 1096 阅读 · 0 评论 -
tune2fs使用
[root@master ~]# tune2fs tune2fs 1.39 (29-May-2006)Usage: tune2fs [-c max_mounts_count] [-e errors_behavior] [-g group] [-i interval[d|m|w]] [-j] [-J journal_options] [-l] [-s sp原创 2013-03-12 15:25:45 · 1382 阅读 · 0 评论 -
Linux查看内存分配情况的几种方法
top free vmstat /proc/meminfo /proc//statm /proc//status/proc//maps转载 2012-11-22 11:24:32 · 10305 阅读 · 0 评论 -
Linux TCP/IP Tuning for Scalability
Hi there! I’m Philip (@bluesmoon), the CTO of LogNormal. We’re a performance company, and performance and scalability go hand in hand. Better scalability results in more consistent performance and a转载 2012-10-18 10:20:30 · 1663 阅读 · 0 评论 -
thrift for python部署
安装这个是为了更方便的使用python操作hive。获取thrift，在linux命令下：wget http://labs.renren.com/apache-mirror/thrift/0.8.0/thrift-0.8.0.tar.gztar -xvf thrift-0.8.0.tar.gzcd thrift-0.8.0./configuremakesudo原创 2012-07-16 10:25:09 · 9286 阅读 · 0 评论 -
wget使用指南
Wget是一个十分常用命令行下载工具，多数Linux发行版本都默认包含这个工具。它支持HTTP，HTTPS和FTP协议，可以使用HTTP代理。wget也可以在用户退出系统的之后在后台执行。你可以登录系统，启动一个wget下载任务，然后退出系统，wget将在后台执行直到任务完成转载 2011-09-13 11:44:13 · 969 阅读 · 0 评论 -
Linux 中如何查询和卸载已安装的软件 .
Linux 中如何查询和卸载已安装的软件 Linux软件的安装和卸载一直是困扰许多新用户的难题。在Windows中，我们可以使用软件自带的安装卸载程序或在控制面板中的“添加/删除程序” 来实现。与其相类似，在Linux下有一个功能强大的软件安装卸载工具，名为RPM。它可以用转载 2011-09-13 13:12:49 · 1397 阅读 · 0 评论 -
lftp使用感觉
最近在测试公司内部的ftp服务器，下载和上传问题。发现lftp比ftp(都是客户端)要强劲多了，使用后发现，ftp里的reget命令，是需要这个文件之前必须就存在的，另外ftp的断点重传不是自动，需要手工操作。而使用lftp里的mget -c *.txt这样的命令是可以自原创 2011-09-15 12:04:01 · 1424 阅读 · 0 评论 -
Linux下的tar压缩解压缩命令详解
tar-c: 建立压缩档案-x：解压-t：查看内容-r：向压缩归档文件末尾追加文件-u：更新原压缩包中的文件这五个是独立的命令，压缩解压都要用到其中一个，可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩或解压档案时可选的。-z：有gzip属性的-j：有bz2属性的-Z：有compress属性的-v：显示所有过程-O：将文件解开到标准输出转载 2012-04-24 10:06:50 · 3815 阅读 · 0 评论 -
在linux下使用noatime提升文件系统性能
默认的方式下linux会把文件访问的时间atime做记录，这在绝大部分的场合都是没有必要的，如果遇到机器IO负载高或是CPU WAIT高的情况，可以尝试使用noatime和nodiratime，疗效好，见效快。1、修改/etc/fstab，类似/dev/hda9 /data ext3 defaults 0 2改成/dev/hda9 /data ext3 defaul转载 2012-04-18 13:26:36 · 2381 阅读 · 0 评论 -
（总结）关于Linux的缓存内存 Cache Memory详解
前天有朋友问我，为啥我的Linux系统没运行多少程序，显示的可用内存这么少？其实Linux与Win的内存管理不同，会尽量缓存内存以提高读写性能，通常叫做Cache Memory。有时候你会发现没有什么程序在运行，但是使用top或free命令看到可用内存free项会很少，此时查看系统的 /proc/meminfo 文件，会发现有一项 Cached Memory：输入cat /pr转载 2012-05-15 22:27:18 · 7034 阅读 · 1 评论 -
Linux下提高硬盘读写速度
Linux命令：hdparm功能说明：显示与设定硬盘的参数。语 法：hdparm [-CfghiIqtTvyYZ][-a ][-A ][-c ][-d ][-k ][-K ][-m ][-n ][-p ][-P ][-r ][-S ][-u ][-W ][-X ][设备]补充说明：hdparm可检测，显示与设定IDE或SCSI硬盘的参数。参 数：-a 设定读取文件时转载 2012-05-15 22:36:25 · 10695 阅读 · 0 评论 -
Linux系统网络优化【转】
linux网络 1, 优化网络设备接收队列 net.core.netdev_max_backlog=3000 该文件表示在每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目。 默认值：Red Hat Linux release 9 (Shrike)默认为300 rhel5 默认为1000 建议值转载 2012-05-15 22:45:46 · 1337 阅读 · 0 评论 -
liunx修改文件句柄数
命令ulimit -n是查看句柄数修改文件/ect/security/limit.conf里的内容进行修改。格式如下：# /etc/security/limits.conf##Each line describes a limit for a user in the form:## ##Where:# can be:#原创 2012-02-28 10:06:11 · 1309 阅读 · 2 评论 -
linux查看网卡驱动
查看网卡驱动版本需要超级用户权限。具体操作步骤：1、打开虚拟终端2、ifconfig看有哪些网卡，如eth0， eth1之类的3、ethtool -i eth0看驱动原创 2012-01-09 16:54:55 · 1161 阅读 · 0 评论 -
最近转贴的liunx调整
最近转贴的liunx调整，将在hadoop上面进行测试，看看效果。稍后会带来测试结果。今天调试了下提升磁盘读写速度，发现hdparm命令不支持SATA的硬盘，必须下载sdparm这个命令。后面再将进行测试。原创 2012-05-18 13:18:00 · 555 阅读 · 0 评论 -
Linux下常用I/O模型
简介 Linux异步I/O是Linux内核中提供的一个相当新的增强。它是2.6版本内核的一个标准特性，异步非阻塞I/O背后的基本思想是允许进程发起很多I/O操作，而不用阻塞或等待任何操作完成。稍后或在接收到I/O操作完成的通知时，进程就可以检索I/O操作的结果。 这并不是一个详尽的介绍，但是我们将试图介绍最常用的一些模型来解释它们与异步I/O之间的区别。下图给出了同步和异步模转载 2012-05-24 17:59:11 · 723 阅读 · 0 评论 -
liunx默认安装的路径
总结：系统自带安装一般在/usr/bin目录下面后面安装在/usr/local/bin目录下面原创 2012-05-25 13:17:49 · 720 阅读 · 0 评论 -
memory bandwidth benchmark部署
到这个网站下去下载内存带宽测试工具 http://ahorvath.home.cern.ch/ahorvath/mbw/ 建议下载rpm的包，这样安装完成后使用比较方便。 [root@master soft]# mbw -q -n 1 2560 Method: MEMCPY Elapsed: 0.10434 MiB: 256.00000 Copy:原创 2012-06-20 15:47:35 · 1800 阅读 · 2 评论 -
关于sdparm命令的使用
关于sdparm的使用，参考过相关资料后，发现sdparm的命令并没有什么需要设置IO32模式和DMA模式的参数项。原创 2012-06-22 13:19:45 · 7336 阅读 · 0 评论 -
修改liunx的预读区大小
用命令blockdev，修改READAHEAD属性。默认是256，我将此值修改成8192，今天打算测试下，明天看看测试结果。原创 2012-08-22 14:54:08 · 2817 阅读 · 0 评论 -
关于yum默认下载路径
最近在进行SATA的读写优化，需要安装sdparm这个命令来测试下优化的效果。安装很简单，运行命令：yum install sdparm因通过yum命令下载包后，需要进行整理后，安装到外网环境中所以需要yum的下载路径。第一步知道yum相关位置，使用如下命令：[root@slave1 packages]# whereis yumyum: /usr/bin/yum /原创 2012-06-20 11:02:34 · 9042 阅读 · 0 评论 -
top命令复习
最近在查些疑难杂症时，对liunx的相关系统命令使用不很熟悉，还是在一个网友帮忙下，发现top命令中有些我还不会用，所以又对top命令进行复习。使用如下截图：各部分情况：3个用户，load average: 任务平均长度，三个数值分别为1、5、15分钟前到现在的平均值tasks：总共有156个进程，1个进程在运行，154个进程在休眠，0个停止进程，1个僵尸进程分别显原创 2013-01-16 14:05:01 · 586 阅读 · 0 评论