<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[dgit3228的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/dgit3228</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; dgit3228]]></copyright><item><title><![CDATA[inode、软连接、硬链接]]></title><link>https://blog.youkuaiyun.com/dgit3228/article/details/101275410</link><guid>https://blog.youkuaiyun.com/dgit3228/article/details/101275410</guid><author>dgit3228</author><pubDate>Wed, 10 Jun 2015 16:50:00 +0800</pubDate><description><![CDATA[一、inode是什么？
　　理解inode，要从文件储存说起。文件储存在硬盘上，硬盘的最小存储单位叫做"扇区"（Sector）。每个扇区储存512字节（相当于0.5KB）。操作系统读取硬盘的时候，不会一个个扇区地读取，这样效率太低，而是一次性连续读取多个扇区，即一次性读取一个"块"（block）。这种由多个扇区组成的"块"，是文件存取的最小单位。"块"的大小，最常见的是4KB，即连续八...]]></description><category></category></item><item><title><![CDATA[jvm file.encoding 属性引起的storm/hbase乱码]]></title><link>https://blog.youkuaiyun.com/dgit3228/article/details/101275413</link><guid>https://blog.youkuaiyun.com/dgit3228/article/details/101275413</guid><author>dgit3228</author><pubDate>Wed, 03 Jun 2015 11:36:00 +0800</pubDate><description><![CDATA[1. 问题
　　今天为storm程序添加了一个计算bolt，上线后正常，结果发现之前的另一个bolt在将中文插入到hbase中后查询出来乱码。其中字符串是以UTF-8编码的url加密串，然后我使用的URLDecoder.decode(str, "UTF-8")解码，最后插入到hbase中。
2. 排查
（1）hbase中的数据传输都是使用的UTF-8，因此肯定不会出问题，故排除hb...]]></description><category></category></item><item><title><![CDATA[hadoop源码剖析--hdfs安全模式]]></title><link>https://blog.youkuaiyun.com/dgit3228/article/details/101275409</link><guid>https://blog.youkuaiyun.com/dgit3228/article/details/101275409</guid><author>dgit3228</author><pubDate>Fri, 29 May 2015 17:21:00 +0800</pubDate><description><![CDATA[一、什么是安全模式
　　hadoop安全模式是name node的一种状态，处于该状态时有种量特性：
　　　　1.namenode不接受任何对hfds文件系统的改变操作（即此时整个文件系统处于只读状态）；
　　　　2.不执行block的replica和delete动作。
二、安全模式的原理
　　安全模式实在name node启动时默认进入的，当然也可以手动开启或关闭安全模式。...]]></description><category></category></item><item><title><![CDATA[局域网扫描IP]]></title><link>https://blog.youkuaiyun.com/dgit3228/article/details/101275406</link><guid>https://blog.youkuaiyun.com/dgit3228/article/details/101275406</guid><author>dgit3228</author><pubDate>Tue, 28 Apr 2015 18:17:00 +0800</pubDate><description><![CDATA[今天有朋友去面试，被问到一个“如何扫描局域网IP”的问题（即找出局域网中当前已使用的IP），朋友回答的不好，回来问我，我首先想到的就是使用ping命令将局域网可分配的IP地址逐个遍历一遍，能ping通的就是已使用的。
那么基于思路，实现代码也没啥太难的，以java语言来实现。
linux下的代码：

public static boolean pingIp(String ip) ...]]></description><category></category></item><item><title><![CDATA[32位机和64位机的区别及基本数据类型占字节数]]></title><link>https://blog.youkuaiyun.com/dgit3228/article/details/101275411</link><guid>https://blog.youkuaiyun.com/dgit3228/article/details/101275411</guid><author>dgit3228</author><pubDate>Sat, 25 Apr 2015 23:54:00 +0800</pubDate><description><![CDATA[一）64位系统和32位有什么区别？
1、64bit CPU拥有更大的寻址能力，最大支持到16GB内存，而32bit只支持4G内存
2、64位CPU一次可提取64位数据，比32位提高了一倍，理论上性能会提升1倍。但这是建立在64bit操作系统，64bit软件的基础上的。

什么是64位处理器？
之所以叫做“64位处理器”，是因为电脑内部都是实行2进制运算，处理器（CPU）一次...]]></description><category></category></item><item><title><![CDATA[storm源码剖析（3）：topology启动过程]]></title><link>https://blog.youkuaiyun.com/dgit3228/article/details/101275403</link><guid>https://blog.youkuaiyun.com/dgit3228/article/details/101275403</guid><author>dgit3228</author><pubDate>Thu, 16 Apr 2015 18:54:00 +0800</pubDate><description><![CDATA[storm的topology启动过程是执行strom jar topology1.jar MAINCLASS ARG1 ARG2
鉴于前面已经分析了脚本的解析过程，现在重点分析topology1.jar的执行。
以storm-starter中的ExclamationTopology为例，来进行剖析：

public class ExclamationTopology {

 ...]]></description><category></category></item><item><title><![CDATA[storm源码剖析（2）：storm的配置项]]></title><link>https://blog.youkuaiyun.com/dgit3228/article/details/101275407</link><guid>https://blog.youkuaiyun.com/dgit3228/article/details/101275407</guid><author>dgit3228</author><pubDate>Thu, 16 Apr 2015 16:02:00 +0800</pubDate><description><![CDATA[storm的配置项，可以从backtype/storm/Config.java中找到所有配置项及其描述

转载于:https://www.cnblogs.com/jerryshao2015/p/4432368.html]]></description><category></category></item><item><title><![CDATA[Linux下Fork与Exec]]></title><link>https://blog.youkuaiyun.com/dgit3228/article/details/101275401</link><guid>https://blog.youkuaiyun.com/dgit3228/article/details/101275401</guid><author>dgit3228</author><pubDate>Thu, 16 Apr 2015 14:37:00 +0800</pubDate><description><![CDATA[一、引言

　　对于没有接触过Unix/Linux操作系统的人来说，fork是最难理解的概念之一：它执行一次却返回两个值。fork函数是Unix系统最杰出的成就之一，它是七十年代UNIX早期的开发者经过长期在理论和实践上的艰苦探索后取得的成果，一方面，它使操作系统在进程管理上付出了最小的代价，另一方面，又为程序员提供了一个简洁明了的多进程方法。与DOS和早期的Windows不同，Un...]]></description><category></category></item><item><title><![CDATA[storm源码剖析（1）：storm脚本]]></title><link>https://blog.youkuaiyun.com/dgit3228/article/details/101275405</link><guid>https://blog.youkuaiyun.com/dgit3228/article/details/101275405</guid><author>dgit3228</author><pubDate>Wed, 15 Apr 2015 19:12:00 +0800</pubDate><description><![CDATA[今天看了一下storm的命令行脚本${STORM_HOME}/bin/storm，现在将剖析过程整理一下，作为记录。注：使用的storm版本为0.8.0。
${STORM_HOME}/bin/storm文件是用python写的，该文件写的还是相当精简和清晰的。
首先，命令的运行从main()方法开始，main()方法主要是解析输入的命令和命令携带的参数以及读取默认配置和配置文件配置。...]]></description><category></category></item><item><title><![CDATA[书写优雅的shell脚本（八）- 日期格式化]]></title><link>https://blog.youkuaiyun.com/dgit3228/article/details/101275399</link><guid>https://blog.youkuaiyun.com/dgit3228/article/details/101275399</guid><author>dgit3228</author><pubDate>Mon, 13 Apr 2015 11:38:00 +0800</pubDate><description><![CDATA[1. 将日期格式转为时间戳

获取当前时间：currenttime=`date "+%Y-%m-%d %H:%M:%S"` 结果：2015-04-13 11:15:43


将当前时间转为时间戳：timestamp=`date -d "$curtime" +%s` 结果：1428894966

　
2. 将时间戳转为日期格式

将当前时间戳转为日期格式：
date ...]]></description><category></category></item><item><title><![CDATA[hadoop源码剖析--RawLocalFileSystem]]></title><link>https://blog.youkuaiyun.com/dgit3228/article/details/101275402</link><guid>https://blog.youkuaiyun.com/dgit3228/article/details/101275402</guid><author>dgit3228</author><pubDate>Fri, 13 Mar 2015 16:42:00 +0800</pubDate><description><![CDATA[RawLocalFileSystem是hadoop中实现的本地文件系统，在该类中与文件元数据和目录相关的操作，都是通过适配方式适配到java.io.File的对应API来完成的，适配过程简单，代码清晰。
1.文件元数据和目录相关的操作分析
下面主要以mkDirs()方法为例来窥探该类的实现和一些独到之处。

/***********************************...]]></description><category></category></item><item><title><![CDATA[多线程辅助类-CountDownLatch的用法]]></title><link>https://blog.youkuaiyun.com/dgit3228/article/details/101275397</link><guid>https://blog.youkuaiyun.com/dgit3228/article/details/101275397</guid><author>dgit3228</author><pubDate>Mon, 20 Oct 2014 18:45:00 +0800</pubDate><description><![CDATA[转自：http://www.iteye.com/topic/1002652

CountDownLatch，一个同步辅助类，在完成一组正在其他线程中执行的操作之前，它允许一个或多个线程一直等待。

主要方法

public CountDownLatch(int count);

public voidcountDown();

public voi...]]></description><category></category></item><item><title><![CDATA[内部类访问外部类方法中的参数-使用final]]></title><link>https://blog.youkuaiyun.com/dgit3228/article/details/101275400</link><guid>https://blog.youkuaiyun.com/dgit3228/article/details/101275400</guid><author>dgit3228</author><pubDate>Thu, 16 Oct 2014 14:25:00 +0800</pubDate><description><![CDATA[public synchronized &lt;T extends MetricsSource&gt; T register(final String name,
			final String desc, final T source) {
		if (this.monitoring) {
			registerSource(name, desc, source);
		}

...]]></description><category></category></item><item><title><![CDATA[书写优雅的shell脚本（七）- ${COLUMN:-}]]></title><link>https://blog.youkuaiyun.com/dgit3228/article/details/101275395</link><guid>https://blog.youkuaiyun.com/dgit3228/article/details/101275395</guid><author>dgit3228</author><pubDate>Wed, 08 Oct 2014 16:08:00 +0800</pubDate><description><![CDATA[${COLUMN:-}
如果COLUMN是空变量，或者变量不存在，返回-后面的内容，如果变量有值返回这个值。

转载于:https://www.cnblogs.com/jerryshao2015/p/4419612.html]]></description><category></category></item><item><title><![CDATA[flume 日志收集单节点]]></title><link>https://blog.youkuaiyun.com/dgit3228/article/details/101275392</link><guid>https://blog.youkuaiyun.com/dgit3228/article/details/101275392</guid><author>dgit3228</author><pubDate>Mon, 29 Sep 2014 11:47:00 +0800</pubDate><description><![CDATA[flume 是 cloudera公司研发的日志收集系统，采用3层结构：1. agent层，用于直接收集日志;2.connect 层，用于接受日志; 3. 数据存储层，用于保存日志。由一到多个master管理1和2层节点。


本文采用单节点试用flume日志处理。

flume 单节点使用示例

flume号称水道，其设计思路是水源(source)和水槽(sin...]]></description><category></category></item><item><title><![CDATA[syslog格式]]></title><link>https://blog.youkuaiyun.com/dgit3228/article/details/101275390</link><guid>https://blog.youkuaiyun.com/dgit3228/article/details/101275390</guid><author>dgit3228</author><pubDate>Mon, 29 Sep 2014 11:38:00 +0800</pubDate><description><![CDATA[转自：http://wly719.iteye.com/blog/1827394
1、syslog格式介绍
在Unix类操作系统上，syslog广泛 应用于系统日志。syslog日志消息既可以记录在本地文件中，也可以通过网络发送到接收syslog的服务器。接收syslog的服务器可以对多个设备 的syslog消息进行统一的存储，或者解析其中的内容做相应的处理。常见的应用场景是...]]></description><category></category></item><item><title><![CDATA[linux下syslog使用说明]]></title><link>https://blog.youkuaiyun.com/dgit3228/article/details/101275398</link><guid>https://blog.youkuaiyun.com/dgit3228/article/details/101275398</guid><author>dgit3228</author><pubDate>Mon, 29 Sep 2014 10:57:00 +0800</pubDate><description><![CDATA[转自：http://blog.chinaunix.net/uid-25120309-id-3359929.html

syslog 系统日志应用
1) 概述
syslog是Linux系统默认的日志守护进程。默认的syslog配置文件是/etc/syslog.conf文件。程序，守护进程和内核提供了访问系统的日志信息。因此，任何希望生成日志信息的程序都可以...]]></description><category></category></item><item><title><![CDATA[进程优先级、nice值]]></title><link>https://blog.youkuaiyun.com/dgit3228/article/details/101275388</link><guid>https://blog.youkuaiyun.com/dgit3228/article/details/101275388</guid><author>dgit3228</author><pubDate>Tue, 23 Sep 2014 14:55:00 +0800</pubDate><description><![CDATA[进程cpu资源分配就是指进程的优先权（priority）。优先权高的进程有优先执行权利。配置进程优先权对多任务环境的linux很有用，可以改善系统性能。还可以把进程运行到指定的CPU上，这样一来，把不重要的进程安排到某个CPU，可以大大改善系统整体性能。

一、先看系统进程：



首先，我想用一个简单的命令来引起这个议题。 无论在linux或者unix系统中，用...]]></description><category></category></item><item><title><![CDATA[机架感知]]></title><link>https://blog.youkuaiyun.com/dgit3228/article/details/101275396</link><guid>https://blog.youkuaiyun.com/dgit3228/article/details/101275396</guid><author>dgit3228</author><pubDate>Thu, 18 Sep 2014 15:56:00 +0800</pubDate><description><![CDATA[1.背景

 Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保证在其它机架的节点上找到数据。为了降低整体的带宽消耗和读取延时，...]]></description><category></category></item><item><title><![CDATA[awk实现求和、平均、最大值和最小值的计算操作]]></title><link>https://blog.youkuaiyun.com/dgit3228/article/details/101275386</link><guid>https://blog.youkuaiyun.com/dgit3228/article/details/101275386</guid><author>dgit3228</author><pubDate>Wed, 17 Sep 2014 16:34:00 +0800</pubDate><description><![CDATA[0、准备和数据文件
比如有一个数据文件，只有一列（在之前可以通过各种手段过滤出只有数字这一列），比如操作的响应时间
Txt代码
490898
1189235
20212
1494270
146515
29369
23563
563027
22976
127809
16813
551646
18858
18...]]></description><category></category></item></channel></rss>