<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[cfeng1718的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/cfeng1718</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; cfeng1718]]></copyright><item><title><![CDATA[spring security 11种过滤器介绍]]></title><link>https://blog.youkuaiyun.com/cfeng1718/article/details/84724679</link><guid>https://blog.youkuaiyun.com/cfeng1718/article/details/84724679</guid><author>cfeng1718</author><pubDate>Tue, 16 Jun 2015 15:26:26 +0800</pubDate><description><![CDATA[[b][color=red]1.HttpSessionContextIntegrationFilter[/color][/b]
 
位于过滤器顶端，第一个起作用的过滤器。
 
用途一，在执行其他过滤器之前，率先判断用户的session中是否已经存在一个SecurityContext了。如果存在，就把SecurityContext拿出来，放到SecurityContextHolder中，供S...]]></description><category></category></item><item><title><![CDATA[SpringSecurity使用记录（五）-- 配置]]></title><link>https://blog.youkuaiyun.com/cfeng1718/article/details/84724587</link><guid>https://blog.youkuaiyun.com/cfeng1718/article/details/84724587</guid><author>cfeng1718</author><pubDate>Tue, 16 Jun 2015 10:05:13 +0800</pubDate><description><![CDATA[一直通过默认配置进行设置：
namespace(是security 3.0,网上也看到一些兄弟描述的是3.0，但是总是不符合我这里的namespace配置):

按照默认配置的http（这是用来根据namespace设置的基本的security过滤器chain）：
auto-config=true时，就相当于
  
    
    
    
  
也就是使用了默认的过滤器。...]]></description><category></category></item><item><title><![CDATA[spring security 权限控制表达式]]></title><link>https://blog.youkuaiyun.com/cfeng1718/article/details/84724581</link><guid>https://blog.youkuaiyun.com/cfeng1718/article/details/84724581</guid><author>cfeng1718</author><pubDate>Tue, 16 Jun 2015 09:49:48 +0800</pubDate><description><![CDATA[@PreAuthorize：该注解用来确定一个方法是否应该被执行。该注解后面跟着的是一个表达式，如果表达式的值为真，则该方法会被执行。
 	如 @PreAuthorize(&quot;hasRole('ROLE_USER')&quot;)就说明只有当前用户具有角色 ROLE_USER的时候才会执行。
@PostAuthorize：该注解用来在方法执行完之后进行访问控制检查。
@PostFilter：该注解用来对...]]></description><category></category></item><item><title><![CDATA[spring-security use-expressions详解]]></title><link>https://blog.youkuaiyun.com/cfeng1718/article/details/84724580</link><guid>https://blog.youkuaiyun.com/cfeng1718/article/details/84724580</guid><author>cfeng1718</author><pubDate>Tue, 16 Jun 2015 09:49:29 +0800</pubDate><description><![CDATA[使用 Spring 表达式语言配置访问控制
基于角色标准投票机制的标准实现是使用 RoleVoter ，还有一种替代方法可用来定义语法复杂的投票规则即使用 Spring 表达式语言（ SpEL ）。要实现这一功能的直接方式是在  配置元素上添加 use-expressions 属性：

添加后将要修改用来进行拦截器规则声明的 access 属性，改为 SpEL 表达式。 SpEL 允许使用特...]]></description><category></category></item><item><title><![CDATA[spring security配置]]></title><link>https://blog.youkuaiyun.com/cfeng1718/article/details/84724578</link><guid>https://blog.youkuaiyun.com/cfeng1718/article/details/84724578</guid><author>cfeng1718</author><pubDate>Tue, 16 Jun 2015 09:48:29 +0800</pubDate><description><![CDATA[auto-config = true 则使用from-login. 如果不使用该属性 则默认为http-basic(没有session).
相当于：
       
       
       
      
lowercase-comparisons：表示URL比较前先转为小写。
access-denied-page：访问拒绝时转向的页面。 
access-decision-m...]]></description><category></category></item><item><title><![CDATA[Flume采集处理日志文件]]></title><link>https://blog.youkuaiyun.com/cfeng1718/article/details/84723028</link><guid>https://blog.youkuaiyun.com/cfeng1718/article/details/84723028</guid><author>cfeng1718</author><pubDate>Sun, 07 Jun 2015 21:51:38 +0800</pubDate><description><![CDATA[[b]1.source[/b]
flume提供多种source供用户进行选择，尽可能多的满足大部分日志采集的需求，常用的source的类型包括avro、exec、netcat、spooling-directory和syslog等。具体的使用范围和配置方法详见source.

[b]2.channel[/b]
flume中的channel不如source和sink那么重要，但却是不可忽视的组...]]></description><category></category></item><item><title><![CDATA[flume NG 配置及案例]]></title><link>https://blog.youkuaiyun.com/cfeng1718/article/details/84723006</link><guid>https://blog.youkuaiyun.com/cfeng1718/article/details/84723006</guid><author>cfeng1718</author><pubDate>Sun, 07 Jun 2015 16:20:44 +0800</pubDate><description><![CDATA[[b]Flume 的一些核心概念：[/b]
[table]
|组件|功能
|Agent|使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。
|Client|生产数据，运行在一个独立的线程。
|Source|从Client收集数据，传递给Channel。
|Sink|从Channel收集数据，运行在一个独立线程。
|C...]]></description><category></category></item><item><title><![CDATA[hadoop2.X安装遇到的问题]]></title><link>https://blog.youkuaiyun.com/cfeng1718/article/details/84709797</link><guid>https://blog.youkuaiyun.com/cfeng1718/article/details/84709797</guid><author>cfeng1718</author><pubDate>Wed, 01 Apr 2015 22:26:38 +0800</pubDate><description><![CDATA[1.zookeeper无法启动错误。   可能是由于没有关闭防火墙
2.格式化ZK时   hdfs zkfc –formatZK 无法格式化
原因 复制的命令无法正常执行，手敲的就可以
3.nodemanager无法启动   修改 /etc/hosts 文件   把里面的 127.0.0.1 hadoop ...]]></description><category></category></item><item><title><![CDATA[hadoop2.x常用端口及定义方法]]></title><link>https://blog.youkuaiyun.com/cfeng1718/article/details/84709133</link><guid>https://blog.youkuaiyun.com/cfeng1718/article/details/84709133</guid><author>cfeng1718</author><pubDate>Sun, 29 Mar 2015 12:40:44 +0800</pubDate><description><![CDATA[Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。

这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper:

[table]
|组件|	节点|	默认端口|	配置|	用途说明|
|H...]]></description><category></category></item><item><title><![CDATA[基于ZooKeeper的配置信息同步方案]]></title><link>https://blog.youkuaiyun.com/cfeng1718/article/details/84705883</link><guid>https://blog.youkuaiyun.com/cfeng1718/article/details/84705883</guid><author>cfeng1718</author><pubDate>Thu, 12 Mar 2015 00:39:06 +0800</pubDate><description><![CDATA[整体的设计方案如图：
[img]http://javachen-rs.qiniudn.com/images/2013/zookeeper-01.jpg[/img]

整个配置信息存储方案由三部分组成:ZooKeeper服务器集群、配置管理程序、分布式应用程序。

ZooKeeper服务器集群存储配置信息,在服务器上创建一个保存数据的节点(创建节点操作);配置管理程序提供一个配置管理的UI...]]></description><category></category></item><item><title><![CDATA[shell 特殊命令]]></title><link>https://blog.youkuaiyun.com/cfeng1718/article/details/84705882</link><guid>https://blog.youkuaiyun.com/cfeng1718/article/details/84705882</guid><author>cfeng1718</author><pubDate>Thu, 12 Mar 2015 00:24:18 +0800</pubDate><description><![CDATA[awk命令

作用： 在输出信息中提取相关内容
awk -F 域分隔符‘命令’
示例：
1.检测系统中UID为0的用户
awk -F: '$3==0 {print $1}' /etc/passwd
2.检测系统中密码为空的用户
awk -F: 'length($2)==0{print $1}' /etc/shadow


shift命令
对于某个命令行参数，其参数个数可以不...]]></description><category></category></item><item><title><![CDATA[shell的变量测试语句]]></title><link>https://blog.youkuaiyun.com/cfeng1718/article/details/84705881</link><guid>https://blog.youkuaiyun.com/cfeng1718/article/details/84705881</guid><author>cfeng1718</author><pubDate>Thu, 12 Mar 2015 00:22:13 +0800</pubDate><description><![CDATA[test str1=str2 测试是否相等
test str1!=str2 是否不相等
test str1 是否不为空
test  -n str1 是否不为空
test -z str1 是否为空

文件测试：
test -d file  是否目录
test -f file  是否常规文件
test -x file  是否可执行
test -r file  是否可读
test ...]]></description><category></category></item><item><title><![CDATA[hbase shell命令的使用]]></title><link>https://blog.youkuaiyun.com/cfeng1718/article/details/84605135</link><guid>https://blog.youkuaiyun.com/cfeng1718/article/details/84605135</guid><author>cfeng1718</author><pubDate>Mon, 09 Jun 2014 19:13:30 +0800</pubDate><description><![CDATA[再使用hbase 命令之前先检查一下hbase是否运行正常
[code=&quot;java&quot;]hadoop@Master:/usr/hbase/bin$ jps
2640 HMaster
27170 NameNode
27533 SecondaryNameNode
3038 Jps
27795 TaskTracker
27351 DataNode
2574 HQuorumPeer
276...]]></description><category></category></item><item><title><![CDATA[HBase的安装]]></title><link>https://blog.youkuaiyun.com/cfeng1718/article/details/84605110</link><guid>https://blog.youkuaiyun.com/cfeng1718/article/details/84605110</guid><author>cfeng1718</author><pubDate>Mon, 09 Jun 2014 17:28:58 +0800</pubDate><description><![CDATA[本篇介绍两种HBase的安装方式：本地安装方式和伪分布式安装方式。

安装的前提条件是已经成功安装了hadoop，而且hadoop的版本要和hbase的版本相匹配。

我将要安装的hbase是hbase-0.94.11版本，需要的hadoop是hadoop-1.2.1版本。

hbase下载地址：http://mirror.bit.edu.cn/apache/hbase/hbase-0...]]></description><category></category></item><item><title><![CDATA[Hadoop中Mapper类的setup（）函数在什么地方调用]]></title><link>https://blog.youkuaiyun.com/cfeng1718/article/details/84604389</link><guid>https://blog.youkuaiyun.com/cfeng1718/article/details/84604389</guid><author>cfeng1718</author><pubDate>Thu, 05 Jun 2014 21:27:29 +0800</pubDate><description><![CDATA[经过跟踪hadoop源码发现，Mapper类的setup（）函数在Mapper类的run（）函数中被调用。

向hadoop提交job后，hadoop会在MapTask的runNewMapper（）或者runOldMapper（）函数中使用反馈机制实例化具体的Mapper子类，然后调用这个对象的run（）函数，其中setup()函数就在这个函数的开始被调用，因为hadoop会向setup（）函...]]></description><category></category></item><item><title><![CDATA[Nutch2 WebPage写入数据库的过程分析]]></title><link>https://blog.youkuaiyun.com/cfeng1718/article/details/84604388</link><guid>https://blog.youkuaiyun.com/cfeng1718/article/details/84604388</guid><author>cfeng1718</author><pubDate>Thu, 05 Jun 2014 21:25:37 +0800</pubDate><description><![CDATA[版本: Nutch 2.2.1

本文通过InjectJob来追踪webpage的定义、创建、传递、序列化、写入数据库的整个过程。从源码中摘录了重要的代码行，并标明其所在文件名、行号。

1. 定义 schema
schema直接写在源代码里面：
[code=&quot;java&quot;]//file: [/code]org/apache/nutch/storage/WebPage.java  
/...]]></description><category></category></item><item><title><![CDATA[使用avro生成java文件]]></title><link>https://blog.youkuaiyun.com/cfeng1718/article/details/84604101</link><guid>https://blog.youkuaiyun.com/cfeng1718/article/details/84604101</guid><author>cfeng1718</author><pubDate>Wed, 04 Jun 2014 21:16:31 +0800</pubDate><description><![CDATA[首先下载avro-tools-1.7.6.jar包

创建user.avsc文件和需要生成的文件夹java
[code=&quot;java&quot;]
{&quot;namespace&quot;: &quot;example.avro&quot;,
 &quot;type&quot;: &quot;record&quot;,
 &quot;name&quot;: &quot;User&quot;,
 &quot;fields&quot;: [
     {&quot;name&quot]]></description><category></category></item><item><title><![CDATA[Avro Datafile]]></title><link>https://blog.youkuaiyun.com/cfeng1718/article/details/84603874</link><guid>https://blog.youkuaiyun.com/cfeng1718/article/details/84603874</guid><author>cfeng1718</author><pubDate>Wed, 04 Jun 2014 08:37:55 +0800</pubDate><description><![CDATA[转载请写明来源地址：[url]http://blog.youkuaiyun.com/lastsweetop/article/details/9817999[/url]
所有源码在github上[url]https://github.com/lastsweetop/styhadoop[/url]
datafile组成
datafile的组成如下图：

datafile分为文件头是数据块，如果看图还是不...]]></description><category></category></item><item><title><![CDATA[Avro序列化与反序列化]]></title><link>https://blog.youkuaiyun.com/cfeng1718/article/details/84603871</link><guid>https://blog.youkuaiyun.com/cfeng1718/article/details/84603871</guid><author>cfeng1718</author><pubDate>Wed, 04 Jun 2014 08:23:26 +0800</pubDate><description><![CDATA[转载请写明来源地址：[url]http://blog.youkuaiyun.com/lastsweetop/article/details/9773233[/url]
所有源码在github上[url]https://github.com/lastsweetop/styhadoop[/url]

使用avro在很多情况下是对原有系统的改造，框架格式都已经定义好了，我们只能直接用avro对原有数据进行整合...]]></description><category></category></item><item><title><![CDATA[Avro Schemas]]></title><link>https://blog.youkuaiyun.com/cfeng1718/article/details/84603870</link><guid>https://blog.youkuaiyun.com/cfeng1718/article/details/84603870</guid><author>cfeng1718</author><pubDate>Wed, 04 Jun 2014 08:16:41 +0800</pubDate><description><![CDATA[转载请写明来源地址：[url]http://blog.youkuaiyun.com/lastsweetop/article/details/9664233[/url]
所有源码在github上[url]https://github.com/lastsweetop/styhadoop[/url]
Schema 定义
Schema是JSON格式的，包括下面三种形式：
1.JSON string类型,主要是...]]></description><category></category></item></channel></rss>