<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[shendefu的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/shendefu</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; shendefu]]></copyright><item><title><![CDATA[hadoop组件概况]]></title><link>https://blog.youkuaiyun.com/shendefu/article/details/53576576</link><guid>https://blog.youkuaiyun.com/shendefu/article/details/53576576</guid><author>shendefu</author><pubDate>Sun, 11 Dec 2016 23:12:47 +0800</pubDate><description><![CDATA[1. hadoop 生态概况

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

具有可靠、高效、可伸缩的特点。

Hadoop的核心是YARN,HDFS和Mapreduce

下图是hadoop生态系统，集成spark生态圈。在未来一段时间内，hadoop将于]]></description><category></category></item><item><title><![CDATA[正则表达式匹配邮箱]]></title><link>https://blog.youkuaiyun.com/shendefu/article/details/53576560</link><guid>https://blog.youkuaiyun.com/shendefu/article/details/53576560</guid><author>shendefu</author><pubDate>Sun, 11 Dec 2016 23:07:51 +0800</pubDate><description><![CDATA[1. 
"^\\s*\\w+(?:\\.{0,1}[\\w-]+)*@[a-zA-Z0-9]+(?:[-.][a-zA-Z0-9]+)*\\.[a-zA-Z]+\\s*$"
2.
^[A-Za-z0-9][\\w\\-\\.]{3,12}@([\\w\\-]+\\.)+[\\w]{2,3}$

两种方法，据说第一种是企业级代码，根据自己需要选择]]></description><category></category></item><item><title><![CDATA[hive  udf]]></title><link>https://blog.youkuaiyun.com/shendefu/article/details/53456906</link><guid>https://blog.youkuaiyun.com/shendefu/article/details/53456906</guid><author>shendefu</author><pubDate>Sun, 04 Dec 2016 22:08:14 +0800</pubDate><description><![CDATA[1.

package com.hrj.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;

public classmyUDF extends UDF {

    public String evaluate(String str) {

        try {

            return "Hel]]></description><category></category></item><item><title><![CDATA[hadoop yarn-site.xml配置]]></title><link>https://blog.youkuaiyun.com/shendefu/article/details/53394758</link><guid>https://blog.youkuaiyun.com/shendefu/article/details/53394758</guid><author>shendefu</author><pubDate>Tue, 29 Nov 2016 16:59:40 +0800</pubDate><description><![CDATA[参数

默认值

描述



yarn.resourcemanager.hostname

 

RM的hostname



yarn.resourcemanager.address

${yarn.resourcemanager.hostname}:8032

RM对客户端暴露的地址，客户端通过该地址向RM提交应用程序等



yarn.reso]]></description><category></category></item><item><title><![CDATA[java实现hadoop的cat命令]]></title><link>https://blog.youkuaiyun.com/shendefu/article/details/53362990</link><guid>https://blog.youkuaiyun.com/shendefu/article/details/53362990</guid><author>shendefu</author><pubDate>Sun, 27 Nov 2016 08:36:36 +0800</pubDate><description><![CDATA[本人理解的就是读取指定目录下文件输出出来
package com.hdfs;


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;


import org.apache.hadoop.conf.Configuration;
import or]]></description><category></category></item><item><title><![CDATA[hadoop之 mapreduce]]></title><link>https://blog.youkuaiyun.com/shendefu/article/details/53362970</link><guid>https://blog.youkuaiyun.com/shendefu/article/details/53362970</guid><author>shendefu</author><pubDate>Sun, 27 Nov 2016 08:01:13 +0800</pubDate><description><![CDATA[直接给上代码
package com.hdfs;


import java.io.IOException;
import java.util.Iterator;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWri]]></description><category></category></item><item><title><![CDATA[spark 安装]]></title><link>https://blog.youkuaiyun.com/shendefu/article/details/53242774</link><guid>https://blog.youkuaiyun.com/shendefu/article/details/53242774</guid><author>shendefu</author><pubDate>Sun, 20 Nov 2016 18:02:35 +0800</pubDate><description><![CDATA[一.安装scala
上官网下载scala压缩包解压到指定目录，然后配置环境变量（vi /etc/profile进入配置文件）
如：
export  SCALA_HOME=/home/hadoop/local/opt/scala/scala-2.11.4
export  PATH=$PATH:$SCALA_HOME/bi
二.安装java
也就是安装jdk一样 也需要配置环境变量
三.]]></description><category></category></item><item><title><![CDATA[spark与hadoop对比]]></title><link>https://blog.youkuaiyun.com/shendefu/article/details/53150588</link><guid>https://blog.youkuaiyun.com/shendefu/article/details/53150588</guid><author>shendefu</author><pubDate>Sun, 13 Nov 2016 18:42:59 +0800</pubDate><description><![CDATA[1.spark的中间数据放到内存中，一次创建数据集，可以多次迭代运算，减少了IOd的开销，对于迭代运算效率更高。
2.spark更适合于迭代运算比较多的ML和DM运算，因为在spark里面有RDD的抽象概念。
3.spark比hadoop更通用。
4.spark提供的数据集操作类型有多种，不想hadoop只提供了Map和Reduce两种操作。比如ap，filter，flatMap，sampl]]></description><category></category></item><item><title><![CDATA[java 随机生成名字]]></title><link>https://blog.youkuaiyun.com/shendefu/article/details/53037449</link><guid>https://blog.youkuaiyun.com/shendefu/article/details/53037449</guid><author>shendefu</author><pubDate>Fri, 04 Nov 2016 17:44:02 +0800</pubDate><description><![CDATA[为了测试延云YDB的大量数据秒级查询功能需要伪造大量的数据，这里分享下如何随机生成人名直接给出代码如下：






public class Mytest1 {
public static void main(String[] args) {
for (int i=0;i
"楮", "卫", "蒋", "沈", "韩", "杨", "朱", "秦", "尤", "许", "何]]></description><category></category></item><item><title><![CDATA[CASE WHEN用法]]></title><link>https://blog.youkuaiyun.com/shendefu/article/details/53033222</link><guid>https://blog.youkuaiyun.com/shendefu/article/details/53033222</guid><author>shendefu</author><pubDate>Fri, 04 Nov 2016 11:34:34 +0800</pubDate><description><![CDATA[1. CASE WHEN 表达式有两种形式


--简单Case函数  

CASE sex  
WHEN '1' THEN '男'  
WHEN '2' THEN '女'  
ELSE '其他' END  

--Case搜索函数  

CASE
WHEN sex = '1' THEN '男'  
WHEN sex = '2' THEN '女'  
ELSE '其他' END  

]]></description><category></category></item><item><title><![CDATA[随机数生成Math.random()]]></title><link>https://blog.youkuaiyun.com/shendefu/article/details/53020537</link><guid>https://blog.youkuaiyun.com/shendefu/article/details/53020537</guid><author>shendefu</author><pubDate>Thu, 03 Nov 2016 13:15:16 +0800</pubDate><description><![CDATA[Math.random() 产生 [0,1]范围的数字。 假设你要生成 20~50之间的整数 你可以这么样做 [0~1]*30+20 等价于 [0*30~1*30]+20 

随机生成两位数则是：Math.random()*90+10
随机生成三位数则是：Math.random()*900)+100

以此类推 就能得到你想要的答案了]]></description><category></category></item><item><title><![CDATA[linux系统常见十大错误]]></title><link>https://blog.youkuaiyun.com/shendefu/article/details/52975674</link><guid>https://blog.youkuaiyun.com/shendefu/article/details/52975674</guid><author>shendefu</author><pubDate>Sun, 30 Oct 2016 22:47:05 +0800</pubDate><description><![CDATA[学习大数据（hadoop、spark、延云YDB）一定要先了解Linux系统，这里和大家分享下linux系统常见的问题

linux管理常见错误一：随意许可，原因是不理解许可

　　如果对许可配置不当，就会给黑客留下机会。处理许可问题的最简单方法是使用所谓的RWE方法，即Read(读取)、Write(写入)、Execute(执行)。假设你想让一个用户能够读取一个文件但不能写入文件。为此，你]]></description><category></category></item><item><title><![CDATA[java  socket]]></title><link>https://blog.youkuaiyun.com/shendefu/article/details/52944954</link><guid>https://blog.youkuaiyun.com/shendefu/article/details/52944954</guid><author>shendefu</author><pubDate>Thu, 27 Oct 2016 13:29:10 +0800</pubDate><description><![CDATA[一，网络编程中两个主要的问题
一个是如何准确的定位网络上一台或多台主机，另一个就是找到主机后如何可靠高效的进行数据传输。
在TCP/IP协议中IP层主要负责网络主机的定位，数据传输的路由，由IP地址可以唯一地确定Internet上的一台主机。
而TCP层则提供面向应用的可靠（tcp）的或非可靠（UDP）的数据传输机制，这是网络编程的主要对象，一般不需要关心IP层是如何处理数据的。
目前较为]]></description><category></category></item><item><title><![CDATA[常用的正则表达式]]></title><link>https://blog.youkuaiyun.com/shendefu/article/details/52923972</link><guid>https://blog.youkuaiyun.com/shendefu/article/details/52923972</guid><author>shendefu</author><pubDate>Tue, 25 Oct 2016 16:34:33 +0800</pubDate><description><![CDATA[常用正则表达式






正则表达式中有很多上述的具有特别意义的字符。首先是下列字符。

[ ]范围描述符。[a-z]表示从a到z之间的任意一个。\w英文字母和数字。即[0-9 A-Z a-z]。\W非英文字母和数字\s空字符，即[\t\n\r\f]。\S非空字符。\d数字，即[0-9]。\D非数字。\b词边界字符（在范围描述符外部时）\B非词边界字符\b退格符（0x08）（在]]></description><category></category></item><item><title><![CDATA[什么是大数据？]]></title><link>https://blog.youkuaiyun.com/shendefu/article/details/52909097</link><guid>https://blog.youkuaiyun.com/shendefu/article/details/52909097</guid><author>shendefu</author><pubDate>Mon, 24 Oct 2016 09:55:27 +0800</pubDate><description><![CDATA[1.首先说下大数据产生的作用有多大，用三大信息化浪潮来对比说明





信息化浪潮
发生时间
标志
解决问题
代表企业


第一次浪潮
1980年前后
个人计算机
信息处理
Intel、AMD、IBM、苹果、微软、联想、戴尔等


第二次浪潮
1995年前后
互联网
信息传输
雅虎、谷歌、阿里巴巴、百度腾讯等


第三次浪潮
2010年前后]]></description><category></category></item><item><title><![CDATA[个人认为Hive常用到的SQL命令]]></title><link>https://blog.youkuaiyun.com/shendefu/article/details/52885490</link><guid>https://blog.youkuaiyun.com/shendefu/article/details/52885490</guid><author>shendefu</author><pubDate>Fri, 21 Oct 2016 17:22:19 +0800</pubDate><description><![CDATA[Hadoop Spark 之Hive的SQL]]></description><category></category></item><item><title><![CDATA[安装hadoop之ssh无密码登录]]></title><link>https://blog.youkuaiyun.com/shendefu/article/details/52833593</link><guid>https://blog.youkuaiyun.com/shendefu/article/details/52833593</guid><author>shendefu</author><pubDate>Sun, 16 Oct 2016 22:22:42 +0800</pubDate><description><![CDATA[为了更快的了解我们延云云计算公司的产品延云YDB，需要我们熟练安装hadoop产品，这里介绍下安装之前很重要的一步SSH无密码登录的步骤
1.首先要ssh创建秘钥：ssh-keygen  回车后直接生成一对秘钥  id_rsa 和id_rsa.pub
2.接下来就要把id_ras.pub追加到key里边去：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_k]]></description><category></category></item><item><title><![CDATA[初学linux系统建议以及常用命令]]></title><link>https://blog.youkuaiyun.com/shendefu/article/details/52797462</link><guid>https://blog.youkuaiyun.com/shendefu/article/details/52797462</guid><author>shendefu</author><pubDate>Wed, 12 Oct 2016 15:09:41 +0800</pubDate><description><![CDATA[学好大数据hadoop的基石]]></description><category></category></item><item><title><![CDATA[linux系统下安装jdk环境变量]]></title><link>https://blog.youkuaiyun.com/shendefu/article/details/52781777</link><guid>https://blog.youkuaiyun.com/shendefu/article/details/52781777</guid><author>shendefu</author><pubDate>Mon, 10 Oct 2016 21:07:12 +0800</pubDate><description><![CDATA[1.首先要先下载jdk，如果下载到windows系统下可以利用WinSCP工具转移到linux系统下。
2.tar zxvf 加上jdk安装包就可以解压了(如果想移动jdk可进行 mv jdk1.8.0_60/usr/local操作)。
3. vi /etc/profile 输入 i 加入以下内容
export JAVA_HOME=/usr/local/jdk1.8.0_60
export]]></description><category></category></item></channel></rss>