<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[wsong_14的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/wsong_14</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wsong_14]]></copyright><item><title><![CDATA[kafka和spark集成启动报错java.lang.NoClassDefFoundError:org/apache/zookeeper/Watcher]]></title><link>https://blog.youkuaiyun.com/wsong_14/article/details/78344448</link><guid>https://blog.youkuaiyun.com/wsong_14/article/details/78344448</guid><author>wsong_14</author><pubDate>Wed, 25 Oct 2017 18:02:31 +0800</pubDate><description><![CDATA[解决方法：进入kafka安装目录下，将其lib目录下的zookeeper jar包拷贝到spark安装目录下的lib目录下
jar包位置如下图：]]></description><category></category></item><item><title><![CDATA[移除ArrayBuffer中第一个负数后的所有负数]]></title><link>https://blog.youkuaiyun.com/wsong_14/article/details/78220284</link><guid>https://blog.youkuaiyun.com/wsong_14/article/details/78220284</guid><author>wsong_14</author><pubDate>Thu, 12 Oct 2017 21:49:12 +0800</pubDate><description><![CDATA[import scala.collection.mutable.ArrayBuffer
object test4 {
  def main(args: Array[String]) {
    //需求：移除下列可变数组中的第一个负数之后的所有负数

    val a =ArrayBuffer[Int]()
    a+=(1,2,3,4,-1,-3,-9,-4)
    var foundFi]]></description><category></category></item><item><title><![CDATA[Scala算法]]></title><link>https://blog.youkuaiyun.com/wsong_14/article/details/78218944</link><guid>https://blog.youkuaiyun.com/wsong_14/article/details/78218944</guid><author>wsong_14</author><pubDate>Thu, 12 Oct 2017 19:52:36 +0800</pubDate><description><![CDATA[为了练习scala，特地从网上找来Java经典问题算法大全，用scala来实现，记录于此。
/*【程序1】
题目：古典问题：有一对兔子，从出生后第3个月起每个月都生一对兔子，小兔子长到第三个月后每个月又生一对兔子，假如兔子都不死，问每个月的兔子总数为多少？
1.程序分析： 兔子的规律为数列1,1,2,3,5,8,13,21....
*/

方法1：


[java] 
view]]></description><category></category></item><item><title><![CDATA[scala 求100-200质数 ，杨辉三角]]></title><link>https://blog.youkuaiyun.com/wsong_14/article/details/78218916</link><guid>https://blog.youkuaiyun.com/wsong_14/article/details/78218916</guid><author>wsong_14</author><pubDate>Thu, 12 Oct 2017 19:50:34 +0800</pubDate><description><![CDATA[1.  100-200  质数import  scala.math
object test1 {
  def main(args: Array[String]):Unit={    def isPrime(p:Int):Boolean={
      for (i <- 2 to math.sqrt(p).toInt) {
        if(p % i ==0){
          retur]]></description><category></category></item><item><title><![CDATA[01_Scala基础语法]]></title><link>https://blog.youkuaiyun.com/wsong_14/article/details/78206785</link><guid>https://blog.youkuaiyun.com/wsong_14/article/details/78206785</guid><author>wsong_14</author><pubDate>Wed, 11 Oct 2017 18:26:44 +0800</pubDate><description><![CDATA[object demo01 {
  def main(args: Array[String]) {
//    print("Hello World!!!")
//    val x1:Int=112313  可以自动推断类型
//    val  x=10//    lazy 只能修饰变量
//    优点 可以直接用于字符串拼接  优于Python
//    print("dfs"+"fgd"]]></description><category></category></item><item><title><![CDATA[Pycharm 添加脚本的头信息模板]]></title><link>https://blog.youkuaiyun.com/wsong_14/article/details/78135092</link><guid>https://blog.youkuaiyun.com/wsong_14/article/details/78135092</guid><author>wsong_14</author><pubDate>Fri, 29 Sep 2017 16:25:41 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[阿里云Maven仓库地址]]></title><link>https://blog.youkuaiyun.com/wsong_14/article/details/78117450</link><guid>https://blog.youkuaiyun.com/wsong_14/article/details/78117450</guid><author>wsong_14</author><pubDate>Wed, 27 Sep 2017 21:26:00 +0800</pubDate><description><![CDATA[在maven的settings.xml 文件里配置mirrors的子节点，添加如下mirror

    mirror>
        id>nexus-aliyunid>
        mirrorOf>*mirrorOf>
        name>Nexus aliyunname>
        url>http://maven.aliyun.com/nexus/content/g]]></description><category></category></item><item><title><![CDATA[Flume讲解]]></title><link>https://blog.youkuaiyun.com/wsong_14/article/details/78106978</link><guid>https://blog.youkuaiyun.com/wsong_14/article/details/78106978</guid><author>wsong_14</author><pubDate>Tue, 26 Sep 2017 21:11:23 +0800</pubDate><description><![CDATA[一、Flume介绍
Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
设计目标：
(1) 可靠性
当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先]]></description><category></category></item><item><title><![CDATA[正则表达式基本用法]]></title><link>https://blog.youkuaiyun.com/wsong_14/article/details/78078394</link><guid>https://blog.youkuaiyun.com/wsong_14/article/details/78078394</guid><author>wsong_14</author><pubDate>Sun, 24 Sep 2017 18:12:07 +0800</pubDate><description><![CDATA[正则表达式：符合一定规则的表达式，用特定符号来表达一些代码。

    特点：用于一些特定的符号来表示一些代码操作，这样可以简化书写

    作用:专门用于操作字符串。

    优点：可以简化对字符串的复杂操作。

    缺点：符号定义越多，正则表达式越长，阅读性越差

正则表达式的构造摘要

1. 字符

        \\                 反]]></description><category></category></item><item><title><![CDATA[Hive中join的三种方式]]></title><link>https://blog.youkuaiyun.com/wsong_14/article/details/78077010</link><guid>https://blog.youkuaiyun.com/wsong_14/article/details/78077010</guid><author>wsong_14</author><pubDate>Sun, 24 Sep 2017 15:12:15 +0800</pubDate><description><![CDATA[hive在实际的应用过程中，大部份分情况都会涉及到不同的表格的连接，例如在进行两个table的join的时候，利用MR的思想会消耗大量的内存，良妃磁盘的IO，大幅度的影响性能，因为shuffle真的好令人担心啊，总之，就是各种问题都是由他产生的。下面介绍一下涉及hive在join的时候的优化方式
第一：在map端产生join
         mapJoin的主要意思就是，当链接的两个表是一个]]></description><category></category></item><item><title><![CDATA[hive数据倾斜调优]]></title><link>https://blog.youkuaiyun.com/wsong_14/article/details/78076870</link><guid>https://blog.youkuaiyun.com/wsong_14/article/details/78076870</guid><author>wsong_14</author><pubDate>Sun, 24 Sep 2017 14:54:26 +0800</pubDate><description><![CDATA[HIVE 数据倾斜调优总结



在做Shuffle阶段的优化过程中，遇 到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些 Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段 的，map处理数据量的差异取决于上一个s]]></description><category></category></item><item><title><![CDATA[HDFS数据安全性如何保证]]></title><link>https://blog.youkuaiyun.com/wsong_14/article/details/78070931</link><guid>https://blog.youkuaiyun.com/wsong_14/article/details/78070931</guid><author>wsong_14</author><pubDate>Sat, 23 Sep 2017 15:05:42 +0800</pubDate><description><![CDATA[HDFS数据安全性如何保证

1)、存储在HDFS系统上的文件，会分割成128M大小的block存储在不同的节点上，block的副本数默认3份，也可配置成更多份；

2)、第一个副本一般放置在与client（客户端）所在的同一节点上（若客户端无datanode，则随机放），第二个副本放置到与第一个副本同一机架的不同节点，第三个副本放到不同机架的datanode节点，当取用时遵循就近原则；]]></description><category></category></item><item><title><![CDATA[hadoop2.x与Hadoop1.x区别]]></title><link>https://blog.youkuaiyun.com/wsong_14/article/details/78070921</link><guid>https://blog.youkuaiyun.com/wsong_14/article/details/78070921</guid><author>wsong_14</author><pubDate>Sat, 23 Sep 2017 15:04:43 +0800</pubDate><description><![CDATA[hadoop2.x与Hadoop1.x区别：

（1）2.x比1.x从性能上有很大增强 

（2）Hadoop1中的JobTracker是一个功能集中的部分，负责资源的分配和任务的分配，所以JobTracker单点出问题就会造成整个集群无法使用了，而且MapReduce模式是集成在Hadoop1中，不易分解;Hadoop2中，ResourceManager(RM)就是负责资源的分配，Nod]]></description><category></category></item><item><title><![CDATA[hadoop案例分析（三）]]></title><link>https://blog.youkuaiyun.com/wsong_14/article/details/78035888</link><guid>https://blog.youkuaiyun.com/wsong_14/article/details/78035888</guid><author>wsong_14</author><pubDate>Tue, 19 Sep 2017 23:35:22 +0800</pubDate><description><![CDATA[随笔 - 270  文章 - 1 
评论 - 1341

Hadoop学习笔记—20.网站日志分析项目案例（三）统计分析

网站日志分析项目案例（一）项目介绍：http://www.cnblogs.com/edisonchou/p/4449082.html
网站日志分析项目案例（二）数据清洗：http://www.cnblogs.com/edisonchou/p/4458219.htm]]></description><category></category></item><item><title><![CDATA[hadoop案例分析（二）]]></title><link>https://blog.youkuaiyun.com/wsong_14/article/details/78035873</link><guid>https://blog.youkuaiyun.com/wsong_14/article/details/78035873</guid><author>wsong_14</author><pubDate>Tue, 19 Sep 2017 23:33:48 +0800</pubDate><description><![CDATA[Hadoop学习笔记—20.网站日志分析项目案例（二）数据清洗

网站日志分析项目案例（一）项目介绍：http://www.cnblogs.com/edisonchou/p/4449082.html
网站日志分析项目案例（二）数据清洗：当前页面

网站日志分析项目案例（三）统计分析：http://www.cnblogs.com/edisonchou/p/4464349.html

一]]></description><category></category></item><item><title><![CDATA[hadoop网站日志分析（一）]]></title><link>https://blog.youkuaiyun.com/wsong_14/article/details/78032844</link><guid>https://blog.youkuaiyun.com/wsong_14/article/details/78032844</guid><author>wsong_14</author><pubDate>Tue, 19 Sep 2017 17:54:41 +0800</pubDate><description><![CDATA[Hadoop学习笔记—20.网站日志分析项目案例（一）项目介绍

网站日志分析项目案例（一）项目介绍：当前页面
网站日志分析项目案例（二）数据清洗：http://www.cnblogs.com/edisonchou/p/4458219.html
网站日志分析项目案例（三）统计分析：http://www.cnblogs.com/edisonchou/p/4464349.html

一、项]]></description><category></category></item><item><title><![CDATA[mysql执行引擎]]></title><link>https://blog.youkuaiyun.com/wsong_14/article/details/78029577</link><guid>https://blog.youkuaiyun.com/wsong_14/article/details/78029577</guid><author>wsong_14</author><pubDate>Tue, 19 Sep 2017 14:23:32 +0800</pubDate><description><![CDATA[MyISAM: 优势 – 查询速度快 – 数据和索引压缩问题 – 表级锁 – 数据丢失

InnoDB: 优势 – 行级锁 – 事务支持 – 数据安全问题 – 数据文件庞大 – 启动慢 – 不支持FULLTEXT索引


　　如果你是个赛车手并且按一下按钮就能够立即更换引擎而不需要把车开到车库里去换，那会是怎么感觉呢？MySQL数据库为开发人员所做的就好像是按按钮换引擎；它让你选择数据库]]></description><category></category></item><item><title><![CDATA[hbase读写流程]]></title><link>https://blog.youkuaiyun.com/wsong_14/article/details/78028546</link><guid>https://blog.youkuaiyun.com/wsong_14/article/details/78028546</guid><author>wsong_14</author><pubDate>Tue, 19 Sep 2017 12:12:10 +0800</pubDate><description><![CDATA[----------------------------------------

hbase表数据的检索流程图（读和写的流程）  
    
    1、hbase在Hadoop集群中的物理架构 
        master通常是Hadoop集群中的一台或两台（backup-Master）
        regionserver通常是Hadoop集群中的部分或全部
      ]]></description><category></category></item><item><title><![CDATA[hbase与sqoop集成]]></title><link>https://blog.youkuaiyun.com/wsong_14/article/details/78025495</link><guid>https://blog.youkuaiyun.com/wsong_14/article/details/78025495</guid><author>wsong_14</author><pubDate>Tue, 19 Sep 2017 00:43:33 +0800</pubDate><description><![CDATA[HBase与 Sqoop整合

将mysql中的数据导入到HBase

## 在mysql中创建一张表

create database demo;

use demo;

//导入全部数据到MySQL 在mysql命令行

source /home/bigdata/so_detail.sql

//验证数据是否导入成功

select * from so_deta]]></description><category></category></item><item><title><![CDATA[hbase与hive集成]]></title><link>https://blog.youkuaiyun.com/wsong_14/article/details/78025490</link><guid>https://blog.youkuaiyun.com/wsong_14/article/details/78025490</guid><author>wsong_14</author><pubDate>Tue, 19 Sep 2017 00:41:45 +0800</pubDate><description><![CDATA[hbase与hive集成
    
官方部署使用参考资料：
    官方文档步骤在hive的官网上： 


1、拷贝jar包或创建jar包的软连接
    hive作为一个客户端访问hbase需要hbase相同jar包的依赖支持
    创建软连接，hive作为hbase的客户端需要访问hbase，需要相关jar包依赖
    软连接类似于快捷方式，删除软连接不会删除原文件
 ]]></description><category></category></item></channel></rss>