<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[csdnwindnorth的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/csdnwindnorth</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; csdnwindnorth]]></copyright><item><title><![CDATA[Flink（二）]]></title><link>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103758485</link><guid>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103758485</guid><author>csdnwindnorth</author><pubDate>Sun, 29 Dec 2019 22:00:24 +0800</pubDate><description><![CDATA[Flink集群搭建
Flink可以选择的部署方式有：
Local、Standalone（资源利用率低）、Yarn、Mesos、Docker、Kubernetes、AWS。
Standalone模式安装

软件要求

Java 1.8.x或更高版本
ssh（必须运行sshd才能使用管理远程组件的Flink脚本）
集群部署规划




节点名称
master
worker
zookeeper




...]]></description><category></category></item><item><title><![CDATA[Bigdata_Flink（一）]]></title><link>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103604795</link><guid>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103604795</guid><author>csdnwindnorth</author><pubDate>Wed, 18 Dec 2019 21:00:44 +0800</pubDate><description><![CDATA[概述
流处理语义

At most once（最多一次）：
每条数据记录最多被处理一次，潜台词也表明数据会有丢失（没被处理掉）的可能。
At least once（最少一次）：
每条数据记录至少被处理一次。这个比上一点强的地方在于这里至少保证数据不会丢，至少被处理过，唯一不足之处在于数据可能会被重复处理。
Exactly once（恰好一次）：
每条数据记录正好被处理一次。没有数据丢失，也没有重复...]]></description><category></category></item><item><title><![CDATA[Bigdata_内存数据库]]></title><link>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103588065</link><guid>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103588065</guid><author>csdnwindnorth</author><pubDate>Tue, 17 Dec 2019 21:26:45 +0800</pubDate><description><![CDATA[MemCached缓存技术
什么是MemCached
Memcache是一套开源,高性能的分布式的内存对象缓存系统，目前被许多网站使用以提升网站的访问速度，尤其对于一些大型的、需要频繁访问数据库的网站访问速度提升效果十分显著 。
Memcache将所有数据存储在内存中，并在内存里维护一个统一的巨大的Hash表，它能存储任意类型的数据，包括图像、视频、文件以及数据库检索的结果等。简单的说就是将数据调...]]></description><category></category></item><item><title><![CDATA[Kafka（二）]]></title><link>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103554154</link><guid>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103554154</guid><author>csdnwindnorth</author><pubDate>Sun, 15 Dec 2019 21:43:54 +0800</pubDate><description><![CDATA[Kafka工作流程分析
写入方式
producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障kafka吞吐率）。
分区（Partition）
Kafka集群有多个消息代理服务器（broker-server）组成，发布到Kafka集群的每条消息都有一个类别，用主题（topic）来表...]]></description><category></category></item><item><title><![CDATA[Bigdata_Kafka（一）]]></title><link>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103358271</link><guid>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103358271</guid><author>csdnwindnorth</author><pubDate>Mon, 02 Dec 2019 22:13:20 +0800</pubDate><description><![CDATA[Kafka是什么
在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。
1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。
2）Kafka最初是由LinkedIn公司开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通...]]></description><category></category></item><item><title><![CDATA[Bigdata_Elasticsearch]]></title><link>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103266990</link><guid>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103266990</guid><author>csdnwindnorth</author><pubDate>Tue, 26 Nov 2019 22:58:44 +0800</pubDate><description><![CDATA[概述
什么是搜索
百度：我们比如说想找寻任何的信息的时候，就会上百度去搜索一下，比如说找一部自己喜欢的电影，或者说找一本喜欢的书，或者找一条感兴趣的新闻（提到搜索的第一印象）。
百度 != 搜索
1）互联网的搜索：电商网站，招聘网站，新闻网站，各种app
2）IT系统的搜索：OA软件，办公自动化软件，会议管理，日程管理，项目管理。
搜索，就是在任何场景下，找寻你想要的信息，这个时候，会输入一段你要...]]></description><category></category></item><item><title><![CDATA[大数据之Spark Streaming调优]]></title><link>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103228901</link><guid>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103228901</guid><author>csdnwindnorth</author><pubDate>Sun, 24 Nov 2019 21:03:55 +0800</pubDate><description><![CDATA[减少批数据的执行时间
在Spark中有几个优化可以减少批处理的时间：
①　数据接收的并行水平
通过网络(如kafka，flume，socket等)接收数据需要这些数据反序列化并被保存到Spark中。如果数据接收成为系统的瓶颈，就要考虑并行地接收数据。注意，每个输入DStream创建一个receiver（运行在worker机器上）接收单个数据流。创建多个输入DStream并配置它们可以从源中接收不同...]]></description><category></category></item><item><title><![CDATA[大数据之Spark Streaming（二）]]></title><link>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103228365</link><guid>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103228365</guid><author>csdnwindnorth</author><pubDate>Sun, 24 Nov 2019 20:26:43 +0800</pubDate><description><![CDATA[输入DStreams和接收器
输入DStreams表示从数据源获取输入数据流的DStreams。在NetworkWordCount例子中，lines表示输入DStream，它代表从netcat服务器获取的数据流。每一个输入流DStream和一个Receiver对象相关联，这个Receiver从源中获取数据，并将数据存入内存中用于处理。
输入DStreams表示从数据源获取的原始数据流。Spark ...]]></description><category></category></item><item><title><![CDATA[大数据之Spark Streaming]]></title><link>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103187966</link><guid>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103187966</guid><author>csdnwindnorth</author><pubDate>Thu, 21 Nov 2019 17:53:31 +0800</pubDate><description><![CDATA[Spark Streaming简介
Spark Streaming是核心Spark API的扩展，可实现可扩展、高吞吐量、可容错的实时数据流处理。数据可以从诸如Kafka，Flume，Kinesis或TCP套接字等众多来源获取，并且可以使用由高级函数（如map，reduce，join和window）开发的复杂算法进行流数据处理。最后，处理后的数据可以被推送到文件系统，数据库和实时仪表板。而且，您还...]]></description><category></category></item><item><title><![CDATA[SparkSQL案例]]></title><link>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103171131</link><guid>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103171131</guid><author>csdnwindnorth</author><pubDate>Wed, 20 Nov 2019 20:42:24 +0800</pubDate><description><![CDATA[import java.text.SimpleDateFormat

import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.SparkSession

/**
 * @Autho: Administrator and wind
 * @Version: 2019/11/19 &amp; 1.0
 *
 * Spark...]]></description><category></category></item><item><title><![CDATA[大数据之SparkSQL优化]]></title><link>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103171108</link><guid>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103171108</guid><author>csdnwindnorth</author><pubDate>Wed, 20 Nov 2019 20:41:00 +0800</pubDate><description><![CDATA[SparkSQL性能优化
在内存中缓存数据
性能调优主要是将数据放入内存中操作。通过spark.cacheTable(“tableName”)或者dataFrame.cache()。使用spark.uncacheTable(“tableName”)来从内存中去除table

Demo案例
从Oracle数据库中读取数据，生成DataFrame
val oracleDF = spark.read.f...]]></description><category></category></item><item><title><![CDATA[大数据之Spark（三）]]></title><link>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103115228</link><guid>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103115228</guid><author>csdnwindnorth</author><pubDate>Sun, 17 Nov 2019 23:07:15 +0800</pubDate><description><![CDATA[Spark SQL基础
Spark SQL简介

Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。
Spark SQL的特点：

容易整合（集成）

统一的数据访问方式

兼容Hive

标准的数据连接


基本概念：Datasets和DataFrames


DataFrame
DataFrame是组织成命...]]></description><category></category></item><item><title><![CDATA[Spark基础编程案例]]></title><link>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103039819</link><guid>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103039819</guid><author>csdnwindnorth</author><pubDate>Wed, 13 Nov 2019 22:20:25 +0800</pubDate><description><![CDATA[Spark基础编程案例
案例一：求网站的访问量


求出访问量最高的两个网页
要求显示：网页名称、访问量


]]></description><category></category></item><item><title><![CDATA[大数据之Spark（二）]]></title><link>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103017984</link><guid>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103017984</guid><author>csdnwindnorth</author><pubDate>Mon, 11 Nov 2019 21:00:26 +0800</pubDate><description><![CDATA[Spark的算子
RDD基础
什么是RDD?
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。
RD...]]></description><category></category></item><item><title><![CDATA[大数据之Spark（一）]]></title><link>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103003240</link><guid>https://blog.youkuaiyun.com/csdnwindnorth/article/details/103003240</guid><author>csdnwindnorth</author><pubDate>Sun, 10 Nov 2019 22:34:15 +0800</pubDate><description><![CDATA[什么是Spark？
官网：http://spark.apache.org

我的翻译：Spark是一个针对大规模数据处理的快速通用引擎
Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包...]]></description><category></category></item><item><title><![CDATA[Scala（五）]]></title><link>https://blog.youkuaiyun.com/csdnwindnorth/article/details/102940286</link><guid>https://blog.youkuaiyun.com/csdnwindnorth/article/details/102940286</guid><author>csdnwindnorth</author><pubDate>Thu, 07 Nov 2019 22:39:30 +0800</pubDate><description><![CDATA[Scala中的集合
1、可变集合和不可变集合
可变集合
不可变集合：

集合从不改变，因此可以安全地共享其引用。
甚至是在一个多线程的应用程序当中也没问题。

集合的操作：


2、列表

不可变列表（List）


可变列表（LinkedList）：scala.collection.mutable


3、序列
常用的序列有：Vector和Range

Vector是ArrayBuffer的不可...]]></description><category></category></item><item><title><![CDATA[Java与Scala快排]]></title><link>https://blog.youkuaiyun.com/csdnwindnorth/article/details/102924363</link><guid>https://blog.youkuaiyun.com/csdnwindnorth/article/details/102924363</guid><author>csdnwindnorth</author><pubDate>Tue, 05 Nov 2019 20:58:36 +0800</pubDate><description><![CDATA[快排
Java快排
public class QuitSortJava {
    /**
     *
     * 基准
     * 左右哨兵
     *数组进行基准分区
     * 递归
     */

    public static void sort(int[] arr, int start, int end){
        //判断递归停止条件，右边哨兵小于等于左边哨兵...]]></description><category></category></item><item><title><![CDATA[Scala（四）]]></title><link>https://blog.youkuaiyun.com/csdnwindnorth/article/details/102916937</link><guid>https://blog.youkuaiyun.com/csdnwindnorth/article/details/102916937</guid><author>csdnwindnorth</author><pubDate>Tue, 05 Nov 2019 15:32:08 +0800</pubDate><description><![CDATA[Scala中的trait（特质）
trait就是抽象类。trait跟抽象类最大的区别：trait支持多重继承

trait Human{
  //定义抽象字段
  val id : Int
  val name : String
}

trait Action{
  //定义一个抽象函数
  def getActionName() : String
}
  //定义子类
class Student...]]></description><category></category></item><item><title><![CDATA[Scala（三）]]></title><link>https://blog.youkuaiyun.com/csdnwindnorth/article/details/102884643</link><guid>https://blog.youkuaiyun.com/csdnwindnorth/article/details/102884643</guid><author>csdnwindnorth</author><pubDate>Sun, 03 Nov 2019 17:31:45 +0800</pubDate><description><![CDATA[映射
映射就是Map集合，由一个(key,value)组成。
-&gt; 操作符用来创建
例如：
val scores = Map(“Alice” -&gt; 10,”Bob” -&gt; 3,”Cindy” -&gt; 8)
映射的类型分为：不可变Map和可变Map

映射的操作
获取映射中的值

更新映射中的值（必须是可变Map）

迭代映射

举例：
		创建一个Map来保存学生的成绩
		...]]></description><category></category></item><item><title><![CDATA[Scala（二）]]></title><link>https://blog.youkuaiyun.com/csdnwindnorth/article/details/102806371</link><guid>https://blog.youkuaiyun.com/csdnwindnorth/article/details/102806371</guid><author>csdnwindnorth</author><pubDate>Tue, 29 Oct 2019 18:50:37 +0800</pubDate><description><![CDATA[Scala函数的参数
Scala中，有两种函数参数的求值策略
Call By Value：对函数实参求值，且仅求一次
Call By Name：函数实参每次在函数体内被用到时都会求值

我们来分析一下，上面两个调用执行的过程：

一份复杂一点的例子：

Scala中的函数参数
默认参数
代名参数
可变参数

		（1）默认参数
			当你没有给参数赋值的时候，就使用默认值
			scala&gt;...]]></description><category></category></item></channel></rss>