<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[flywind800的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/flywind800</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; flywind800]]></copyright><item><title><![CDATA[开源众包的坑，真实记录]]></title><link>https://blog.youkuaiyun.com/flywind800/article/details/132555683</link><guid>https://blog.youkuaiyun.com/flywind800/article/details/132555683</guid><author>flywind800</author><pubDate>Tue, 29 Aug 2023 10:16:38 +0800</pubDate><description><![CDATA[因为比较忙就没再折腾这事，过了一个月登录上去再看看，发现托管的2000元没了！结果：网页上的400-8982-008号码，拨打后提示无此业务号码！最近有个小项目打算找人做，到开源众包上发布了个悬赏任务。然后托管了2000元钱，因为需求改动想关闭悬赏重新发。开源众包，oschina，大坑啊！然后依旧是没法联系上这个平台！在线客服一直没人回复！向邮箱发邮件也没回应！]]></description><category></category></item><item><title><![CDATA[数据湖和Apache Iceberg，Apache Hudi，Delta Lake]]></title><link>https://blog.youkuaiyun.com/flywind800/article/details/125334365</link><guid>https://blog.youkuaiyun.com/flywind800/article/details/125334365</guid><author>flywind800</author><pubDate>Fri, 17 Jun 2022 15:56:10 +0800</pubDate><description><![CDATA[数据湖这个词目前已经流行开来，逐步被数据相关的从业者接受，可能还有很多人不太清楚它和Hadoop，Hive，Spark这些大数据系统的区别，简单说数据湖是个业务概念，主要是为了区别传统数仓这个概念的。
提到数据湖，很多人会和Hudi，Iceberg, Delta Lake三个词联系起来，甚至觉得不用到上面三个技术的系统不是数据湖。这是不对的，数据湖是个业务概念，Hudi、Iceberg这些只是实现技术之一，而且仅用到Hudi、IceBerg或Delta Lake无法实现数据湖.........]]></description><category></category></item><item><title><![CDATA[大数据 元数据管理 apache atlas]]></title><link>https://blog.youkuaiyun.com/flywind800/article/details/124879474</link><guid>https://blog.youkuaiyun.com/flywind800/article/details/124879474</guid><author>flywind800</author><pubDate>Fri, 20 May 2022 11:09:13 +0800</pubDate><description><![CDATA[随着公司数据量的增多，Hive表已经有近千个，为了方便使用和管理，这时候需要一个“元数据管理系统”。

经过搜索，目前开源的Apache Atlas比较符合要求，准备搭建起来试试

网上有很多入门的文章，官网也有介绍，但是…



花了快一天的时间竟然没运行起来！

编译耗时很久，报错…

依赖Zookeeper，Hbase，Solr…

只需要管理下元数据要这么复杂吗？



看了下源码，主项目下面有一堆子项目，子项目里还有子项目…



应该有个精简版，能快速上手，然后根据需要逐步增加复杂的功能



]]></description><category></category></item><item><title><![CDATA[Java：字符串(String)类型转成整型(int)的方法]]></title><link>https://blog.youkuaiyun.com/flywind800/article/details/122028609</link><guid>https://blog.youkuaiyun.com/flywind800/article/details/122028609</guid><author>flywind800</author><pubDate>Sun, 19 Dec 2021 19:52:19 +0800</pubDate><description><![CDATA[在 Java 中，我们可以使用 Integer.parseInt() 或 Integer.valueOf() 将 String 转换为 int。

Integer.parseInt() – 返回原始整数。
Integer.valueOf() – 返回一个 Integer 对象。
对于字符串中的位置或负数，转换是相同的


  String number = "7";

  // result = 7
  int result = Integer.parseInt(numbe...]]></description><category></category></item><item><title><![CDATA[Java：如何获取当前时间]]></title><link>https://blog.youkuaiyun.com/flywind800/article/details/122004134</link><guid>https://blog.youkuaiyun.com/flywind800/article/details/122004134</guid><author>flywind800</author><pubDate>Fri, 17 Dec 2021 20:17:45 +0800</pubDate><description><![CDATA[本文介绍如何从新的 Java 8 java.time.* 中获取当前日期时间，如 Localdate、LocalTime、LocalDateTime、ZonedDateTime、Instant 以及旧的日期时间 API，如 Date 和 Calendar。

新旧API：

对于新的 Java 8 的java.time.* API，我们可以使用 .now() 获取当前日期时间并使用 DateTimeFormatter 对其进行格式化。 对于传统的日期时间 API，我们可以使用 new Date() 和 C.]]></description><category></category></item><item><title><![CDATA[词义辨析：BI, 数据仓库，数据中台，数据湖，Hadoop]]></title><link>https://blog.youkuaiyun.com/flywind800/article/details/121918837</link><guid>https://blog.youkuaiyun.com/flywind800/article/details/121918837</guid><author>flywind800</author><pubDate>Tue, 14 Dec 2021 09:19:12 +0800</pubDate><description><![CDATA[这是一个不断出现新概念的时代，和大数据相关的上面这些词含义有什么区别呢？本人根据多年的大数据领域工作经验来说一下自己的理解。企业对于数据的使用由来已久，数据量小的时候通过人工+类似Excel的软件就能搞定，随着公司规模扩大和数据量增多，并且随着互联网这种对数据依赖性强的企业出现，对数据加工使用的难度就大大增加了。所以产生了很多新概念、新技术，其中就有BI, 数据仓库，数据中台，数据湖，Hadoop等。

    这些词产生的时间、背景、目的等各不相同，但是数据处理和使用的本质是不变的...]]></description><category></category></item><item><title><![CDATA[Spark Streaming：通过Dstreams 或 DataFrames做流数据处理，结果写入ClickHouse或Hive表]]></title><link>https://blog.youkuaiyun.com/flywind800/article/details/121874960</link><guid>https://blog.youkuaiyun.com/flywind800/article/details/121874960</guid><author>flywind800</author><pubDate>Sat, 11 Dec 2021 16:23:56 +0800</pubDate><description><![CDATA[Apache Spark 当前最流行的大数据处理框架之一。最初它是作为替代 Hadoop 的 MapReduce 批处理框架而创建的，但现在它也支持 SQL、机器学习和流处理。今天我们重点看看 Spark Streaming，展示常用流处理的方式。

    流数据处理常出现在大数据用例中，用于连续生成动态数据的场景。在大多数情况下，数据以近似实时的方式处理，一次一条记录，处理结果用于提供及时的报警、呈现在仪表板上或者提供给机器学习模型，让我们基于数据的变化快速做出反应。

Dstre...]]></description><category></category></item><item><title><![CDATA[Hadoop, MapReduce,Hive, HBase, Storm, Spark, Flink, Kylin等大数据框架的角色和关系]]></title><link>https://blog.youkuaiyun.com/flywind800/article/details/86524068</link><guid>https://blog.youkuaiyun.com/flywind800/article/details/86524068</guid><author>flywind800</author><pubDate>Thu, 17 Jan 2019 14:38:17 +0800</pubDate><description><![CDATA[ 

各种大数据框架近几年发展得如火如荼，比如Hadoop, MapReduce,Hive, Hbase, Storm, Spark, Flink, Kylin 等，各个框架的角色是怎么样的？如何配合起来使用？本文将从时间顺序上逐个说明。

首先要介绍一下Hadoop，现在Hadoop分为3部分，分别是HDFS，Yarn和Mrv2

近几年大数据潮流的推进，是需求和技术相互促进的结果，对大数据需求...]]></description><category></category></item><item><title><![CDATA[Flink的window机制]]></title><link>https://blog.youkuaiyun.com/flywind800/article/details/85257182</link><guid>https://blog.youkuaiyun.com/flywind800/article/details/85257182</guid><author>flywind800</author><pubDate>Wed, 26 Dec 2018 09:43:27 +0800</pubDate><description><![CDATA[Window在流式计算中很重要，因为”流”是一个无终点的持续输入，所以通过window机制来分块，进行聚合等各种处理

Keyed vs Non-Keyed Windows


Non-key window是在整个流上进行分块，没法并行处理

Window Assigners

分为4种窗口类型，分别是：

Tumbling Windows；Sliding Windows；Session Wind...]]></description><category></category></item><item><title><![CDATA[Flink的可靠性保证 – CheckPoint机制]]></title><link>https://blog.youkuaiyun.com/flywind800/article/details/85249445</link><guid>https://blog.youkuaiyun.com/flywind800/article/details/85249445</guid><author>flywind800</author><pubDate>Tue, 25 Dec 2018 16:01:33 +0800</pubDate><description><![CDATA[Flink支持Exactly-Once级别的准确行，这是一个很高的要求，一般的高吞吐量系统只支持At-least-Once级别的。Lightweight Asynchronous Snapshots for Distributed Dataflows 这篇论文是Checkpointing 机制的理论基础，这个机制的思想来源于K.MANI CHANDY和LESLIE LAMPORT 发表的一篇分布式...]]></description><category></category></item><item><title><![CDATA[Flink的可靠性保证 - 状态存储]]></title><link>https://blog.youkuaiyun.com/flywind800/article/details/85244503</link><guid>https://blog.youkuaiyun.com/flywind800/article/details/85244503</guid><author>flywind800</author><pubDate>Tue, 25 Dec 2018 10:58:28 +0800</pubDate><description><![CDATA[一 为什么需要State存储

与批计算相比，State是流计算特有的，批计算的failover机制，是失败后重新计算；流计算在大多数场景下是增量计算，数据逐条处理，每次计算是在上一次计算结果之上进行处理的，这就要求对上一次的计算结果进行存储，当因为机器，网络，脏数据等原因导致程序错误的时候，可以重启Job进行state恢复。Flink就是基于state存储，通过CheckPoint机制来保证数据...]]></description><category></category></item><item><title><![CDATA[Flink流式计算里的时间和watermark机制]]></title><link>https://blog.youkuaiyun.com/flywind800/article/details/85235542</link><guid>https://blog.youkuaiyun.com/flywind800/article/details/85235542</guid><author>flywind800</author><pubDate>Mon, 24 Dec 2018 16:45:34 +0800</pubDate><description><![CDATA[一 流计算对“批计算”的优势：

    “流计算”是相对于“批计算”来的，MapReduce，Spark底层的计算方式是目前主流的“批计算”实现方式，很多公司在使用这种方式做大数据处理。但是越来越多的公司目前开始关注“流计算”，主要有以下一些原因：

1 对处理时间的要求。随着技术的进步，用户对“延迟”的忍受能力越来越弱，能更及时发现问题、解决问题，能提升用户体验。

2 在大数据分析领域，数据...]]></description><category></category></item><item><title><![CDATA[Storm常用计算模式]]></title><link>https://blog.youkuaiyun.com/flywind800/article/details/59577811</link><guid>https://blog.youkuaiyun.com/flywind800/article/details/59577811</guid><author>flywind800</author><pubDate>Thu, 02 Mar 2017 17:47:36 +0800</pubDate><description><![CDATA[Apache Storm是目前最流行的实时计算框架之一，基于 streams,
 spouts, bolts, and topologies这些基本组件，可以组合出一些计算模式，每个模式对应解决一类现实中的问题。




下面介绍7种计算模式，并给出代码示例，希望对读者有所帮助：




模式1：
 JOIN




Join一般是指基于摸个共同的属性，把2类内容]]></description><category></category></item><item><title><![CDATA[分布式实时系统STORM的运行时模型]]></title><link>https://blog.youkuaiyun.com/flywind800/article/details/59491776</link><guid>https://blog.youkuaiyun.com/flywind800/article/details/59491776</guid><author>flywind800</author><pubDate>Thu, 02 Mar 2017 13:36:21 +0800</pubDate><description><![CDATA[一 storm的静态模型

    storm的静态模型比较好理解，弄清楚Topology,Spout,Bolt,Stream的含义大概就明白了，不清楚的可以看看strom文档中的Concepts部分。

但是storm是个并行执行的框架，运行状态下的模型是怎么样的呢？




二 storm运行时基本模型




    storm运行是的模型，要弄清楚worker，]]></description><category></category></item><item><title><![CDATA[SVM(支持向量机)算法原理和实际应用]]></title><link>https://blog.youkuaiyun.com/flywind800/article/details/53840025</link><guid>https://blog.youkuaiyun.com/flywind800/article/details/53840025</guid><author>flywind800</author><pubDate>Fri, 23 Dec 2016 15:09:35 +0800</pubDate><description><![CDATA[的说法是


1 对svm有个直观的了解，最好的解释是下面这个




http://www.zhihu.com/question/21094489

https://www.reddit.com/r/MachineLearning/comments/15zrpp/please_explain_support_vector_machines_svm_like_i/]]></description><category></category></item></channel></rss>