<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[s_unbo的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/s_unbo</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; s_unbo]]></copyright><item><title><![CDATA[大数据-玩转数据-Centos7 升级JDK11]]></title><link>https://blog.youkuaiyun.com/s_unbo/article/details/134427562</link><guid>https://blog.youkuaiyun.com/s_unbo/article/details/134427562</guid><author>s_unbo</author><pubDate>Wed, 15 Nov 2023 19:43:59 +0800</pubDate><description><![CDATA[安装必要的（-y表示安装过程中都默认yes）]]></description><category></category></item><item><title><![CDATA[大数据-玩转数据-kafka集群部署]]></title><link>https://blog.youkuaiyun.com/s_unbo/article/details/134406385</link><guid>https://blog.youkuaiyun.com/s_unbo/article/details/134406385</guid><author>s_unbo</author><pubDate>Tue, 14 Nov 2023 19:59:38 +0800</pubDate><description><![CDATA[Kafka 是一个分布式的基于发布/订阅模式的消息队列（MQ，Message Queue），主要应用于大数据实时处理领域。]]></description><category></category></item><item><title><![CDATA[大数据-玩转数据-Flume]]></title><link>https://blog.youkuaiyun.com/s_unbo/article/details/134309754</link><guid>https://blog.youkuaiyun.com/s_unbo/article/details/134309754</guid><author>s_unbo</author><pubDate>Thu, 09 Nov 2023 20:19:58 +0800</pubDate><description><![CDATA[Flume提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务，Flume只能在Unix环境下运行。Flume基于流式架构，容错性强，也很灵活简单。Flume、Kafka用来实时进行数据收集，Spark、Flink用来实时处理数据，impala用来实时查询。]]></description><category></category></item><item><title><![CDATA[大数据工具-kafkaUi-lite]]></title><link>https://blog.youkuaiyun.com/s_unbo/article/details/134143489</link><guid>https://blog.youkuaiyun.com/s_unbo/article/details/134143489</guid><author>s_unbo</author><pubDate>Tue, 31 Oct 2023 16:34:45 +0800</pubDate><description><![CDATA[史上最轻便好用的 kafka ui 界面工具，提供了对 kafka 的界面化操作可以在界面生产消息、消费消息、创建管理 topic可以支持管理多个 kafka 集群部署简便，不需要连数据库，只有一个 jar 包启动即可。]]></description><category></category></item><item><title><![CDATA[大数据-玩转数据-Flink -job报错NoResourceAvailableException: Could not acquire the minimum required resources]]></title><link>https://blog.youkuaiyun.com/s_unbo/article/details/134105156</link><guid>https://blog.youkuaiyun.com/s_unbo/article/details/134105156</guid><author>s_unbo</author><pubDate>Sun, 29 Oct 2023 17:26:05 +0800</pubDate><description><![CDATA[没有可以使用的资源。那么究竟什么资源没有可以被使用了？所以我们给他调整内存的参数。以下是flink配置参数可以使用的一些配置选项。]]></description><category></category></item><item><title><![CDATA[大数据-玩转数据-大数据平台搭建工具 Ambari]]></title><link>https://blog.youkuaiyun.com/s_unbo/article/details/134094676</link><guid>https://blog.youkuaiyun.com/s_unbo/article/details/134094676</guid><author>s_unbo</author><pubDate>Sat, 28 Oct 2023 18:44:38 +0800</pubDate><description><![CDATA[大数据与云计算可谓是如今数据中心中最火的两项技术领域，几乎所有的 IT 服务商都想在这两项技术中有所建树。相信 Ambari 可以帮助一些 Hadoop 的初学者。长远看来，大数据的发展离不开云计算，云计算中 IaaS 可谓已经很成熟，并且价格低廉。这时候许多公司将目光聚集在了 PaaS。大数据的流行更是加速了相关 PaaS 产品的发展，而 Ambari 的出现必然可以拉近 IaaS 和 PaaS 的距离。]]></description><category></category></item><item><title><![CDATA[大数据-玩转数据-Python Sftp Mysql 数据]]></title><link>https://blog.youkuaiyun.com/s_unbo/article/details/134094539</link><guid>https://blog.youkuaiyun.com/s_unbo/article/details/134094539</guid><author>s_unbo</author><pubDate>Sat, 28 Oct 2023 18:29:41 +0800</pubDate><description><![CDATA[2、将数据已csv文件格式存储并对数据格式进行处理（添加表头，表头和数据均用竖线分隔符隔开，末尾也加分割符）；3、文件路径文件夹以天为单位，文件名中含日期和序号，序号记录相同文件在同一天重新下载传送的批次；4、文件以Sftp方式传送到对方服务器固定位置。1、从Mysql数据库表下载数据到服务器；3、将文件压缩成.gz格式；]]></description><category></category></item><item><title><![CDATA[大数据-玩转数据-Flink 海量数据实时去重]]></title><link>https://blog.youkuaiyun.com/s_unbo/article/details/133529462</link><guid>https://blog.youkuaiyun.com/s_unbo/article/details/133529462</guid><author>s_unbo</author><pubDate>Tue, 03 Oct 2023 22:28:48 +0800</pubDate><description><![CDATA[布隆过滤器的原理是，当一个元素被加入集合时，通过K个散列函数将这个元素映射成一个位数组中的K个点，把它们置为1。布隆过滤器的原理是，当一个元素被加入集合时，通过K个散列函数将这个元素映射成一个位数组中的K个点，把它们置为1。2.只能插入和查询元素，不能删除元素，这与产生假阳性的原因是相同的。假阳性的概率其实就是一个不在的元素，被k个函数函数散列到的k个位置全部都是1的概率。另外，由于它不存在假阴性问题，所以用作“不存在”逻辑的处理时有奇效，比如可以用来作为缓存系统（如Redis）的缓冲，防止缓存穿透。]]></description><category></category></item><item><title><![CDATA[大数据-玩转数据-双流JOIN]]></title><link>https://blog.youkuaiyun.com/s_unbo/article/details/133513704</link><guid>https://blog.youkuaiyun.com/s_unbo/article/details/133513704</guid><author>s_unbo</author><pubDate>Tue, 03 Oct 2023 19:54:26 +0800</pubDate><description><![CDATA[如下图: 橙色的流去join绿色的流.范围是由橙色流的event-time + lower bound和event-time + upper bound来决定的.2.join成功后的元素的会以所在窗口的最大时间作为其时间戳.  例如窗口[5,10), 则元素会以9作为自己的时间戳。间隔流join(Interval Join), 是指使用一个流的数据按照key去join另外一条流的指定范围的数据.窗口join会join具有相同的key并且处于同一个窗口中的两个流的元素.]]></description><category></category></item><item><title><![CDATA[大数据-玩转数据-Flink SQL编程实战 (热门商品TOP N)]]></title><link>https://blog.youkuaiyun.com/s_unbo/article/details/133489747</link><guid>https://blog.youkuaiyun.com/s_unbo/article/details/133489747</guid><author>s_unbo</author><pubDate>Mon, 02 Oct 2023 15:00:58 +0800</pubDate><description><![CDATA[Flink 使用 OVER 窗口条件和过滤条件相结合以进行 Top-N 查询。利用 OVER 窗口的 PARTITION BY 子句的功能，Flink 还支持逐组 Top-N。例如，每个类别中实时销量最高的前五种产品。批处理表和流处理表都支持基于SQL的 Top-N 查询。流处理模式需注意:  TopN 查询的结果会带有更新。Flink SQL 会根据排序键对输入的流进行排序；若 top N 的记录发生了变化，变化的部分会以撤销、更新记录的形式发送到下游。]]></description><category></category></item><item><title><![CDATA[大数据-玩转数据-Flink Catalog]]></title><link>https://blog.youkuaiyun.com/s_unbo/article/details/133471068</link><guid>https://blog.youkuaiyun.com/s_unbo/article/details/133471068</guid><author>s_unbo</author><pubDate>Sun, 01 Oct 2023 22:57:22 +0800</pubDate><description><![CDATA[元数据可以是临时的，例如临时表、或者通过 TableEnvironment 注册的 UDF。元数据也可以是持久化的，例如 Hive Metastore 中的元数据。HiveCatalog 有两个用途：作为原生 Flink 元数据的持久化存储，以及作为读写现有 Hive 元数据的接口。Flink 的 Hive 文档 提供了有关设置 HiveCatalog 以及访问现有 Hive 元数据的详细信息。Catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。]]></description><category></category></item><item><title><![CDATA[大数据-玩转数据-Flink Sql 窗口]]></title><link>https://blog.youkuaiyun.com/s_unbo/article/details/133459811</link><guid>https://blog.youkuaiyun.com/s_unbo/article/details/133459811</guid><author>s_unbo</author><pubDate>Sun, 01 Oct 2023 19:28:11 +0800</pubDate><description><![CDATA[作为大数据工程师，我们最为熟悉的数据统计方式，当然就是写 SQL 了。SQL 是结构化查询语言（Structured Query Language）的缩写，是我们对关系型数据库进行查询和修改的通用编程语言。在关系型数据库中，数据是以表（table）的形式组织起来的，所以也可以认为 SQL 是用来对表进行处理的工具语言。无论是传统架构中进行数据存储的MySQL、PostgreSQL，还是大数据应用中的 Hive，都少不了 SQL 的身影；]]></description><category></category></item><item><title><![CDATA[玩转数据-大数据-Flink SQL 中的时间属性]]></title><link>https://blog.youkuaiyun.com/s_unbo/article/details/133431403</link><guid>https://blog.youkuaiyun.com/s_unbo/article/details/133431403</guid><author>s_unbo</author><pubDate>Sat, 30 Sep 2023 22:28:09 +0800</pubDate><description><![CDATA[处理时间属性可以在 schema 定义的时候用 .proctime 后缀来定义。时间属性一定不能定义在一个已有字段上，所以它新增一个字段。// 1. 创建表的执行环境// 声明一个额外的字段来作为处理时间字段+ ")");事件时间属性可以用 .rowtime 后缀在定义 DataStream schema 的时候来定义。时间戳和 watermark 在这之前一定是在 DataStream 上已经定义好了。]]></description><category></category></item><item><title><![CDATA[大数据-玩转数据-Flink SQL编程]]></title><link>https://blog.youkuaiyun.com/s_unbo/article/details/133070764</link><guid>https://blog.youkuaiyun.com/s_unbo/article/details/133070764</guid><author>s_unbo</author><pubDate>Wed, 20 Sep 2023 16:38:50 +0800</pubDate><description><![CDATA[通过将INSERT 操作编码为 add message、将 DELETE 操作编码为 retract message、将 UPDATE 操作编码为更新(先前)行的 retract message 和更新(新)行的 add message，将动态表转换为 retract 流。它可能是一个只有一行、不断更新的表，也可能是一个 insert-only 的表，没有 UPDATE 和 DELETE 修改，或者介于两者之间的其他表。不是所有的 [Table API，SQL] 和 [流，批] 的组合都是支持的。]]></description><category></category></item><item><title><![CDATA[大数据-玩转数据-Flink CEP编程]]></title><link>https://blog.youkuaiyun.com/s_unbo/article/details/132980330</link><guid>https://blog.youkuaiyun.com/s_unbo/article/details/132980330</guid><author>s_unbo</author><pubDate>Mon, 18 Sep 2023 15:22:33 +0800</pubDate><description><![CDATA[是一种基于动态环境中事件流的分析技术，事件在这里通常是有意义的状态变化，通过分析事件间的关系，利用过滤、关联、聚合等技术，根据事件间的时序关系和聚合关系制定检测规则，持续地从事件流中查询出符合要求的事件序列，最终分析得到更复杂的复合事件。策略营销：用预先定义好的规则对用户的行为轨迹进行实时跟踪，对行为轨迹匹配预定义规则的用户实时发送相应策略的推广。风险控制：对用户异常行为模式进行实时检测，当一个用户发生了不该发生的行为，判定这个用户是不是有违规操作的嫌疑。]]></description><category></category></item><item><title><![CDATA[大数据-玩转数据-Flink恶意登录监控]]></title><link>https://blog.youkuaiyun.com/s_unbo/article/details/132942915</link><guid>https://blog.youkuaiyun.com/s_unbo/article/details/132942915</guid><author>s_unbo</author><pubDate>Sun, 17 Sep 2023 18:46:38 +0800</pubDate><description><![CDATA[因此我们考虑，应该对用户的登录失败动作进行统计，具体来说，如果同一用户（可以是不同IP）在2秒之内连续两次登录失败，就认为存在恶意登录的风险，输出相关的信息进行报警提示。这是电商网站、也是几乎所有网站风控的基本一环。对于网站而言，用户登录并不是频繁的业务操作。如果一个用户短时间内频繁登录失败，就有可能是出现了程序的恶意攻击，比如密码暴力破解。]]></description><category></category></item><item><title><![CDATA[大数据-玩转数据-Flink页面广告点击量统计]]></title><link>https://blog.youkuaiyun.com/s_unbo/article/details/132922520</link><guid>https://blog.youkuaiyun.com/s_unbo/article/details/132922520</guid><author>s_unbo</author><pubDate>Sat, 16 Sep 2023 22:35:16 +0800</pubDate><description><![CDATA[对于广告的统计，最简单也最重要的就是页面广告的点击量，网站往往需要根据广告点击量来制定定价策略和调整推广方式，而且也可以借此收集用户的偏好信息。更加具体的应用是，我们可以根据用户的地理位置进行划分，从而总结出不同省份用户对不同广告的偏好，这样更有助于广告的精准投放。电商网站的市场营销商业指标中，除了自身的APP推广，还会考虑到页面上的广告投放（包括自己经营的产品和其它网站的广告）。在之PV,PU统计中，已经统计的广告的点击次数总和，但是没有实现窗口操作，并且也未增加排名处理.]]></description><category></category></item><item><title><![CDATA[大数据-玩转数据-oracel字符串分割转化为多列]]></title><link>https://blog.youkuaiyun.com/s_unbo/article/details/132898813</link><guid>https://blog.youkuaiyun.com/s_unbo/article/details/132898813</guid><author>s_unbo</author><pubDate>Fri, 15 Sep 2023 11:41:32 +0800</pubDate><description><![CDATA[注：取字符串分拆最大的数。]]></description><category></category></item><item><title><![CDATA[大数据-玩转数据-Flink 容错机制]]></title><link>https://blog.youkuaiyun.com/s_unbo/article/details/132791878</link><guid>https://blog.youkuaiyun.com/s_unbo/article/details/132791878</guid><author>s_unbo</author><pubDate>Sun, 10 Sep 2023 20:47:49 +0800</pubDate><description><![CDATA[在分布式架构中，当某个节点出现故障，其他节点基本不受影响。在 Flink 中，有一套完整的容错机制，最重要就是检查点（checkpoint）。]]></description><category></category></item><item><title><![CDATA[大数据-玩转数据-Flink状态后端（下）]]></title><link>https://blog.youkuaiyun.com/s_unbo/article/details/132788518</link><guid>https://blog.youkuaiyun.com/s_unbo/article/details/132788518</guid><author>s_unbo</author><pubDate>Sun, 10 Sep 2023 14:22:11 +0800</pubDate><description><![CDATA[Flink提供了3种状态后端，MemoryStateBackend，FsStateBackend，RocksDBStateBackend，作为一个可插入的组件，没有固定的配置，根据需要进行选择。状态是通过什么方式在哪里持久化，取决于使用的状态后端。由于有效的状态访问对于处理数据的低延迟至关重要，因此每个并行任务(子任务)都会在本地维护其状态，以确保快速的状态访问。2. 需要开启HA的作业；存储方式：本地状态存储在TaskManager的内存中，checkpoint 存储在JobManager的内存中。]]></description><category></category></item></channel></rss>