<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[berbai的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/berbai</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; berbai]]></copyright><item><title><![CDATA[azkaban的安装]]></title><link>https://blog.youkuaiyun.com/berbai/article/details/134380317</link><guid>https://blog.youkuaiyun.com/berbai/article/details/134380317</guid><author>berbai</author><pubDate>Mon, 13 Nov 2023 17:35:11 +0800</pubDate><description><![CDATA[（2）进入/opt/soft/azkaba/azkaban-exec/plugins/jobtypes/修改。（3）进入修改/opt/soft/azkaba/azkaban-exec/conf/修改。（4）进入修改/opt/soft/azkaba/azkaban-web/conf/修改。九、登录网页http://192.168.91.11:8081。（1）进入opt/soft/mysql8修改。（5）修改mysql驱动。]]></description><category></category></item><item><title><![CDATA[快速灵敏的Flink2]]></title><link>https://blog.youkuaiyun.com/berbai/article/details/134273456</link><guid>https://blog.youkuaiyun.com/berbai/article/details/134273456</guid><author>berbai</author><pubDate>Wed, 08 Nov 2023 00:20:29 +0800</pubDate><description><![CDATA[分布式架构，有可能出现数据的乱序，窗口要关闭的时候，数据还没有到，那么窗口等一会再关闭，解决数据的迟到问题。允许处理迟到的数据。上面allowedLateness()之后，发现还有没到的，放在侧输出流。将迟到的数据放入侧输出流。]]></description><category></category></item><item><title><![CDATA[快速灵敏的 Flink1]]></title><link>https://blog.youkuaiyun.com/berbai/article/details/134189326</link><guid>https://blog.youkuaiyun.com/berbai/article/details/134189326</guid><author>berbai</author><pubDate>Thu, 02 Nov 2023 20:06:08 +0800</pubDate><description><![CDATA[/定义样例类//1、创建环境变量//设置并行步 1//2、加载数据源//4、输出，又叫下沉//模拟自定义数据源//(1)随机数,true一直生成随机数ctx.collect(SensorReading("随机数："+random.nextInt(),System.currentTimeMillis(),d))]]></description><category></category></item><item><title><![CDATA[虚拟机kafka]]></title><link>https://blog.youkuaiyun.com/berbai/article/details/134012414</link><guid>https://blog.youkuaiyun.com/berbai/article/details/134012414</guid><author>berbai</author><pubDate>Tue, 24 Oct 2023 15:01:13 +0800</pubDate><description><![CDATA[【代码】虚拟机kafka。]]></description><category></category></item><item><title><![CDATA[虚拟机zeppelin安装]]></title><link>https://blog.youkuaiyun.com/berbai/article/details/133912513</link><guid>https://blog.youkuaiyun.com/berbai/article/details/133912513</guid><author>berbai</author><pubDate>Wed, 18 Oct 2023 19:13:21 +0800</pubDate><description><![CDATA[网址输入：http://192.168.91.130:8080。]]></description><category></category></item><item><title><![CDATA[Spark分布式计算原理]]></title><link>https://blog.youkuaiyun.com/berbai/article/details/133753271</link><guid>https://blog.youkuaiyun.com/berbai/article/details/133753271</guid><author>berbai</author><pubDate>Tue, 10 Oct 2023 18:43:41 +0800</pubDate><description><![CDATA[数据本地化        移动计算，而不是移动数据        保证一个Stage内不会发生数据移动在分区之间重新分配数据        父RDD中同一分区中的数据按照算子要求重新进入RDD的不同分区中        中间结果写入磁盘        有子RDD拉取数据，而不是由父RDD推送        默认情况下，shuffle不会改变分区数量Lineage：血统、依赖        RDD最重要的特征之一，保存了RDD的依赖关系        RDD实现了基于Lineage的容错机制依赖关系     ]]></description><category></category></item><item><title><![CDATA[Spark基础]]></title><link>https://blog.youkuaiyun.com/berbai/article/details/133637762</link><guid>https://blog.youkuaiyun.com/berbai/article/details/133637762</guid><author>berbai</author><pubDate>Sat, 07 Oct 2023 16:33:22 +0800</pubDate><description><![CDATA[(1) 繁杂只有Map和Reduce两个操作，复杂的逻辑需要大量的样板代码(2) 处理效率低Map中间结果写磁盘，Reduce写HDFS，多个Map通过HDFS交换数据 任务调度与启动开销大(3) 不适合迭代处理、交互式处理和流式处理(1) Job中间输出结果可以保存在内存，不再需要读写HDFS(2) 比MapReduce平均快10倍以上HadoopSpark类型分布式基础平台，包含计算、存储、调度分布式计算工具场景大规模数据集上的批处理迭代计算、交互式计算、流计算价格对机器要求低，便宜对内存有要求，相对较]]></description><category></category></item><item><title><![CDATA[scala基础入门]]></title><link>https://blog.youkuaiyun.com/berbai/article/details/133315140</link><guid>https://blog.youkuaiyun.com/berbai/article/details/133315140</guid><author>berbai</author><pubDate>Tue, 26 Sep 2023 23:27:40 +0800</pubDate><description><![CDATA[scala与java有着相同的原始数据类型（Byte,Short,Int,Long,Float,Double,Char,Boolend,String）语法结构：if (  ){  }  else if (  ){  } else {  }AnyRef：表示引用类型的超类，对应java.lang.Object。（1）S插值器：允许将变量引用、表达式直接插入字面字符中。（4）拓展：Scala中值是多少取决于最后一个数据。Any：所有类型的超类（顶级类型）语法结构：while（）{  }（6）拓展：break。]]></description><category></category></item><item><title><![CDATA[flume安装及实战]]></title><link>https://blog.youkuaiyun.com/berbai/article/details/133208542</link><guid>https://blog.youkuaiyun.com/berbai/article/details/133208542</guid><author>berbai</author><pubDate>Sat, 23 Sep 2023 16:36:03 +0800</pubDate><description><![CDATA[tail -f ./flumelog.log                               启动被监控文件。yum install -y telnet.*                       安装telnet客户端。echo "aaaa" >> ./flumelog.log             输入文件，检测可以输入内容。yum install -y telnet-server              安装telnet服务端。服务端关闭，客户端也关闭。]]></description><category></category></item><item><title><![CDATA[Apache Flume]]></title><link>https://blog.youkuaiyun.com/berbai/article/details/133189528</link><guid>https://blog.youkuaiyun.com/berbai/article/details/133189528</guid><author>berbai</author><pubDate>Fri, 22 Sep 2023 23:49:35 +0800</pubDate><description><![CDATA[Apache Flume是一个分布式、可靠且可用的系统，用于高效地收集、聚合来自许多不同来源的大量日志数据，并将其移动到集中的数据存储中。Apache Flume是Apache软件基金会的一个顶级项目。目前有两个可用的发布代码行，版本0.9.x和1.x。此文档适用于1.x代码行。有关0.9.x代码行，请参阅Flume 0.9.x开发人员指南。]]></description><category></category></item><item><title><![CDATA[Kafka生产者模式生成10亿条数据]]></title><link>https://blog.youkuaiyun.com/berbai/article/details/133105044</link><guid>https://blog.youkuaiyun.com/berbai/article/details/133105044</guid><author>berbai</author><pubDate>Wed, 20 Sep 2023 22:41:34 +0800</pubDate><description><![CDATA[【代码】Kafka生产者模式生成10亿条数据。]]></description><category></category></item><item><title><![CDATA[kafka消费者模式]]></title><link>https://blog.youkuaiyun.com/berbai/article/details/133104381</link><guid>https://blog.youkuaiyun.com/berbai/article/details/133104381</guid><author>berbai</author><pubDate>Wed, 20 Sep 2023 22:37:01 +0800</pubDate><description><![CDATA[topic：kb23 partition：2 偏移量：4 value：sjhkdksahkdah 时间戳：1695174687827。topic：kb23 partition：2 偏移量：5 value：hhh1 时间戳：1695175898301。topic：kb23 partition：2 偏移量：9 value：ppp1 时间戳：1695178017439。topic：kb23 partition：2 偏移量：8 value：ppp 时间戳：1695177956251。]]></description><category></category></item><item><title><![CDATA[Kafka核心原理]]></title><link>https://blog.youkuaiyun.com/berbai/article/details/133041812</link><guid>https://blog.youkuaiyun.com/berbai/article/details/133041812</guid><author>berbai</author><pubDate>Tue, 19 Sep 2023 23:36:00 +0800</pubDate><description><![CDATA[Kafka早期版本使用ZooKeeper为每个消费者存储offset，由于ZooKeeper写入性能较差，从0.10版本后，Kafka使用自己的内部主题维护offset。每个Broker启动时，都会完成Broker注册过程，生产者会通过该节点的变化来动态地感知到Broker服务器列表的变更。每个Partition只能由同一消费组内的一个Consumer来消费。offset的管理是基于消费组（group.id）的级别。Topic：维护一个主题中的消息，可视为消息分类。随机分配、自定义分区算法等。]]></description><category></category></item><item><title><![CDATA[配置HBase和zookeeper]]></title><link>https://blog.youkuaiyun.com/berbai/article/details/132910220</link><guid>https://blog.youkuaiyun.com/berbai/article/details/132910220</guid><author>berbai</author><pubDate>Fri, 15 Sep 2023 22:21:06 +0800</pubDate><description><![CDATA[【代码】配置HBase和zookeeper。]]></description><category></category></item><item><title><![CDATA[hive1基础]]></title><link>https://blog.youkuaiyun.com/berbai/article/details/132797403</link><guid>https://blog.youkuaiyun.com/berbai/article/details/132797403</guid><author>berbai</author><pubDate>Sun, 10 Sep 2023 23:33:37 +0800</pubDate><description><![CDATA[这种强大的定制功能是的可以很容易的使用hive来处理那些由其他工具和各种各样的ETL（也就是数据抽取、数据转换和数据装载过程）程序产生的文件。指定集合和映射元素间的分隔符（例-，^B,\002）匹配名字中有李或者兰字的名字1---rlike写法。匹配名字中有李或者兰字的名字2---like写法。b、数据完全由hive管理，删除表（元数据）b、Hive不完全管理数据，删除表（元数据）--创建demo表和列名id、name。--创建demo表和列名id、name。分区列的值将表划分为一个个的文件。]]></description><category></category></item><item><title><![CDATA[hive2、分桶、视图、高级查询]]></title><link>https://blog.youkuaiyun.com/berbai/article/details/132783615</link><guid>https://blog.youkuaiyun.com/berbai/article/details/132783615</guid><author>berbai</author><pubDate>Sat, 09 Sep 2023 23:29:09 +0800</pubDate><description><![CDATA[-------------------------------------------------建表----------------------------------------------------老师答案*****************************************************************************************查询name,skill,score,wps，其中skills_score炸裂成skill,score；]]></description><category></category></item><item><title><![CDATA[Hive3窗口函数]]></title><link>https://blog.youkuaiyun.com/berbai/article/details/132742028</link><guid>https://blog.youkuaiyun.com/berbai/article/details/132742028</guid><author>berbai</author><pubDate>Thu, 07 Sep 2023 17:32:22 +0800</pubDate><description><![CDATA[一般与group by 一起使用，可应用于列或表达式，对null 的count聚合为0（即select count(null)=0）。窗口函数是一组特殊函数。--percent_rank() （目前排名-1）/（总行数-1），值相对于一组值的百分比排名。--将有序的数据集合平均分配到n个桶中，将桶号分配给每一行，根据桶号，选取前或后n分之几的数据。--dense_rank() 对相同数值，输入相同的序号，下一个序号连续。--rank() 对相同数值，输出相同的序号，下一个序号跳过。]]></description><category></category></item><item><title><![CDATA[Hadoop数据缓存]]></title><link>https://blog.youkuaiyun.com/berbai/article/details/132567601</link><guid>https://blog.youkuaiyun.com/berbai/article/details/132567601</guid><author>berbai</author><pubDate>Tue, 29 Aug 2023 18:27:17 +0800</pubDate><description><![CDATA[/缓存空间不大，所以数据不能太大！//------------------------------------塞值。//8设置job Reduce阶段任务数量。//定义customerOrders。//判断如果顾客id和订单中id相等。//map阶段已经获得所有顾客的信息。//客户名称需要判断是否为空。//添加setup和map方法。//获取客户id，转换。//7判断如果存在删除。//订单信息获取分割。//启动开始时间程序。//启动结束时间程序。//setup获取顾客信息。]]></description><category></category></item><item><title><![CDATA[分布式计算模型MapReduce]]></title><link>https://blog.youkuaiyun.com/berbai/article/details/132544064</link><guid>https://blog.youkuaiyun.com/berbai/article/details/132544064</guid><author>berbai</author><pubDate>Mon, 28 Aug 2023 17:52:37 +0800</pubDate><description><![CDATA[每一组相同k的<k,Iterator<v>>组调用一次reduce（）方法。Map端接收<k,v>键值对数据，经过处理输出新的<k,v>键值对。Reduce端搜集多个Mapper端输出的<k,v>数据，进行汇总。Map端处理逻辑写在Mapper类中map()方法中。Reduce的业务逻辑写在reduce（）方法中。框架处理的数据格式是<k,v>键值对。每个节点出库存储在该节点的数据。一、MapReduce。二、MapReduce。三、MapReduce。四、MapReduce。五、MapReduce。]]></description><category></category></item><item><title><![CDATA[HADOOP(1)]]></title><link>https://blog.youkuaiyun.com/berbai/article/details/132501650</link><guid>https://blog.youkuaiyun.com/berbai/article/details/132501650</guid><author>berbai</author><pubDate>Fri, 25 Aug 2023 19:09:05 +0800</pubDate><description><![CDATA[文件系统datanodes、namenodes、secondary namenodes。资源管理nodemanagers、resourcemanager。上传本地文件mysql8到hdfs指定目录install下。1、上传hellohadoop.txt文件。（一）查看start-all.sh。进入历史服务器19888。（关闭stop同上）]]></description><category></category></item></channel></rss>