<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[BigData_DK的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/BigData_DK</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; BigData_DK]]></copyright><item><title><![CDATA[2021-06-04]]></title><link>https://blog.youkuaiyun.com/BigData_DK/article/details/117563394</link><guid>https://blog.youkuaiyun.com/BigData_DK/article/details/117563394</guid><author>BigData_DK</author><pubDate>Fri, 04 Jun 2021 15:40:37 +0800</pubDate><description><![CDATA[SHELL中的${}，##和%%的使用
假设我们定义了一个变量为：
file=/dir1/dir2/dir3/my.file.txt
可以用${ }分别替换得到不同的值：
${file#/}：删掉第一个/ 及其左边的字符串：dir1/dir2/dir3/my.file.txt
${file##/}：删掉最后一个/  及其左边的字符串：my.file.txt
${file#.}：删掉第一个.  及其左边的字符串：file.txt
${file##.}：删掉最后一个.  及其左边的字符串：txt
${file%]]></description><category></category></item><item><title><![CDATA[linux磁盘挂满]]></title><link>https://blog.youkuaiyun.com/BigData_DK/article/details/110119964</link><guid>https://blog.youkuaiyun.com/BigData_DK/article/details/110119964</guid><author>BigData_DK</author><pubDate>Wed, 25 Nov 2020 10:53:46 +0800</pubDate><description><![CDATA[linux磁盘挂满
https://blog.youkuaiyun.com/qq_25667815/article/details/107162094

]]></description><category></category></item><item><title><![CDATA[2020-09-02]]></title><link>https://blog.youkuaiyun.com/BigData_DK/article/details/108358901</link><guid>https://blog.youkuaiyun.com/BigData_DK/article/details/108358901</guid><author>BigData_DK</author><pubDate>Wed, 02 Sep 2020 11:23:46 +0800</pubDate><description><![CDATA[脚本命令可以运行，但是在crontab命令下无法运行
关于脚本手动正常运行，放入CRONTAB无效的问题
1.在你的shell里加入环境变量，也就是在#!/bin/bash 下一行写入 source /etc/profile, 但是不推荐
2.shell里所有命令使用绝对命令，这一点和第一条原理相同，但是你并不能保证你的所有命令都已经加入到了环境变量
3.如果上两条还不能解决，查看上传定时脚本的用户，默认只有root用户才可以修改定时规则
4.最后查看一下脚本运行权限，经过这4点，绝大部分此类问题都能解决
]]></description><category></category></item><item><title><![CDATA[Hive常用函数大全（二）（窗口函数、分析函数、增强group）]]></title><link>https://blog.youkuaiyun.com/BigData_DK/article/details/104843798</link><guid>https://blog.youkuaiyun.com/BigData_DK/article/details/104843798</guid><author>BigData_DK</author><pubDate>Fri, 13 Mar 2020 16:28:57 +0800</pubDate><description><![CDATA[窗口函数与分析函数
应用场景：
（1）用于分区排序
（2）动态Group By
（3）Top N
（4）累计计算
（5）层次查询
窗口函数
FIRST_VALUE：取分组内排序后，截止到当前行，第一个值
LAST_VALUE： 取分组内排序后，截止到当前行，最后一个值
LEAD(col,n,DEFAULT) ：用于统计窗口内往下第n行值。第一个参数为列名，第二个参数为往下第n行（可选，默认为1），...]]></description><category></category></item><item><title><![CDATA[Flink总述 -- 常见面试总结]]></title><link>https://blog.youkuaiyun.com/BigData_DK/article/details/104796882</link><guid>https://blog.youkuaiyun.com/BigData_DK/article/details/104796882</guid><author>BigData_DK</author><pubDate>Wed, 11 Mar 2020 15:16:10 +0800</pubDate><description><![CDATA[Flink的可能面试题
Flink中的核心概念和基础篇，包含了Flink的整体介绍、核心概念、算子；
Flink进阶篇，包含了Flink中数据传输、容错机制、序列化、数据热点、反压；
Flink源码篇，包含了Flink核心代码实现、Job提交流程、数据交换、分布式快照机制、Flink Sql原理。
Flink中的核心概念和基础篇
Flink提供了诸多高抽象层的API方便与用户编写分布式任务：
Da...]]></description><category></category></item><item><title><![CDATA[Kafka核心总述]]></title><link>https://blog.youkuaiyun.com/BigData_DK/article/details/104775787</link><guid>https://blog.youkuaiyun.com/BigData_DK/article/details/104775787</guid><author>BigData_DK</author><pubDate>Tue, 10 Mar 2020 16:10:52 +0800</pubDate><description><![CDATA[Kafka核心总结
5.1Kafka消费端的Rebalance
我们知道，一个topic能被若干个消费者进行消费，若干个消费者组成一个Consumer Group消费组，一条消息只能被消费组中的一个消费者消费，但是可以被不同消费组中的不同消费者消费。
Rebalance是一个消费组的所有消费者就如何消费订阅topic的所有分区达成共识的过程，在Rebalance过程中，所有的Consumer实例都...]]></description><category></category></item><item><title><![CDATA[Kafka核心总述]]></title><link>https://blog.youkuaiyun.com/BigData_DK/article/details/104769256</link><guid>https://blog.youkuaiyun.com/BigData_DK/article/details/104769256</guid><author>BigData_DK</author><pubDate>Tue, 10 Mar 2020 15:29:04 +0800</pubDate><description><![CDATA[Kafka核心总结
3.1Kafka副本作用
默认由broker端参数default.replication.factor控制的分区设置一个副本，通过修改默认值或在命令行创建topic时指定replication-factor参数控制副本数量。通过增加消息副本的数量可以使消息冗余储存，提高数据可靠性；还可以提高其服务可用性，副本选举机制会使再broker上的leader挂掉，就近原则选举follo...]]></description><category></category></item><item><title><![CDATA[Kafka核心总述]]></title><link>https://blog.youkuaiyun.com/BigData_DK/article/details/104757223</link><guid>https://blog.youkuaiyun.com/BigData_DK/article/details/104757223</guid><author>BigData_DK</author><pubDate>Tue, 10 Mar 2020 10:40:54 +0800</pubDate><description><![CDATA[Kafka核心总结
Kafka是目前主流的分布式消息引擎及流处理平台，具有高吞吐、低延迟；可扩展；持久性、可靠性；容错性；高并发的特点。常被企业用来做消息总栈、日志收集、用户活动跟踪、运营指标、实时流处理管道。
1.1Kafka体系架构
Kafka的设计遵循生产者消费者模式，生产者发送消息到broker中的某一个topic的具体分区，消费者从一个或多个分区中拉取数据进行消费。
[外链图片转存失败,...]]></description><category></category></item><item><title><![CDATA[Java:程序包xxxx不存在]]></title><link>https://blog.youkuaiyun.com/BigData_DK/article/details/90172783</link><guid>https://blog.youkuaiyun.com/BigData_DK/article/details/90172783</guid><author>BigData_DK</author><pubDate>Mon, 13 May 2019 14:25:15 +0800</pubDate><description><![CDATA[前言
有时候我们在导入程序之后，系统会给出错误提示：Java:程序包xxxx不存在，现在我这里有一招，就是使用IDEA自动导入Java程序包，这也是IDEA的一大优点。
内容
当出现如题所示的错误时候，不用着急，这是因为配置Java的程序包这块出现了错误，同时可能你还没有设置让IDEA自动加载Jar包，才会报出这种错误的。解决方式如下：
File—&gt;Setting—&gt;Build,Exe...]]></description><category></category></item><item><title><![CDATA[hashTable和hashmap和concurrentHashMap的]]></title><link>https://blog.youkuaiyun.com/BigData_DK/article/details/84563172</link><guid>https://blog.youkuaiyun.com/BigData_DK/article/details/84563172</guid><author>BigData_DK</author><pubDate>Tue, 27 Nov 2018 11:35:19 +0800</pubDate><description><![CDATA[HashTable底层数组+链表实现，无论key还是value都不能为null，线程安全，实现线程安全的方式是在修改数据时锁住整个HashTable，效率低，ConcurrentHashMap做了相关优化初始size为11，扩容：newsize = olesize2+1计算index的方法：index = (hash &amp;amp; 0x7FFFFFFF) % tab.lengthHashMap底层数...]]></description><category></category></item><item><title><![CDATA[Spark Streaming和Kafka整合保证数据零丢失]]></title><link>https://blog.youkuaiyun.com/BigData_DK/article/details/84034846</link><guid>https://blog.youkuaiyun.com/BigData_DK/article/details/84034846</guid><author>BigData_DK</author><pubDate>Tue, 13 Nov 2018 19:48:15 +0800</pubDate><description><![CDATA[Spark Streaming和Kafka整合保证数据零丢失	
当我们正确地部署好Spark Streaming，我们就可以使用Spark Streaming提供的零数据丢失机制。为了体验这个关键的特性，你需要满足以下几个先决条件：
1、输入的数据来自可靠的数据源和可靠的接收器；
　　2、应用程序的metadata被application的driver持久化了(checkpointed );
　　...]]></description><category></category></item><item><title><![CDATA[机器学习之路03——性能度量]]></title><link>https://blog.youkuaiyun.com/BigData_DK/article/details/83626853</link><guid>https://blog.youkuaiyun.com/BigData_DK/article/details/83626853</guid><author>BigData_DK</author><pubDate>Thu, 01 Nov 2018 21:36:48 +0800</pubDate><description><![CDATA[衡量模型泛化能力的怕评价标准
错误率与精度
查准率（P）、查全率（R）（P-R曲线）与F1
查准率（精度）：衡量某一检索系统的信号噪声比的一种指标，即检出的相关文献量与检出的文献量的百分比（P=真正例（TP）/（真正例（TP）+假正例（FP）））
查全率（召回率）：衡量某一检索系统从文献中检出相关文献成功度的一项指标，即检出的相关文献量与检索系统中相关文献量的百分比（真正例（TP）/（真正例（TP...]]></description><category></category></item><item><title><![CDATA[机器学习之路02——模型评估之“交叉验证法(cross )”]]></title><link>https://blog.youkuaiyun.com/BigData_DK/article/details/83625399</link><guid>https://blog.youkuaiyun.com/BigData_DK/article/details/83625399</guid><author>BigData_DK</author><pubDate>Thu, 01 Nov 2018 19:35:51 +0800</pubDate><description><![CDATA[先将数据集*D*划分为*k*个大小相似的互斥子集，即*D*=*D~1*∪*D~2*


]]></description><category></category></item><item><title><![CDATA[机器学习之路01——模型评估之“留出法(hold-out)”]]></title><link>https://blog.youkuaiyun.com/BigData_DK/article/details/83624387</link><guid>https://blog.youkuaiyun.com/BigData_DK/article/details/83624387</guid><author>BigData_DK</author><pubDate>Thu, 01 Nov 2018 17:54:57 +0800</pubDate><description><![CDATA[留出法(hold-out)
直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另外一个作为测试集T，即D=S∪T,S∩T=0.在S上训练出模型后，用T来评估其测试误差，作为对泛化误差的评估
需要注意的问题：
1.训练/测试集的划分要尽可能的保持数据分布的一致性，避免因数据划分过程引入额外的偏差而对最终结果产生影响
2.在给定训练/测试集的样本比例后，仍然存在多种划分方式对初始数据集D进...]]></description><category></category></item><item><title><![CDATA[Spark性能调优--]]></title><link>https://blog.youkuaiyun.com/BigData_DK/article/details/83619196</link><guid>https://blog.youkuaiyun.com/BigData_DK/article/details/83619196</guid><author>BigData_DK</author><pubDate>Thu, 01 Nov 2018 13:51:19 +0800</pubDate><description><![CDATA[《spark》
spark性能调优
数据倾斜调优
1.绝大多数task执行的都非常快，但是个别task执行极慢
2.原本能够正常执行的spark作业，突然某天出现oom（内存溢出）异常，观察异常栈，是我们写的业务代码造成的（情况少见）
数据倾斜发生的原理
在进行shuffle的时候，必须降各个节点上相同的key拉取到某个节点上的一个task来进行处理，比如按照key进行聚合或join等操作。此时如...]]></description><category></category></item><item><title><![CDATA[浅谈Collection的入门级知识点三：Collection（Set）]]></title><link>https://blog.youkuaiyun.com/BigData_DK/article/details/81584931</link><guid>https://blog.youkuaiyun.com/BigData_DK/article/details/81584931</guid><author>BigData_DK</author><pubDate>Sat, 11 Aug 2018 11:33:01 +0800</pubDate><description><![CDATA[菜鸟级的自我成长 三、 
Set部分 
Set：不允许有重复元素的集合 
HashSet：无重复元素的集合，由HashMap实现，不保证元素的顺序，允许使用null元素，非同步的 
boolean         add(E object) 
void            clear() 
Object          clone() 
boolean         contains(Obj...]]></description><category></category></item><item><title><![CDATA[浅谈Collection的入门级知识点二：Map]]></title><link>https://blog.youkuaiyun.com/BigData_DK/article/details/81584395</link><guid>https://blog.youkuaiyun.com/BigData_DK/article/details/81584395</guid><author>BigData_DK</author><pubDate>Sat, 11 Aug 2018 10:58:43 +0800</pubDate><description><![CDATA[菜鸟级的自我成长 二、 
Map部分 
Map：public interface Map]]></description><category></category></item><item><title><![CDATA[IO流的基本认识]]></title><link>https://blog.youkuaiyun.com/BigData_DK/article/details/81515502</link><guid>https://blog.youkuaiyun.com/BigData_DK/article/details/81515502</guid><author>BigData_DK</author><pubDate>Wed, 08 Aug 2018 21:01:12 +0800</pubDate><description><![CDATA[输入流：InputStream或者Reader 
输出流:OutputStream或者Writer

1.在实际项目中，所有的IO操作都应该放到子线程中操作，避免堵住主线程 
2.File Input Stream在读取文件内容时，如果我们传入文件的路径下的文件不存在，那么执行readFile（）方法时回报FileNotFoundException异常 
3.FileOutputStream再写入...]]></description><category></category></item><item><title><![CDATA[浅谈Collection的入门级知识点一：Collection（List）]]></title><link>https://blog.youkuaiyun.com/BigData_DK/article/details/81458631</link><guid>https://blog.youkuaiyun.com/BigData_DK/article/details/81458631</guid><author>BigData_DK</author><pubDate>Mon, 06 Aug 2018 18:04:39 +0800</pubDate><description><![CDATA[菜鸟级的自我成长    一、

Collection（集合） 
List部分 
Collection：高度抽象出来的集合，是一个接口。public interface Collectionextends Iterable{},添加、删除、清空、遍历、是否为空、获取大小、是否保护某元素等等 
List：有序队列，每个元素都有其索引，可以有重复的元素 
Set：元素不可重复的集合 
Map：映射接口，...]]></description><category></category></item></channel></rss>