<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[yritssh的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/yritssh</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; yritssh]]></copyright><item><title><![CDATA[01-单调栈和窗口及其更新结构]]></title><link>https://blog.youkuaiyun.com/yritssh/article/details/128094456</link><guid>https://blog.youkuaiyun.com/yritssh/article/details/128094456</guid><author>yritssh</author><pubDate>Tue, 29 Nov 2022 11:28:02 +0800</pubDate><description><![CDATA[数据结构 单调栈 窗口]]></description><category></category></item><item><title><![CDATA[逻辑回归-正则化]]></title><link>https://blog.youkuaiyun.com/yritssh/article/details/104462708</link><guid>https://blog.youkuaiyun.com/yritssh/article/details/104462708</guid><author>yritssh</author><pubDate>Sun, 23 Feb 2020 16:47:27 +0800</pubDate><description><![CDATA[接着上篇文章（https://blog.youkuaiyun.com/yritssh/article/details/104365016），继续分析逻辑回归。
]]></description><category></category></item><item><title><![CDATA[逻辑回归]]></title><link>https://blog.youkuaiyun.com/yritssh/article/details/104365016</link><guid>https://blog.youkuaiyun.com/yritssh/article/details/104365016</guid><author>yritssh</author><pubDate>Wed, 19 Feb 2020 22:14:19 +0800</pubDate><description><![CDATA[本文将从KL距离（相对熵）、交叉熵和一些公式推导来阐述逻辑回归这个传统的机器学习方法，重理论轻代码。

1.KL距离

 KL距离又称作相对熵，通常是用来衡量两分布之间的相似度。公式如下：

                                       

其中P,Q是两分布。很显然，KL...]]></description><category></category></item><item><title><![CDATA[模型评价指标-ROC曲线AUC值]]></title><link>https://blog.youkuaiyun.com/yritssh/article/details/104305088</link><guid>https://blog.youkuaiyun.com/yritssh/article/details/104305088</guid><author>yritssh</author><pubDate>Fri, 14 Feb 2020 03:14:21 +0800</pubDate><description><![CDATA[在做机器学习的时候，当模型训练好之后，我们该如何去评价这个模型的好坏呢？我们首先想到的会是使用正确率来评价模型的好坏。首先来看下正确率公式：

                             正确率 = 预测正确的样本数 / 总的样本数

那么如果用正确率来衡量一个模型的好坏的话，它会存在什么问题呢？

假如我们有100...]]></description><category></category></item><item><title><![CDATA[spark内存管理源码解读（基于Spark1.6）]]></title><link>https://blog.youkuaiyun.com/yritssh/article/details/100982902</link><guid>https://blog.youkuaiyun.com/yritssh/article/details/100982902</guid><author>yritssh</author><pubDate>Wed, 18 Sep 2019 19:25:19 +0800</pubDate><description><![CDATA[在初始化SparkEnv时，可以看spark1.6支持两种内存管理方式： StaticMemoryManager（静态内存管理）和UnifiedMemoryManager（统一内存管理），spark1.6之前默认的是静态内存管理，spark1.6之后默认的管理机制是统一内存管理。具体源码如下：


//  1.6之前默认静态内存管理，1.6之后默认统一内存管理
    val useLegacyM...]]></description><category></category></item><item><title><![CDATA[mapreduce 二次排序]]></title><link>https://blog.youkuaiyun.com/yritssh/article/details/79195355</link><guid>https://blog.youkuaiyun.com/yritssh/article/details/79195355</guid><author>yritssh</author><pubDate>Wed, 28 Aug 2019 14:18:31 +0800</pubDate><description><![CDATA[目标：



输入数据：

sort11
	sort23
	sort288
	sort254
	sort12
	sort622
	sort6888
	sort658






   输出数据：



sort11,2
	sort23,54,88
	sort622,58,888...]]></description><category></category></item><item><title><![CDATA[Spark JDBC读取数据分区数源码跟踪]]></title><link>https://blog.youkuaiyun.com/yritssh/article/details/100104910</link><guid>https://blog.youkuaiyun.com/yritssh/article/details/100104910</guid><author>yritssh</author><pubDate>Wed, 28 Aug 2019 11:35:01 +0800</pubDate><description><![CDATA[直接上读取oracle的代码，


  //读取Oracle数据
  def readOracle(hiveContext: HiveContext, tableName : String /*,hzn_user : String,hznpassword : String*/): DataFrame ={
    val url=props.getProperty("url")
    val u...]]></description><category></category></item><item><title><![CDATA[SparkSQL源码解读1.6]]></title><link>https://blog.youkuaiyun.com/yritssh/article/details/99311544</link><guid>https://blog.youkuaiyun.com/yritssh/article/details/99311544</guid><author>yritssh</author><pubDate>Tue, 13 Aug 2019 10:00:32 +0800</pubDate><description><![CDATA[总的流程入下：
1.通过Sqlparse 转成unresolved Logicplan
2.通过Analyzer转成 resolved Logicplan
3.通过optimizer转成 optimzed Logicplan
4.通过sparkplanner转成physical Logicplan
5.通过prepareForExecution 转成executable logicplan...]]></description><category></category></item><item><title><![CDATA[算法导论-二分查找]]></title><link>https://blog.youkuaiyun.com/yritssh/article/details/94592847</link><guid>https://blog.youkuaiyun.com/yritssh/article/details/94592847</guid><author>yritssh</author><pubDate>Thu, 04 Jul 2019 00:56:30 +0800</pubDate><description><![CDATA[# Author:Liusw
# 查找问题
import math
#  nums 是升序
def searchNum(nums,target):
    # 先将数组nums进行排序
    # nums = insertionSort(nums,"asc")
    # print()
    result = False
    middle = math.floor((len(nums)...]]></description><category></category></item><item><title><![CDATA[算法导论-插入排序]]></title><link>https://blog.youkuaiyun.com/yritssh/article/details/94592843</link><guid>https://blog.youkuaiyun.com/yritssh/article/details/94592843</guid><author>yritssh</author><pubDate>Thu, 04 Jul 2019 00:54:42 +0800</pubDate><description><![CDATA[# Author:Liusw
# 插入排序
def insertionSort(nums,order):
    for i in  range(1,len(nums)):
        key =  nums[i]
        j = i -1
        if order == "desc":
            while j &gt;= 0 and nums[j] &lt;...]]></description><category></category></item><item><title><![CDATA[python中yield关键字]]></title><link>https://blog.youkuaiyun.com/yritssh/article/details/85250810</link><guid>https://blog.youkuaiyun.com/yritssh/article/details/85250810</guid><author>yritssh</author><pubDate>Tue, 25 Dec 2018 17:05:04 +0800</pubDate><description><![CDATA[首先执行如下代码：


print('+++++++++++++++++++++++++++++++++++++++++++++++++++')
def test():
    for i in range(20):
        yield i
        print('-----',i)
print(test())

得到一下结果：



可以看出返回的是一个generator，test...]]></description><category></category></item><item><title><![CDATA[决策树之构造决策树（一）]]></title><link>https://blog.youkuaiyun.com/yritssh/article/details/85096824</link><guid>https://blog.youkuaiyun.com/yritssh/article/details/85096824</guid><author>yritssh</author><pubDate>Wed, 19 Dec 2018 19:50:14 +0800</pubDate><description><![CDATA[     决策树时一种常用的数据挖掘算法，其优势在于数据形式非常容易理解，缺点在于很可能产生过度匹配的问题（即过拟合问题，如何解决过拟合问题待续.......）。决策树的一个重要任务就是为了理解数据中所蕴含的数据信息，因此决策树可以使用不熟悉的数据集合，并从中提取出一系列的规则，这些机器根据数据集创建规则的过程，就是机器学习的过程。决策树给出的结果往往可以匹敌在当前领域具有几十年工作经验的人类专家...]]></description><category></category></item><item><title><![CDATA[LVM(逻辑卷管理)]]></title><link>https://blog.youkuaiyun.com/yritssh/article/details/80261817</link><guid>https://blog.youkuaiyun.com/yritssh/article/details/80261817</guid><author>yritssh</author><pubDate>Thu, 10 May 2018 02:06:11 +0800</pubDate><description><![CDATA[解决虚拟机空间不足搭建cdh时发现虚拟机空间不足了，于是有了此文LVM的产生是因为传统的分区一旦分区好后就无法在线扩充空间，也存在一些工具能实现在线扩充空间但是还是会面临数据损坏的风险；传统的分区当分区 空间时，一般的解决办法是再创建一个更大的分区将原分区卸载然后将数据拷贝到新分区，但是在企业的生产系统往往不允许停机或者允许停机的时间很短，LVM就能很好的解决在线扩充空间的问题，而且不会对数据造成...]]></description><category></category></item><item><title><![CDATA[hive的三种用户定义函数]]></title><link>https://blog.youkuaiyun.com/yritssh/article/details/79308819</link><guid>https://blog.youkuaiyun.com/yritssh/article/details/79308819</guid><author>yritssh</author><pubDate>Sun, 11 Feb 2018 10:27:45 +0800</pubDate><description><![CDATA[一、UDF(user-defined function)       作用于单个数据行，且产生一个数据行作为输出。大多数函数（例如数学函数和字符串函数）都属于这类函数。二、UDAF（user-defined aggregate function）        接受多个输入数据行，只产生一个输出数据行作为输出。（用户定义聚合函数）三、UDAF(user-defined table-generati...]]></description><category></category></item><item><title><![CDATA[MapReduce二次排序法]]></title><link>https://blog.youkuaiyun.com/yritssh/article/details/79199747</link><guid>https://blog.youkuaiyun.com/yritssh/article/details/79199747</guid><author>yritssh</author><pubDate>Mon, 29 Jan 2018 20:54:09 +0800</pubDate><description><![CDATA[目标： 
输入数据：
1. sort1   1  
2. sort2   3  
3. sort2   88  
4. sort2   54  
5. sort1   2  
6. sort6   22  
7. sort6   888  
8. sort6   58
 
       输出数据：
1. sort1   1,2  
2. sort2   3,54,88  ]]></description><category></category></item><item><title><![CDATA[MapReduce编程之Reduce Join多种应用场景与使用]]></title><link>https://blog.youkuaiyun.com/yritssh/article/details/79183497</link><guid>https://blog.youkuaiyun.com/yritssh/article/details/79183497</guid><author>yritssh</author><pubDate>Sat, 27 Jan 2018 21:42:05 +0800</pubDate><description><![CDATA[在关系型数据库中 Join 是非常常见的操作，各种优化手段已经到了极致。在海量数据的环境下，不可避免的也会碰到这种类型的需求， 例如在数据分析时需要连接从不同的数据源中获取到数据。不同于传统的单机模式，在分布式存储下采用 MapReduce 编程模型，也有相应的处理措施和优化方法。

我们先简要地描述待解决的问题。假设有两个数据集：气象站数据库和天气记录数据库，并考虑如何合二为一。一个典型的查]]></description><category></category></item><item><title><![CDATA[jsp编译报错]]></title><link>https://blog.youkuaiyun.com/yritssh/article/details/78799359</link><guid>https://blog.youkuaiyun.com/yritssh/article/details/78799359</guid><author>yritssh</author><pubDate>Thu, 14 Dec 2017 10:05:02 +0800</pubDate><description><![CDATA[解决Only a type can be imported. * resolves to a package


原创




我想在index.jsp中导入JSONObject，代码如下：<%@
page
import="com.alibaba.fastjson.JSONObject"
 %>










运行时报错:
An error oc]]></description><category></category></item><item><title><![CDATA[linux远程免密登入]]></title><link>https://blog.youkuaiyun.com/yritssh/article/details/78586825</link><guid>https://blog.youkuaiyun.com/yritssh/article/details/78586825</guid><author>yritssh</author><pubDate>Mon, 20 Nov 2017 21:32:34 +0800</pubDate><description><![CDATA[主机A远程免密访问主机B
（本操作都是在root用户下进行操作）
A主机命令窗口：
#cd 
#ssh-keygen
会有三提示，每次提示都按回车





B主机命令窗口：
#cd 
#ssh-keygen
连按三回车
会有三提示，每次提示都按回车




A主机命令窗口：
#cd 
#scp /root/.ssh/id_rsa.pub  root@主]]></description><category></category></item><item><title><![CDATA[HDFS文件追加append里的坑]]></title><link>https://blog.youkuaiyun.com/yritssh/article/details/78507818</link><guid>https://blog.youkuaiyun.com/yritssh/article/details/78507818</guid><author>yritssh</author><pubDate>Sat, 11 Nov 2017 18:03:44 +0800</pubDate><description><![CDATA[org.apache.hadoop.ipc.RemoteException: Failed to APPEND_FILE /apps/hive/warehouse/ods.db/phone/phone.txt for DFSClient_NONMAPREDUCE_1742740607_1 on 172.17.0.4 because
 DFSClient_NONMAPREDUCE_17427406]]></description><category></category></item><item><title><![CDATA[freemarker和jsp的区别]]></title><link>https://blog.youkuaiyun.com/yritssh/article/details/74170998</link><guid>https://blog.youkuaiyun.com/yritssh/article/details/74170998</guid><author>yritssh</author><pubDate>Mon, 03 Jul 2017 09:11:33 +0800</pubDate><description><![CDATA[jsp
优点：
1、功能强大，可以写java代码
2、支持jsp标签（jsp tag）
3、支持表达式语言（el）
4、官方标准，用户群广，丰富的第三方jsp标签库
5、性能良好。jsp编译成class文件执行，有很好的性能表现
缺点：
jsp没有明显缺点，非要挑点骨头那就是，由于可以编写java代码，如使用不当容易破坏mvc结构。


freemarker
优点：
1、]]></description><category></category></item></channel></rss>