<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[cyydjt的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/cyydjt</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; cyydjt]]></copyright><item><title><![CDATA[数据分析面试--京东]]></title><link>https://blog.youkuaiyun.com/cyydjt/article/details/146464188</link><guid>https://blog.youkuaiyun.com/cyydjt/article/details/146464188</guid><author>cyydjt</author><pubDate>Sun, 23 Mar 2025 23:07:51 +0800</pubDate><description><![CDATA[数据分析面试题解析]]></description><category></category></item><item><title><![CDATA[PCA 主成分分析 R 语言实现]]></title><link>https://blog.youkuaiyun.com/cyydjt/article/details/82856003</link><guid>https://blog.youkuaiyun.com/cyydjt/article/details/82856003</guid><author>cyydjt</author><pubDate>Fri, 17 Jul 2020 14:40:11 +0800</pubDate><description><![CDATA[主成分分析（PCA）是一种数据降维技巧，它能将大量相关变量转化为一组很少的不相关变量，这些无关变量称为主成分。
探索性因子分析（EFA）是一系列用来发现一组变量的潜在结构的方法，通过寻找一组更小　的、潜在的或隐藏的结构来解释已观测到的、变量间的关系。
1.R中的主成分和因子分析
R的基础安装包中提供了PCA和EFA的函数，分别为princo...]]></description><category></category></item><item><title><![CDATA[Hive SQL随机抽样]]></title><link>https://blog.youkuaiyun.com/cyydjt/article/details/82856213</link><guid>https://blog.youkuaiyun.com/cyydjt/article/details/82856213</guid><author>cyydjt</author><pubDate>Fri, 17 Jul 2020 14:39:35 +0800</pubDate><description><![CDATA[使用Hive随机抽样
          
    &amp;lt;!-- 文章内容 --&amp;gt;
    &amp;lt;div data-note-content=&quot;&quot; class=&quot;show-content&quot;&amp;gt;
      &amp;lt;div class=&quot;show-content-free&quot;&amp;gt;
        &amp;lt;h1&amp;gt;1 在hive中使用rand简单随机抽]]></description><category></category></item><item><title><![CDATA[谷歌微软等科技巨头数据科学面试107道真题：你能答出多少]]></title><link>https://blog.youkuaiyun.com/cyydjt/article/details/89503024</link><guid>https://blog.youkuaiyun.com/cyydjt/article/details/89503024</guid><author>cyydjt</author><pubDate>Wed, 24 Apr 2019 21:11:43 +0800</pubDate><description><![CDATA[General Questions
Apple
Suppose you’re given millions of users that each have hundreds of  transactions and these millions of transactions are for tens of thousands of products. How would you group th...]]></description><category></category></item><item><title><![CDATA[一篇写的很好的XGBoost的博客]]></title><link>https://blog.youkuaiyun.com/cyydjt/article/details/88967268</link><guid>https://blog.youkuaiyun.com/cyydjt/article/details/88967268</guid><author>cyydjt</author><pubDate>Tue, 02 Apr 2019 11:41:22 +0800</pubDate><description><![CDATA[转				一篇写的很好的XGBoost的博客（于简书转载）
			
			
				
																				2017年12月23日 17:05:38
					fourierr
						阅读数：817
										
				
									
			
		
	
	
		
								
								            
				...]]></description><category></category></item><item><title><![CDATA[kmeans聚类基本思想]]></title><link>https://blog.youkuaiyun.com/cyydjt/article/details/88558205</link><guid>https://blog.youkuaiyun.com/cyydjt/article/details/88558205</guid><author>cyydjt</author><pubDate>Thu, 14 Mar 2019 18:02:58 +0800</pubDate><description><![CDATA[聚类的基本思想
俗话说&quot;物以类聚，人以群分&quot;
聚类（Clustering）是一种无监督学习(unsupervised learning)，简单地说就是把相似的对象归到同一簇中。簇内的对象越相似，聚类的效果越好。
定义：给定一个有个对象的数据集，聚类将数据划分为个簇，而且这个划分满足两个条件：(1)每个簇至少包含一个对象；(2)每个对象属于且仅属于一个簇。
基本思想：对给定的，算法首先给出一个初始的...]]></description><category></category></item><item><title><![CDATA[Hive分析函数和窗口函数]]></title><link>https://blog.youkuaiyun.com/cyydjt/article/details/88410438</link><guid>https://blog.youkuaiyun.com/cyydjt/article/details/88410438</guid><author>cyydjt</author><pubDate>Mon, 11 Mar 2019 21:34:03 +0800</pubDate><description><![CDATA[Hive分析函数和窗口函数
在Hive 0.11之后支持的，扫描多个输入的行计算每行的结果。通常和OVER,PARTITION BY, ORDER BY, WINDOWING配合使用。和传统的分组结果不一样，传统的结果每组中只有一个结果。分析函数的结果会出现多次，和每条记录都连接输出。
语法形式如下：
Function(arg1,....argn) ...]]></description><category></category></item><item><title><![CDATA[机器学习-10：MachineLN之样本不均衡]]></title><link>https://blog.youkuaiyun.com/cyydjt/article/details/87867924</link><guid>https://blog.youkuaiyun.com/cyydjt/article/details/87867924</guid><author>cyydjt</author><pubDate>Thu, 21 Feb 2019 20:28:15 +0800</pubDate><description><![CDATA[
								
                  					
							
					
				版权声明：本文为博主原创文章，未经博主允许不得转载。有问题可以加微信：lp9628(注明优快云)。					https://blog.youkuaiyun.com/u014365862/article/details/79040390				&amp;lt;/div&amp;gt;
							            ...]]></description><category></category></item><item><title><![CDATA[图论概念：Degree Centrality 和 Betweenness Centrality]]></title><link>https://blog.youkuaiyun.com/cyydjt/article/details/87783587</link><guid>https://blog.youkuaiyun.com/cyydjt/article/details/87783587</guid><author>cyydjt</author><pubDate>Wed, 20 Feb 2019 11:22:06 +0800</pubDate><description><![CDATA[
								            
						
该概念是我看到：
http://www.impactjournals.com/oncotarget/index.php?journal=oncotarget&amp;amp;page=article&amp;amp;op=view&amp;amp;path%5B%5D=14140&amp;amp;path%5B%5D=45094
中的：Degree Centrality ...]]></description><category></category></item><item><title><![CDATA[hive 抽样]]></title><link>https://blog.youkuaiyun.com/cyydjt/article/details/85072003</link><guid>https://blog.youkuaiyun.com/cyydjt/article/details/85072003</guid><author>cyydjt</author><pubDate>Tue, 18 Dec 2018 17:54:45 +0800</pubDate><description><![CDATA[
								            
							
							
							在大规模数据量的数据分析及建模任务中，往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源，因此一般情况下只需要抽取一小部分数据进行分析及建模操作。Hive提供了数据取样（SAMPLING）的功能，能够根据一定的规则进行数据抽样，目前支持数据块抽样，分桶抽样和随机抽样，具体如下所示：

数据块抽样（tabl...]]></description><category></category></item><item><title><![CDATA[R语言与格式、日期格式、格式转化]]></title><link>https://blog.youkuaiyun.com/cyydjt/article/details/84569653</link><guid>https://blog.youkuaiyun.com/cyydjt/article/details/84569653</guid><author>cyydjt</author><pubDate>Tue, 27 Nov 2018 17:12:53 +0800</pubDate><description><![CDATA[
								
					版权声明：博主原创文章，微信公众号：素质云笔记,转载请注明来源“素质云博客”，谢谢合作！！					https://blog.youkuaiyun.com/sinat_26917383/article/details/50677065				
								            
						
                每每以为攀得众山小，可、每每又切实来到起点，大牛们...]]></description><category></category></item><item><title><![CDATA[R语言数据集合并、数据增减、不等长合并]]></title><link>https://blog.youkuaiyun.com/cyydjt/article/details/84569475</link><guid>https://blog.youkuaiyun.com/cyydjt/article/details/84569475</guid><author>cyydjt</author><pubDate>Tue, 27 Nov 2018 17:10:19 +0800</pubDate><description><![CDATA[
								
					版权声明：博主原创文章，微信公众号：素质云笔记,转载请注明来源“素质云博客”，谢谢合作！！					https://blog.youkuaiyun.com/sinat_26917383/article/details/50676894				
								            
						
                每每以为攀得众山小，可、每每又切实来到起点，大牛们...]]></description><category></category></item><item><title><![CDATA[练习题︱基于今日头条开源数据（二）——两款Apriori算法实践]]></title><link>https://blog.youkuaiyun.com/cyydjt/article/details/84569230</link><guid>https://blog.youkuaiyun.com/cyydjt/article/details/84569230</guid><author>cyydjt</author><pubDate>Tue, 27 Nov 2018 17:06:43 +0800</pubDate><description><![CDATA[
								
					版权声明：博主原创文章，微信公众号：素质云笔记,转载请注明来源“素质云博客”，谢谢合作！！					https://blog.youkuaiyun.com/sinat_26917383/article/details/80610572				
								            
							
							
							
  Apriori算法是通过限制候选产生发现频繁...]]></description><category></category></item><item><title><![CDATA[连续变量最优分箱--基于CART算法]]></title><link>https://blog.youkuaiyun.com/cyydjt/article/details/84568987</link><guid>https://blog.youkuaiyun.com/cyydjt/article/details/84568987</guid><author>cyydjt</author><pubDate>Tue, 27 Nov 2018 17:01:21 +0800</pubDate><description><![CDATA[关于变量分箱主要分为两大类：有监督型和无监督型对应的分箱方法：A. 无监督：(1) 等宽 (2) 等频 (3) 聚类B. 有监督：(1)&amp;nbsp;卡方分箱法(ChiMerge) (2) ID3、C4.5、CART等单变量决策树算法 (3)&amp;nbsp; 信用评分建模的IV最大化分箱 等本篇使用python，基...]]></description><category></category></item><item><title><![CDATA[完整的R语言预测建模实例-从数据清理到建模预测]]></title><link>https://blog.youkuaiyun.com/cyydjt/article/details/84568098</link><guid>https://blog.youkuaiyun.com/cyydjt/article/details/84568098</guid><author>cyydjt</author><pubDate>Tue, 27 Nov 2018 16:24:08 +0800</pubDate><description><![CDATA[
								            
						

概述

本文使用Kaggle上的一个公开数据集，从数据导入，清理整理一直介绍到最后数据多个算法建模，交叉验证以及多个预测模型的比较全过程，注重在实际数据建模过程中的实际问题和挑战，主要包括以下五个方面的挑战：

缺失值的挑战异常值的挑战不均衡分布的挑战(多重)共线性的挑战预测因子的量纲差异

以上的几个主要挑战，对于熟悉机器学习的人来说，...]]></description><category></category></item><item><title><![CDATA[完整的R语言预测建模实例-从数据清理到建模预测]]></title><link>https://blog.youkuaiyun.com/cyydjt/article/details/84568093</link><guid>https://blog.youkuaiyun.com/cyydjt/article/details/84568093</guid><author>cyydjt</author><pubDate>Tue, 27 Nov 2018 16:23:59 +0800</pubDate><description><![CDATA[概述

本文使用Kaggle上的一个公开数据集，从数据导入，清理整理一直介绍到最后数据多个算法建模，交叉验证以及多个预测模型的比较全过程，注重在实际数据建模过程中的实际问题和挑战，主要包括以下五个方面的挑战：

缺失值的挑战异常值的挑战不均衡分布的挑战(多重)共线性的挑战预测因子的量纲差异

以上的几个主要挑战，对于熟悉机器学习的人来说，...]]></description><category></category></item><item><title><![CDATA[多变量分析”——数据挖掘、数据分析]]></title><link>https://blog.youkuaiyun.com/cyydjt/article/details/84557080</link><guid>https://blog.youkuaiyun.com/cyydjt/article/details/84557080</guid><author>cyydjt</author><pubDate>Mon, 26 Nov 2018 21:40:29 +0800</pubDate><description><![CDATA[I。多重对应分析

&amp;nbsp;

多重对应分析在超过两个以上定类变量时有时候非常有效，当然首先我们要理解并思考，如果只有三个或有限的几个变量完全可以通过数据变换和交互表变量重组可以转换成两个定类变量，这时候就可以用简单对应分析了。

对应分析对数据的格式要求：
对应分析数据的典型格式是列联表或交叉频数表。常表示不同背景的消费者对若干产品...]]></description><category></category></item><item><title><![CDATA[多变量分析”——数据挖掘、数据分析]]></title><link>https://blog.youkuaiyun.com/cyydjt/article/details/84557069</link><guid>https://blog.youkuaiyun.com/cyydjt/article/details/84557069</guid><author>cyydjt</author><pubDate>Mon, 26 Nov 2018 21:40:01 +0800</pubDate><description><![CDATA[
								            
						

I。多重对应分析

&amp;nbsp;

多重对应分析在超过两个以上定类变量时有时候非常有效，当然首先我们要理解并思考，如果只有三个或有限的几个变量完全可以通过数据变换和交互表变量重组可以转换成两个定类变量，这时候就可以用简单对应分析了。

对应分析对数据的格式要求：
对应分析数据的典型格式是列联表或交叉频数表。常表示不同背景的消费者对若干产品...]]></description><category></category></item><item><title><![CDATA[多变量分析”——数据挖掘、数据分析]]></title><link>https://blog.youkuaiyun.com/cyydjt/article/details/84557068</link><guid>https://blog.youkuaiyun.com/cyydjt/article/details/84557068</guid><author>cyydjt</author><pubDate>Mon, 26 Nov 2018 21:40:01 +0800</pubDate><description><![CDATA[I。多重对应分析

&amp;nbsp;

多重对应分析在超过两个以上定类变量时有时候非常有效，当然首先我们要理解并思考，如果只有三个或有限的几个变量完全可以通过数据变换和交互表变量重组可以转换成两个定类变量，这时候就可以用简单对应分析了。

对应分析对数据的格式要求：
对应分析数据的典型格式是列联表或交叉频数表。常表示不同背景的消费者对若干产品...]]></description><category></category></item><item><title><![CDATA[用户贷款风险预测之Top10初体验]]></title><link>https://blog.youkuaiyun.com/cyydjt/article/details/84111370</link><guid>https://blog.youkuaiyun.com/cyydjt/article/details/84111370</guid><author>cyydjt</author><pubDate>Thu, 15 Nov 2018 21:33:58 +0800</pubDate><description><![CDATA[写在前面：
DataCastle智慧中国杯全国大数据创新应用大赛：本次参加的是三大赛题中的用户贷款风险预测（算法竞赛） 
距离上次发博文又过去近两个月了，坚持写博客是件不容易的事，还得继续努力！中间过了个年，打了个比赛，时间过得真快，不过没有闲着，用寒假时间终于拿到比较满意的成绩。参加这个比赛是快放寒假的时候，想寒假找点事做做，当时就DC有三个比赛了吧，交通赛数据太大玩不动，教育赛觉得没意思，于是...]]></description><category></category></item></channel></rss>