<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[沐沐余风的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/u010529144</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; u010529144]]></copyright><item><title><![CDATA[scala-边学边记(快学scala)]]></title><link>https://blog.youkuaiyun.com/u010529144/article/details/81781580</link><guid>https://blog.youkuaiyun.com/u010529144/article/details/81781580</guid><author>u010529144</author><pubDate>Thu, 23 Aug 2018 20:23:47 +0800</pubDate><description><![CDATA[随机数



import java.util.Random
val rand = new Random()
val x = rand.nextInt()



scala 数学包



import scala.math._
sqrt(2)
pow(2,4)
min(2,4)

没有参数且不改变当前对象的方法不带圆括号 
&amp;quot;hello&amp;quot;.distinct

使用伴生对象的apply方法来构建对象...]]></description><category></category></item><item><title><![CDATA[百度POI数据抓取-BeautifulSoup]]></title><link>https://blog.youkuaiyun.com/u010529144/article/details/78418625</link><guid>https://blog.youkuaiyun.com/u010529144/article/details/78418625</guid><author>u010529144</author><pubDate>Wed, 01 Nov 2017 21:01:55 +0800</pubDate><description><![CDATA[因为实验室项目需要上海市POI数据，百度了一圈也没有找到下载资源。于是参考了这个博客，自己手动爬取。 
比较熟悉Python，所以这里分享自己写的Python版本实现过程。获取百度POI数据的方法是构建关键词搜索url，请求url获取返回的json数据。 
http://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&from=webmap&da_par=di]]></description><category></category></item><item><title><![CDATA[笔试10.19-2]]></title><link>https://blog.youkuaiyun.com/u010529144/article/details/78289644</link><guid>https://blog.youkuaiyun.com/u010529144/article/details/78289644</guid><author>u010529144</author><pubDate>Thu, 19 Oct 2017 21:23:05 +0800</pubDate><description><![CDATA[绿盟 数据分析全是问答题1、分类器，随机森林2、层次聚类3、分类器度量方法 roc，auc，f1，precision，recall4、Apriori5、数据周期性6、spark相关角色说明：Client 、Master、Worker、Driver、Executor 
作业提交：standalone模式下spark-submit的过程，资源调度等]]></description><category></category></item><item><title><![CDATA[笔试10.19]]></title><link>https://blog.youkuaiyun.com/u010529144/article/details/78284721</link><guid>https://blog.youkuaiyun.com/u010529144/article/details/78284721</guid><author>u010529144</author><pubDate>Thu, 19 Oct 2017 14:45:01 +0800</pubDate><description><![CDATA[摩拜单车编程题三道1、字符串思路：移动A字符串，找出两个字符串不相等的位数。（前后可以填充为跟B完全一样）void minDiff() {
    string A, B;
    getline(cin,A);
    getline(cin, B);
    int diff = B.size() - A.size();
    int minD = 100;
    for (int i =]]></description><category></category></item><item><title><![CDATA[Hive学习]]></title><link>https://blog.youkuaiyun.com/u010529144/article/details/78269571</link><guid>https://blog.youkuaiyun.com/u010529144/article/details/78269571</guid><author>u010529144</author><pubDate>Wed, 18 Oct 2017 09:53:07 +0800</pubDate><description><![CDATA[很好的图，mark一下]]></description><category></category></item><item><title><![CDATA[HDFS工作机制]]></title><link>https://blog.youkuaiyun.com/u010529144/article/details/78268242</link><guid>https://blog.youkuaiyun.com/u010529144/article/details/78268242</guid><author>u010529144</author><pubDate>Tue, 17 Oct 2017 23:21:22 +0800</pubDate><description><![CDATA[两大角色： 
DataNode：负责管理用户的文件数据块 
NameNode：负责管理整个文件系统的元数据NameNode的工作机制职责： 
1）客户端请求的响应 
2）元数据的管理（查询，修改）元数据的存储： 
内存中有一份完整的元数据；磁盘中还有一份元数据镜像。NameNode主要维护两个文件： 
1）fsimage(filesystem image)文件镜像 
存于硬盘的最新的元数据检查点]]></description><category></category></item><item><title><![CDATA[笔试10.12]]></title><link>https://blog.youkuaiyun.com/u010529144/article/details/78219627</link><guid>https://blog.youkuaiyun.com/u010529144/article/details/78219627</guid><author>u010529144</author><pubDate>Thu, 12 Oct 2017 20:49:19 +0800</pubDate><description><![CDATA[商汤科技 
选择题5*2 
填空题5*4 
编程题20+20+30选择题填空题基本是靠智力和数据结构，还算ok。但是后面两道编程题简直给跪啊 
感觉智商完全不够用。。留个纪念，说不定哪天有灵感了]]></description><category></category></item><item><title><![CDATA[Hive学习--参数配置]]></title><link>https://blog.youkuaiyun.com/u010529144/article/details/78218252</link><guid>https://blog.youkuaiyun.com/u010529144/article/details/78218252</guid><author>u010529144</author><pubDate>Thu, 12 Oct 2017 18:35:19 +0800</pubDate><description><![CDATA[Hive 参数hive.exec.max.created.files 
•说明：所有hive运行的map与reduce任务可以产生的文件的和 
•默认值:100000  
hive.exec.dynamic.partition 
•说明：是否为自动分区 
•默认值：false 
hive.mapred.reduce.tasks.speculative.execution 
•说明：是否打开推测执行]]></description><category></category></item><item><title><![CDATA[Hive学习--架构和基本组成]]></title><link>https://blog.youkuaiyun.com/u010529144/article/details/78217522</link><guid>https://blog.youkuaiyun.com/u010529144/article/details/78217522</guid><author>u010529144</author><pubDate>Thu, 12 Oct 2017 17:27:39 +0800</pubDate><description><![CDATA[参考链接：深入浅出学Hive 1、Hive简介
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。
本质是将SQL转换为MapReduce程序
Hive与Hadoop的关系 
Hive与传统数据库对比]]></description><category></category></item><item><title><![CDATA[笔试10.11]]></title><link>https://blog.youkuaiyun.com/u010529144/article/details/78208678</link><guid>https://blog.youkuaiyun.com/u010529144/article/details/78208678</guid><author>u010529144</author><pubDate>Wed, 11 Oct 2017 21:28:12 +0800</pubDate><description><![CDATA[美团20*2+30*2+2*30编程题：越长越大，所以有12组成。 
s%3==0   则结果为 212121… 
s%3==1 则结果为1212121…1 
s%3==2，则结果为212121…2void maxNum() {
    int s;
    cin >> s;
    int num = 0;
    int len = s / 3;
    if (s % 3 == 1) {]]></description><category></category></item><item><title><![CDATA[面试题-海量数据处理问题]]></title><link>https://blog.youkuaiyun.com/u010529144/article/details/78195957</link><guid>https://blog.youkuaiyun.com/u010529144/article/details/78195957</guid><author>u010529144</author><pubDate>Tue, 10 Oct 2017 18:44:45 +0800</pubDate><description><![CDATA[参考链接：教你如何迅速秒杀99%的海量数据处理面试题类型一  海量数据，出现次数最多or前K分而治之/Hash映射 + Hash统计 + 堆/快速/归并排序1、海量日志数据，提取出某日访问百度次数最多的那个IP。IP有32位，共有2322^{32}个IP。 
1）采用hash的方式，ip%m，将大文件分成m个小文件。 
2）对每个小文件，用hash表统计ip出现的次数。找出这个小文件出现次数最多的i]]></description><category></category></item><item><title><![CDATA[机器学习面试问题汇总]]></title><link>https://blog.youkuaiyun.com/u010529144/article/details/78188151</link><guid>https://blog.youkuaiyun.com/u010529144/article/details/78188151</guid><author>u010529144</author><pubDate>Tue, 10 Oct 2017 00:05:22 +0800</pubDate><description><![CDATA[1、决策树1）常见的决策树模型 
决策树（ID3，C4.5，CART）原理，信息增益公式推导，信息增益比的引入原因，Gini指数的用途和原理 
2）决策树怎么避免过拟合。 
（预剪枝和后剪枝，然后 讲了下两种剪枝的过程）2、聚类1）Kmeans聚类原理，k值的确定方法，优缺点 
数据集D中随机选k个作为聚类中心点 
每个样本点计算到k个中心点的距离，选择距离最小的归属于该簇。 
更新簇的中心点：所有]]></description><category></category></item><item><title><![CDATA[第九章 聚类]]></title><link>https://blog.youkuaiyun.com/u010529144/article/details/78176904</link><guid>https://blog.youkuaiyun.com/u010529144/article/details/78176904</guid><author>u010529144</author><pubDate>Sun, 08 Oct 2017 19:56:29 +0800</pubDate><description><![CDATA[1、聚类任务无监督学习 
问题定义2、性能度量（1）外部指标Jaccard系数 
FM指数 
Randy指数（2）内部指标DB指数 
Dunn指数3、距离计算基本性质 
闵可夫斯基距离 
欧式距离有序属性 
无序属性4、原型聚类通过一组原型刻画k均值聚类 
学习向量量化LVQ 
高斯混合聚类5、密度聚类DBSCAN6、层次聚类AGNES]]></description><category></category></item><item><title><![CDATA[第四章 决策树]]></title><link>https://blog.youkuaiyun.com/u010529144/article/details/78172713</link><guid>https://blog.youkuaiyun.com/u010529144/article/details/78172713</guid><author>u010529144</author><pubDate>Sun, 08 Oct 2017 00:53:13 +0800</pubDate><description><![CDATA[1、基本流程西瓜问题的决策过程： 
 
根结点包含样本全集。 
叶结点对应决策结果。（类别标记为样例中最多的类别） 
其他结点对应属性测试，每个结点包含的样本集合根据属性测试的结果被划分到不同的子结点。2、划分选择即如何选择最优划分属性，使得决策树的分支结点所包含的样本尽可能属于同一类别。（1）信息增益信息熵（information entropy）：度量样本集合纯度的指标。 
假设样本集合D中第k]]></description><category></category></item><item><title><![CDATA[第三章 线性模型]]></title><link>https://blog.youkuaiyun.com/u010529144/article/details/78172309</link><guid>https://blog.youkuaiyun.com/u010529144/article/details/78172309</guid><author>u010529144</author><pubDate>Sat, 07 Oct 2017 22:44:05 +0800</pubDate><description><![CDATA[1、基本形式线性模型（linear model）：试图学得一个通过属性的线性组合来进行预测的函数 
由d个属性来描述的示例x=(x1;x2;...;xd)\boldsymbol x=(x_1;x_2;...;x_d)，线性模型可表示为： 
f(x)=w1x1+w2x2,...+wdxd+bf(\boldsymbol x)=w_1x_1+w_2x_2,...+w_dx_d+b 
用向量形式写成： 
f]]></description><category></category></item><item><title><![CDATA[第一章 绪论]]></title><link>https://blog.youkuaiyun.com/u010529144/article/details/78171045</link><guid>https://blog.youkuaiyun.com/u010529144/article/details/78171045</guid><author>u010529144</author><pubDate>Sat, 07 Oct 2017 19:23:24 +0800</pubDate><description><![CDATA[1、基本术语数据集 
样本 
属性or特征 
样本空间 
预测离散值–分类，二分类，多分类 
预测连续值–回归监督学习：分类、回归 
无监督学习：聚类泛化能力：generalization，模型适用于新样本的能力 
通常假设全样本服从一个未知分布D，每个样本都是独立地从这个分布上采样获得的（独立同分布），一般来说，训练样本越多，我们得到的关于D的信息越多，这样通过学习获得具有较强泛化能力的模型。2、]]></description><category></category></item><item><title><![CDATA[第二章 模型评估与选择]]></title><link>https://blog.youkuaiyun.com/u010529144/article/details/78161346</link><guid>https://blog.youkuaiyun.com/u010529144/article/details/78161346</guid><author>u010529144</author><pubDate>Thu, 05 Oct 2017 14:50:05 +0800</pubDate><description><![CDATA[1、经验误差与过拟合错误率(error rate)：分类错误的样本数占总样本数的比例。 
例如：m个样本中有a个样本分类错误，错误率=a/m，准确度=1-a/m 
误差(error)：预测输出与样本真实输出之间的差异 
训练误差（trainning error）或经验误差（empirical error）：在训练集上的误差 
泛化误差（generalization）：在新样本上的误差我们希望得到泛化]]></description><category></category></item><item><title><![CDATA[其他听说的笔试面试题]]></title><link>https://blog.youkuaiyun.com/u010529144/article/details/78122918</link><guid>https://blog.youkuaiyun.com/u010529144/article/details/78122918</guid><author>u010529144</author><pubDate>Thu, 28 Sep 2017 14:01:15 +0800</pubDate><description><![CDATA[网易游戏数组中有两个数出现次数为奇数，找出这两个数全排列数组中有一个数出现次数大于n/2，找出这个数如果生女孩继续生直到生男孩，问最后的男女比例bigo 
看来这家公司比较喜欢考数学，概统要好好学啊这个是数学题吧，考随机数最大和连续子数组 （剑指offer） 一维扩展到二维，orz]]></description><category></category></item><item><title><![CDATA[Python知识点]]></title><link>https://blog.youkuaiyun.com/u010529144/article/details/78091095</link><guid>https://blog.youkuaiyun.com/u010529144/article/details/78091095</guid><author>u010529144</author><pubDate>Tue, 26 Sep 2017 01:02:44 +0800</pubDate><description><![CDATA[面试可能会问到的问题：**Q：**Python里面垃圾回收是怎样的 
A：
  python采用的是引用计数机制为主，标记-清除和分代收集两种机制为辅的策略 
  引用计数–Python中一切即对象，对象有ob_refcnt属性。当一个对象有新的引用时，它的ob_refcnt就会增加，当引用它的对象被删除，它的ob_refcnt就会减少。当引用计数为0时，该对象生命就结束了。]]></description><category></category></item><item><title><![CDATA[面试9.25]]></title><link>https://blog.youkuaiyun.com/u010529144/article/details/78090548</link><guid>https://blog.youkuaiyun.com/u010529144/article/details/78090548</guid><author>u010529144</author><pubDate>Mon, 25 Sep 2017 23:01:54 +0800</pubDate><description><![CDATA[360 
一面： 
自我介绍 
两段实习经历 
家宽预测怎么做的，拓展问了决策树，cart用什么选择特征？（这个忘了，基尼系数）机器学习选股，svm，adaboost。有没有上线之类的（没有，决策权不在我）说了JD算法比赛，说了xgboost延伸到了gbdt，解释gbdt的原理。  （多棵树，拟合残差） 
怎么验证模型的效果？（计算指标，F1的公式，召回率，准确率）深度学习，CNN为什么不能解决异或]]></description><category></category></item></channel></rss>