<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[水浴月]]></title><description><![CDATA[累就对了,舒服是留给死人的！]]></description><link>https://blog.youkuaiyun.com/baidu_35570545</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; baidu_35570545]]></copyright><item><title><![CDATA[【python】透彻解析csv文件]]></title><link>https://blog.youkuaiyun.com/baidu_35570545/article/details/78643655</link><guid>https://blog.youkuaiyun.com/baidu_35570545/article/details/78643655</guid><author>baidu_35570545</author><pubDate>Mon, 27 Nov 2017 13:49:08 +0800</pubDate><description><![CDATA[CSV的全称是Comma-Separated Values，故名思议，它通常是由逗号（comma）分隔的文件，当然也可以是其它字符分隔，这里我们仅以逗号为例。在CSV文件中，如果每行字符串中除了逗号分隔符以外其它地方没有出现任何逗号时，我们可以很轻松的将其split为多个value，但是： 
1、在value中出现逗号时，该文件格式会自动将其用双引号括起 
2、在value中出现双引号是，该文件格式]]></description><category></category></item><item><title><![CDATA[matplotlib中文显示方块问题]]></title><link>https://blog.youkuaiyun.com/baidu_35570545/article/details/78292076</link><guid>https://blog.youkuaiyun.com/baidu_35570545/article/details/78292076</guid><author>baidu_35570545</author><pubDate>Fri, 20 Oct 2017 09:46:43 +0800</pubDate><description><![CDATA[这两天按照彻底解决matplotlib中文乱码问题已经正确配置jupyter notebook用matplotlib中文字体,但是,安装了seaborn并更新了conda之后发现,不管怎么修改~/anaconda/lib/python2.7/site-packages/matplotlib/mpl-data/matplotlibrc都没用,而且已经把目录~/.cache/matplotlib下的所有]]></description><category></category></item><item><title><![CDATA[scala中Array、List、Tuple异同]]></title><link>https://blog.youkuaiyun.com/baidu_35570545/article/details/77893421</link><guid>https://blog.youkuaiyun.com/baidu_35570545/article/details/77893421</guid><author>baidu_35570545</author><pubDate>Fri, 08 Sep 2017 13:12:59 +0800</pubDate><description><![CDATA[各数据结构是否长度可变？ 
 各数据结构是否内容可变？ 
 各数据结构声明方式有何差别？ 
 各数据结构访问方式有何差异？ 
 
从数据结构的角度：
 1）Array、List、Tuple都是不可变长的，BufferArray是可变长的 
 2）Array和List中的元素类型必须相同，Tuple可以存放不同的类型 
 3）Array元素可变，List、Tuple元素不可变
声明的角度：
 1) A]]></description><category></category></item><item><title><![CDATA[scala创建动态二维数组Array[ArrayBuffer[]]三种写法]]></title><link>https://blog.youkuaiyun.com/baidu_35570545/article/details/77833105</link><guid>https://blog.youkuaiyun.com/baidu_35570545/article/details/77833105</guid><author>baidu_35570545</author><pubDate>Mon, 04 Sep 2017 09:13:47 +0800</pubDate><description><![CDATA[下面我们开始创建含有10个ArrayBuffer的Array，即Array(ArrayBuffer[Int])]]></description><category></category></item><item><title><![CDATA[scala实现超限学习机（ELM）手写数字分类]]></title><link>https://blog.youkuaiyun.com/baidu_35570545/article/details/77822213</link><guid>https://blog.youkuaiyun.com/baidu_35570545/article/details/77822213</guid><author>baidu_35570545</author><pubDate>Sun, 03 Sep 2017 14:38:57 +0800</pubDate><description><![CDATA[超限学习机（Extreme Learning Machine）又叫极限学习机是黄广斌等于2006年提出，属于单隐层前馈神经网络SLFN。其输入权值和隐层阈值随机初始化，通过最小二乘法计算得出输出权值，具有很好的分类和回归性能，与其它机器学习算法相比最大的优势是计算速度快，因为ELM不需要进行迭代。现将实现ELM的scala代码贴出，亲测运行成功，由于内存限制，在本地最高只能运行到900个隐层结]]></description><category></category></item><item><title><![CDATA[scala如何从文件读取数据并转换成矩阵]]></title><link>https://blog.youkuaiyun.com/baidu_35570545/article/details/77822032</link><guid>https://blog.youkuaiyun.com/baidu_35570545/article/details/77822032</guid><author>baidu_35570545</author><pubDate>Sun, 03 Sep 2017 14:10:50 +0800</pubDate><description><![CDATA[本文教你scala如何从文件中读取数据并转换成Breeze矩阵假设文件中数据的保存格式为：每行为一个样本数据，并由‘，’分隔。如：a.txt            1，2，3，4，5，6
            2，3，4，5，6，7
            3，4，5，6，7，8第一步：读取数据，将每行数据从String转换成Arrayval data = sc.textFile("a.txt")]]></description><category></category></item><item><title><![CDATA[spark on yarn cluster 与 client 模式的区别]]></title><link>https://blog.youkuaiyun.com/baidu_35570545/article/details/75043074</link><guid>https://blog.youkuaiyun.com/baidu_35570545/article/details/75043074</guid><author>baidu_35570545</author><pubDate>Thu, 13 Jul 2017 08:47:42 +0800</pubDate><description><![CDATA[Spark支持可插拔的集群管理模式(Standalone、Mesos以及YARN )，集群管理负责启动executor进程，编写Spark application 的人根本不需要知道Spark用的是什么集群管理。Spark支持的三种集群模式，这三种集群模式都由两个组件组成:master和slave。Master服务(YARN ResourceManager,Mesos master和Spark standalone]]></description><category></category></item><item><title><![CDATA[为什么HDFS中的块如此之大？]]></title><link>https://blog.youkuaiyun.com/baidu_35570545/article/details/73557973</link><guid>https://blog.youkuaiyun.com/baidu_35570545/article/details/73557973</guid><author>baidu_35570545</author><pubDate>Thu, 22 Jun 2017 08:35:38 +0800</pubDate><description><![CDATA[HDFS中的块大小默认为64MB，为什么说它如此之大，这是与磁盘块相比得出的。所以在了解HDFS块之前，我们需要了解下磁盘上的块。]]></description><category></category></item><item><title><![CDATA[Spark:工作集上的集群计算]]></title><link>https://blog.youkuaiyun.com/baidu_35570545/article/details/73498235</link><guid>https://blog.youkuaiyun.com/baidu_35570545/article/details/73498235</guid><author>baidu_35570545</author><pubDate>Tue, 20 Jun 2017 14:52:47 +0800</pubDate><description><![CDATA[摘要：MapReduce和它的变形在大规模数据密集型应用的实现上取得了巨大的成功。然而，多数的这些系统是围绕一个不适合其他流行应用程序的非循环数据流模型构建的。这篇文章把重点放在一类这样的应用程序：那些在多个并行操作中重用一组工作数据的应用程序。这包括许多迭代的机器学习算法，以及交互的数据分析工具。我们提出了一个叫做Spark的新框架，它支持这些应用程序，同时保持了MapReduce的可扩展性和容错]]></description><category></category></item><item><title><![CDATA[Twister: 迭代MapReduce计算框架]]></title><link>https://blog.youkuaiyun.com/baidu_35570545/article/details/73275279</link><guid>https://blog.youkuaiyun.com/baidu_35570545/article/details/73275279</guid><author>baidu_35570545</author><pubDate>Thu, 15 Jun 2017 10:20:52 +0800</pubDate><description><![CDATA[这篇文章中，我们提出了一种编程模型和Twister结构，这是一种增强的MapReduce runtime，它支持高效地迭代MapReduce计算。我们也展示了在大型数据并行应用上Twister与其它类似的runtimes的性能比较，如Hadoop和DryadLINQ。]]></description><category></category></item><item><title><![CDATA[HaLoop：大集群上高效的迭代数据处理（下）]]></title><link>https://blog.youkuaiyun.com/baidu_35570545/article/details/73136243</link><guid>https://blog.youkuaiyun.com/baidu_35570545/article/details/73136243</guid><author>baidu_35570545</author><pubDate>Mon, 12 Jun 2017 21:11:26 +0800</pubDate><description><![CDATA[本文详细了介绍三种在HaLoop上实现的迭代算法：PageRank，Descendant Query，K-means聚类。]]></description><category></category></item><item><title><![CDATA[HaLoop：大集群上高效的迭代数据处理（上）]]></title><link>https://blog.youkuaiyun.com/baidu_35570545/article/details/72956448</link><guid>https://blog.youkuaiyun.com/baidu_35570545/article/details/72956448</guid><author>baidu_35570545</author><pubDate>Fri, 09 Jun 2017 12:49:12 +0800</pubDate><description><![CDATA[摘要：超大规模数据挖掘和数据分析需求的日益增长，引领着工业和学术界设计大数据计算平台新模式。MapReduce和Dryad是两种流行的平台，数据流在这两种平台上采用操作符的有向非循环图形式。迭代程序在数据挖掘、网页排名、图像分析、模型拟合等许多应用领域中自然而然地出现了，而这两种平台缺乏对迭代程序的内嵌支持。在这篇文章中会呈现HaLoop，这是一种改进的用来服务于各种应用的Hadoop MapRed]]></description><category></category></item><item><title><![CDATA[基于MapReduce的并行k-means聚类]]></title><link>https://blog.youkuaiyun.com/baidu_35570545/article/details/72840734</link><guid>https://blog.youkuaiyun.com/baidu_35570545/article/details/72840734</guid><author>baidu_35570545</author><pubDate>Fri, 02 Jun 2017 07:39:50 +0800</pubDate><description><![CDATA[摘要：在许多应用上，数据聚类已经受到了广泛的关注，比如数据挖掘、文本检索、图像分割和模式识别。随着科技的进步而逐渐扩大的信息量使大数据聚类变成了一个具有挑战性的任务。为了解决这个问题，许多调查研究者尝试去设计一种高效的并行聚类算法。在这篇文章中，我们提出一种基于MapReduce的并行k-means聚类算法，这是一种简单又强大的并行编程技术。实验结果表明所提出的算法可以大规模而且高效地在廉价的硬件上处理大型数据集。]]></description><category></category></item><item><title><![CDATA[基于apache ambari 的大数据平台搭建并运行WordCount]]></title><link>https://blog.youkuaiyun.com/baidu_35570545/article/details/71948736</link><guid>https://blog.youkuaiyun.com/baidu_35570545/article/details/71948736</guid><author>baidu_35570545</author><pubDate>Sun, 14 May 2017 13:05:24 +0800</pubDate><description><![CDATA[操作系统：3个 rhel 6.4，内存2g，动态硬盘20g。 
虚拟机软件：virtualBox
  注意： 
  1、yum可能要重新安装，可百度解决 
  1、确保三个host能互相ping通
每个host配置DNS
  vi /etc/hosts
为host4安装http服务
  yum install httpd
用Xftp4软件连接host4的文件系统连接成功后显示进入目录/var/www]]></description><category></category></item><item><title><![CDATA[【解决】virtualbox导入虚拟机后不能联网的问题]]></title><link>https://blog.youkuaiyun.com/baidu_35570545/article/details/71155029</link><guid>https://blog.youkuaiyun.com/baidu_35570545/article/details/71155029</guid><author>baidu_35570545</author><pubDate>Wed, 03 May 2017 20:50:10 +0800</pubDate><description><![CDATA[当你把导出的虚拟机文件（.ova）导入到virtualbox中，发现该虚拟机不能联网，不管在【设置->网络】中切换什么样的网络类型，都无济于事。下面给出解决方法，在看解决方法之前必须保证.ova文件在被导出之前可以正常上网。解决方法： 
1、打开文件 
vi /etc/udev/rules.d/70-persistent-net.rules 
找到eth1对应的mac地址，如：08:00:27:8d]]></description><category></category></item><item><title><![CDATA[从聚类讲到核函数]]></title><link>https://blog.youkuaiyun.com/baidu_35570545/article/details/70944443</link><guid>https://blog.youkuaiyun.com/baidu_35570545/article/details/70944443</guid><author>baidu_35570545</author><pubDate>Sat, 29 Apr 2017 09:31:38 +0800</pubDate><description><![CDATA[k-means聚类算法->SOM自组织神经网络->核函数]]></description><category></category></item><item><title><![CDATA[BP算法——让你看清误差传播的每一步]]></title><link>https://blog.youkuaiyun.com/baidu_35570545/article/details/62065343</link><guid>https://blog.youkuaiyun.com/baidu_35570545/article/details/62065343</guid><author>baidu_35570545</author><pubDate>Tue, 14 Mar 2017 22:22:51 +0800</pubDate><description><![CDATA[本文通过最简单的一步步计算试着搬动BP算法这块大石头，通过发现其中的规律来更好的理解BP算法。]]></description><category></category></item><item><title><![CDATA[稳健估计/M估计/最小二乘法]]></title><link>https://blog.youkuaiyun.com/baidu_35570545/article/details/55212241</link><guid>https://blog.youkuaiyun.com/baidu_35570545/article/details/55212241</guid><author>baidu_35570545</author><pubDate>Wed, 15 Feb 2017 18:13:29 +0800</pubDate><description><![CDATA[稳健估计是在粗差不可避免的情况下，选择适当的估计方法使未知量估计尽可能减免粗差的影响，得出正常模式下的最佳估计。本文先介绍基于最小二乘法的多元线性回归理论，再引出基于M估计的加权最小二乘估计。]]></description><category></category></item><item><title><![CDATA[径向基网络（RBF）实现函数插值（拟合）]]></title><link>https://blog.youkuaiyun.com/baidu_35570545/article/details/54988057</link><guid>https://blog.youkuaiyun.com/baidu_35570545/article/details/54988057</guid><author>baidu_35570545</author><pubDate>Sat, 11 Feb 2017 22:01:41 +0800</pubDate><description><![CDATA[RBF神经网络最初就是是用来解决插值的问题，它可以以无限精度逼近任意连续函数。本文用matlab实现RBF神经网络，并且对不同函数的拟合效果进行比较。]]></description><category></category></item><item><title><![CDATA[受限玻尔兹曼机RBM]]></title><link>https://blog.youkuaiyun.com/baidu_35570545/article/details/54908677</link><guid>https://blog.youkuaiyun.com/baidu_35570545/article/details/54908677</guid><author>baidu_35570545</author><pubDate>Tue, 07 Feb 2017 13:14:14 +0800</pubDate><description><![CDATA[非常详细的受限玻尔兹曼机]]></description><category></category></item></channel></rss>