<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[ 刚是程序员的博客]]></title><description><![CDATA[专注大数据，数据科学，机器学习]]></description><link>https://blog.youkuaiyun.com/github_39335046</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; github_39335046]]></copyright><item><title><![CDATA[使用Heapster和Splunk监控Kubernetes运行性能]]></title><link>https://blog.youkuaiyun.com/github_39335046/article/details/79091516</link><guid>https://blog.youkuaiyun.com/github_39335046/article/details/79091516</guid><author>github_39335046</author><pubDate>Thu, 18 Jan 2018 03:31:01 +0800</pubDate><description><![CDATA[Kubernetes已经成为容器编排的事实上的王者，连Docker都已经向K8s女王大人低头。对于Kubernetes的cluster的数据收集和监控已经成为IT运维的一个重要话题。我们今天来看一看如何利用Splunk最新的Metircs Store来对Kubernetes的集群进行性能监控。部署架构下图是该方案的部署架构，主要包括：利用Heapster收集K8s的性能数据，包含CPU，Memor]]></description><category></category></item><item><title><![CDATA[用Python实现一个大数据搜索引擎]]></title><link>https://blog.youkuaiyun.com/github_39335046/article/details/78651333</link><guid>https://blog.youkuaiyun.com/github_39335046/article/details/78651333</guid><author>github_39335046</author><pubDate>Tue, 28 Nov 2017 09:10:37 +0800</pubDate><description><![CDATA[搜索是大数据领域里常见的需求。Splunk和ELK分别是该领域在非开源和开源领域里的领导者。本文利用很少的Python代码实现了一个基本的数据搜索功能，试图让大家理解大数据搜索的基本原理。
布隆过滤器 （Bloom Filter）
第一步我们先要实现一个布隆过滤器。
布隆过滤器是大数据领域的一个常见算法，它的目的是过滤掉那些不是目标的元素。也就是说如果一个要搜索的词并不存在与我的数据中，那么]]></description><category></category></item><item><title><![CDATA[图解机器学习]]></title><link>https://blog.youkuaiyun.com/github_39335046/article/details/78125720</link><guid>https://blog.youkuaiyun.com/github_39335046/article/details/78125720</guid><author>github_39335046</author><pubDate>Thu, 28 Sep 2017 17:01:57 +0800</pubDate><description><![CDATA[警告：多图杀猫！
每当提到机器学习，大家总是被其中的各种各样的算法和方法搞晕，觉得无从下手。确实，机器学习的各种套路确实不少，但是如果掌握了正确的路径和方法，其实还是有迹可循的，这里我推荐SAS的Li Hui的这篇博客，讲述了如何选择机器学习的各种方法。

另外，Scikit-learn 也提供了一幅清晰的路线图给大家选择：

其实机器学习的基本算法都很简单，下面我们就利用二维数据和交互]]></description><category></category></item><item><title><![CDATA[把代码执行演示嵌在你的PPT中]]></title><link>https://blog.youkuaiyun.com/github_39335046/article/details/77877368</link><guid>https://blog.youkuaiyun.com/github_39335046/article/details/77877368</guid><author>github_39335046</author><pubDate>Thu, 07 Sep 2017 09:43:11 +0800</pubDate><description><![CDATA[“Talk is cheap, show me your code!”
当一个程序员在做技术分享的时候， 代码演示经常是不可或缺的一个环节。然而在你的演示PPT和代码运行之间切换是一件非常恼人事情，而且非常影响演示的节奏和流畅性。要做一个完美的技术分享，能不能把代码的运行嵌入到PPT中呢？
当然可以，我前不久在公司内部分享了一起关于Python的小谜题，大家可以到斗鱼去观看这次分享的视频录播]]></description><category></category></item><item><title><![CDATA[程序员量子力学-海森堡式BUG]]></title><link>https://blog.youkuaiyun.com/github_39335046/article/details/73934504</link><guid>https://blog.youkuaiyun.com/github_39335046/article/details/73934504</guid><author>github_39335046</author><pubDate>Fri, 30 Jun 2017 09:59:40 +0800</pubDate><description><![CDATA[今天在阅读《The Pragmatic Programmer》的时候发现书中提到了Heisenbug让我想起来了多年以前在开发中碰到的一个海森堡式的BUG。

海森堡是德国著名的物理学家,量子力学的创始人之一，“哥本哈根学派”的代表人物。

如果大家对这段历史或者物理原理不清楚的话，推荐大家阅读《上帝掷骰子吗》,非常好看的一本关于量子力学历史的科普书。

海森堡对量子力学的一个重要贡献]]></description><category></category></item><item><title><![CDATA[用编程的思路模拟解决脑筋急转弯问题]]></title><link>https://blog.youkuaiyun.com/github_39335046/article/details/73934156</link><guid>https://blog.youkuaiyun.com/github_39335046/article/details/73934156</guid><author>github_39335046</author><pubDate>Fri, 30 Jun 2017 09:58:35 +0800</pubDate><description><![CDATA[前些日子看了可汗学院的这个关于诚实人和说谎者的脑筋急转弯问题，我觉得如果能用程序来模拟，那一定很有趣。

这个题目是这样的，有两扇门，一扇通往天堂，一扇通往地狱，你要做出选择打开那扇门。门口各有一个人，他们都知道门后面的情况，其中一个总是说实话，而另一个总是撒谎。你可以问他们问题。要怎样问问题，才能做出正确的选择？
在揭开答案之前，我们先看看我是如何用JavaScript来模拟这个问题的。]]></description><category></category></item><item><title><![CDATA[用可视化来讲故事]]></title><link>https://blog.youkuaiyun.com/github_39335046/article/details/73933985</link><guid>https://blog.youkuaiyun.com/github_39335046/article/details/73933985</guid><author>github_39335046</author><pubDate>Fri, 30 Jun 2017 09:57:50 +0800</pubDate><description><![CDATA[在科学松鼠会的网站上有一篇漫画，来自imgur.com，讲述了 
科学理论是如何建立的
我用到d3.js把这个静态的图改成了动态效果，代码可见github
See the Pen Occam's Razor cn by gangtao (@gangtao) on
CodePen.
注：这个其实主要就是奥卡姆剃刀原理，“若无必要，勿增实体”。
附原图 ：]]></description><category></category></item><item><title><![CDATA[数据可视化中的视觉属性]]></title><link>https://blog.youkuaiyun.com/github_39335046/article/details/73933794</link><guid>https://blog.youkuaiyun.com/github_39335046/article/details/73933794</guid><author>github_39335046</author><pubDate>Fri, 30 Jun 2017 09:57:01 +0800</pubDate><description><![CDATA[Stephan Few 是数据可视化领域里面数一数二的专家，他的几本书《Show
 Me The Numbers》,《Information Dashboard Design》和《Now
 You See It》都是非常优秀的关于数据可视化的书。
Stephan Few 和 
Tableau 的合作非常紧密，在 Tableau 的数据可视化的设计中，处处可见 Stephan Few 的思想]]></description><category></category></item><item><title><![CDATA[软件中的质量属性（一）]]></title><link>https://blog.youkuaiyun.com/github_39335046/article/details/73933632</link><guid>https://blog.youkuaiyun.com/github_39335046/article/details/73933632</guid><author>github_39335046</author><pubDate>Fri, 30 Jun 2017 09:55:59 +0800</pubDate><description><![CDATA[开发高质量的软件是一件极具挑战的工作。其中一个重要的原因就是对于“质量”的定义各不相同，变化莫测。
杰拉尔德温伯格在他的四部曲巨作《质量软件管理》的第一卷第一章中就谈到了什么是质量以及质量的重要性。温伯格在书中讲了一个很有趣的故事。某软件企业每年都会根据所开发软件的质量对开发团队进行奖励，质量好的团队将会获得相应的嘉奖。可是如何评价软件的质量是一个令人头疼问题，于是他们采用了量化指标，根据用户反]]></description><category></category></item><item><title><![CDATA[软件中的质量属性（二）]]></title><link>https://blog.youkuaiyun.com/github_39335046/article/details/73931884</link><guid>https://blog.youkuaiyun.com/github_39335046/article/details/73931884</guid><author>github_39335046</author><pubDate>Fri, 30 Jun 2017 09:46:41 +0800</pubDate><description><![CDATA[现在我们接着上一次的话题来看看其它的质量属性。
互操作性 （Interoperability）
互操作性指的是系统内或者系统之间不同的组件可以有效地进行信息交换，通常是以服务（Service）的形式来进行的。互操作性的关键因素包括通信协议，接口定义，数据格式的定义等等，而标准化是实现互操作性的重要手段。
实现互操作性的主要挑战有以下这些方面：


系统内部或者和已有的旧系统（legac]]></description><category></category></item><item><title><![CDATA[神奇的阿基米德螺线]]></title><link>https://blog.youkuaiyun.com/github_39335046/article/details/73931821</link><guid>https://blog.youkuaiyun.com/github_39335046/article/details/73931821</guid><author>github_39335046</author><pubDate>Fri, 30 Jun 2017 09:45:11 +0800</pubDate><description><![CDATA[今天在读数学史，正巧读到阿基米德螺线，于是写了一段js代码，生成螺线。更多的有趣内容请参考这篇文章
代码如下（需要jquery和d3）：
HTML





CSS

body {
background-color:#000000;
}



JS

function drawCircile(pc, r, container) {
    var circle = ]]></description><category></category></item><item><title><![CDATA[使用Python抓取欧洲足球联赛数据]]></title><link>https://blog.youkuaiyun.com/github_39335046/article/details/73931508</link><guid>https://blog.youkuaiyun.com/github_39335046/article/details/73931508</guid><author>github_39335046</author><pubDate>Fri, 30 Jun 2017 09:44:20 +0800</pubDate><description><![CDATA[背景
Web Scraping
在大数据时代，一切都要用数据来说话，大数据处理的过程一般需要经过以下的几个步骤


数据的采集和获取

数据的清洗，抽取，变形和装载

数据的分析，探索和预测

数据的展现

其中首先要做的就是获取数据，并提炼出有效地数据，为下一步的分析做好准备。
数据的来源多种多样，以为我本身是足球爱好者，而世界杯就要来了，所以我就想提取欧洲联赛的数据]]></description><category></category></item><item><title><![CDATA[用Python做单变量数据集的异常点分析]]></title><link>https://blog.youkuaiyun.com/github_39335046/article/details/73930950</link><guid>https://blog.youkuaiyun.com/github_39335046/article/details/73930950</guid><author>github_39335046</author><pubDate>Fri, 30 Jun 2017 09:39:11 +0800</pubDate><description><![CDATA[大数据时代，数据的异常分析被广泛的用于各个场合。 今天我们就来看一看其中的一种场景，对于单变量数据集的异常检测。
所谓单变量，就是指数据集中只有一个变化的值，下面我们来看看今天我们要分析的的数据，点击这里数据文件下载数据文件。
分析数据的第一步是要加载文件， 本文使用了numpy，pandas，scikit learn等常见的数据分析要用到的Python库。

import numpy a]]></description><category></category></item><item><title><![CDATA[在Mac OS X上构建wget来抓取静态网站内容]]></title><link>https://blog.youkuaiyun.com/github_39335046/article/details/73930927</link><guid>https://blog.youkuaiyun.com/github_39335046/article/details/73930927</guid><author>github_39335046</author><pubDate>Fri, 30 Jun 2017 09:38:00 +0800</pubDate><description><![CDATA[我们的目标是在Mac OS上获取一个静态服务器的内容，通常用wget是一个很好的选择。
wget是一个命令行工具用于从网络服务器来获取内容。但是在Mac OS X（Mountain Lion/ Mavericks / Snow Leopard）上没有提供该工具，但是有curl。
wget VS curl
curl


基于跨平台的库libcurl

支持unix管道

返回错误]]></description><category></category></item><item><title><![CDATA[在ipython notebook中调用ggplot的三种不同的方法]]></title><link>https://blog.youkuaiyun.com/github_39335046/article/details/73930916</link><guid>https://blog.youkuaiyun.com/github_39335046/article/details/73930916</guid><author>github_39335046</author><pubDate>Fri, 30 Jun 2017 09:37:03 +0800</pubDate><description><![CDATA[在大数据时代，数据可视化是一个非常热门的话题。各个BI的厂商无不在数据可视化领域里投入大量的精力。Tableau凭借其强大的数据可视化的功能成为硅谷炙手可热的上市公司。Tableau的数据可视化的产品，其理论基础其实是《The Grammar of Graphic》，该书提出了对信息可视化的图表的语法抽象体系，数据的探索和分析可以由图像的语法来驱动，而非有固定的图表类型来驱动，使得数据的探索过程变]]></description><category></category></item><item><title><![CDATA[利用Splunk做应用程序的性能分析]]></title><link>https://blog.youkuaiyun.com/github_39335046/article/details/73930899</link><guid>https://blog.youkuaiyun.com/github_39335046/article/details/73930899</guid><author>github_39335046</author><pubDate>Fri, 30 Jun 2017 09:35:56 +0800</pubDate><description><![CDATA[在我们的开发过程中，经常会需要对我们开发的程序做性能分析，有很多性能分析的工具，很多语言都提供了不同的profiling工具，这些工具很有用，提供了程序运行的原始记录数据，通过对这些数据的分析，可以得到程序运行的性能状况，找到问题所在。然而，这样的工具手机的数据比较原始，往往还需要一些更进一步的分析，才能定位问题。
Splunk是一个可以运行在不同平台上的机器数据的实时运维平台，所谓机器数据，就]]></description><category></category></item><item><title><![CDATA[用HTML5构建一个流程图绘制工具]]></title><link>https://blog.youkuaiyun.com/github_39335046/article/details/73930886</link><guid>https://blog.youkuaiyun.com/github_39335046/article/details/73930886</guid><author>github_39335046</author><pubDate>Fri, 30 Jun 2017 09:34:48 +0800</pubDate><description><![CDATA[在我们的开发工程中经常会使用到各种图，所谓的图就是由节点和节点之间的连接所形成的系统，数学上专门有一个分支叫图论（Graph Theroy）。利用图我们可以做很多工具，比如思维导图，流程图，状态机，组织架构图，等等。今天我要做的是用开源的HTML5工具来快速构造一个做图的工具。
工具选择
工预善其事，必先利其器。第一件事是选择一件合适的工具，开源时代，程序员还是很幸福的，选择很多。


]]></description><category></category></item><item><title><![CDATA[使用sphinx快速生成Python API 文档]]></title><link>https://blog.youkuaiyun.com/github_39335046/article/details/73930878</link><guid>https://blog.youkuaiyun.com/github_39335046/article/details/73930878</guid><author>github_39335046</author><pubDate>Fri, 30 Jun 2017 09:34:01 +0800</pubDate><description><![CDATA[不管是开源还是闭源，文档都是很重要的。当然理论上说，最好的文档就是代码本身，但是要让所有人都能读懂你的代码这太难了。所以我们要写文档。大部分情况，我们不希望维护一份代码再加上一份文档，这样做很容易造成文档和代码的不一致，程序员最讨厌更新文档了。所以最佳实践就是在程序员代码中加注释，然后通过构建脚本自通生成文档。
对应于Pyhon，有很多可供选择的工具：


sphinx 中文版介绍 Sph]]></description><category></category></item><item><title><![CDATA[Python 并行分布式框架之 Celery]]></title><link>https://blog.youkuaiyun.com/github_39335046/article/details/73930863</link><guid>https://blog.youkuaiyun.com/github_39335046/article/details/73930863</guid><author>github_39335046</author><pubDate>Fri, 30 Jun 2017 09:33:17 +0800</pubDate><description><![CDATA[Celery （芹菜）是基于Python开发的分布式任务队列。它支持使用任务队列的方式在分布的机器／进程／线程上执行任务调度。
架构设计

Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task result store）组成。


消息中间件
Celery本身不提供消息服务，但是可以方便的和第三方提供的消]]></description><category></category></item><item><title><![CDATA[用Python抓取亚马逊云（AWS）的日志（CloudTrail）数据]]></title><link>https://blog.youkuaiyun.com/github_39335046/article/details/73920557</link><guid>https://blog.youkuaiyun.com/github_39335046/article/details/73920557</guid><author>github_39335046</author><pubDate>Thu, 29 Jun 2017 17:07:15 +0800</pubDate><description><![CDATA[如今是云的时代，许多公司都把自己的IT架构部署在基础架构云（IaaS）上。著名的IaaS提供商有亚马逊，微软（Azure），IBM等，国内也有诸如阿里云等。这里亚马逊毫无疑问是该市场的领军者。
AWS提供了非常多的服务，领先了竞争对手一大截。并且AWS提供非常丰富的API，其API基于Rest，所以很容易被不同的语言的平台来调用。
在如今的大数据时代，利用数据在做决策是大数据的核心价值，AWS]]></description><category></category></item></channel></rss>