<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[willdeamon的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/willdeamon</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; willdeamon]]></copyright><item><title><![CDATA[TimeWait状态说明]]></title><link>https://blog.youkuaiyun.com/willdeamon/article/details/77670766</link><guid>https://blog.youkuaiyun.com/willdeamon/article/details/77670766</guid><author>willdeamon</author><pubDate>Tue, 29 Aug 2017 10:12:29 +0800</pubDate><description><![CDATA[TimeWait tcp连接过多,原因]]></description><category></category></item><item><title><![CDATA[python调用c]]></title><link>https://blog.youkuaiyun.com/willdeamon/article/details/77603440</link><guid>https://blog.youkuaiyun.com/willdeamon/article/details/77603440</guid><author>willdeamon</author><pubDate>Sat, 26 Aug 2017 17:00:31 +0800</pubDate><description><![CDATA[本文参考于：《Python Cookbook》具体代码参考：https://github.com/zsluedem/c-with-python注意： 
本文件夹中的sample.c为原生底层c语言模块，以下都以这个文本作为基础，对此库进行python的封装。sample.c中有
4个基本函数：gcd, in_mandel, divide, avg, distance
一个数据结构：Point —代表]]></description><category></category></item><item><title><![CDATA[TCP_NODELAY 和 TCP_CORK]]></title><link>https://blog.youkuaiyun.com/willdeamon/article/details/76825423</link><guid>https://blog.youkuaiyun.com/willdeamon/article/details/76825423</guid><author>willdeamon</author><pubDate>Mon, 07 Aug 2017 11:21:19 +0800</pubDate><description><![CDATA[TCP_NODELAY 和 TCP_CORK介绍TCP_NODELAY和TCP_CORK基本上控制了包的“Nagle化”，Nagle化在这里的含义是采用Nagle算法把较小的包组装为更大的帧。 John Nagle是Nagle算法的发明人，后者就是用他的名字来命名的，他在1984年首次用这种方法来尝试解决福特汽车公司的网络拥塞问题（欲了解详情请参 看IETF RFC 896）。他解决的问题就是所谓的]]></description><category></category></item><item><title><![CDATA[琐碎笔记]]></title><link>https://blog.youkuaiyun.com/willdeamon/article/details/54289367</link><guid>https://blog.youkuaiyun.com/willdeamon/article/details/54289367</guid><author>willdeamon</author><pubDate>Mon, 09 Jan 2017 15:19:34 +0800</pubDate><description><![CDATA[ntpdate -u host   用于同步机器时间]]></description><category></category></item><item><title><![CDATA[wsgi pep333]]></title><link>https://blog.youkuaiyun.com/willdeamon/article/details/53506775</link><guid>https://blog.youkuaiyun.com/willdeamon/article/details/53506775</guid><author>willdeamon</author><pubDate>Wed, 07 Dec 2016 15:27:17 +0800</pubDate><description><![CDATA[wsgi介绍参考:pep 333wsgi 有两个interface:server/gateway和application/framework。server会调用一个由app提供的可callable 对象。而app怎么提供这个对象给server,就由server决定了。有些server需要app写一个script 来创建一个对象给server,有些server就直接根据config或者其它机制来调用这]]></description><category></category></item><item><title><![CDATA[scikit-learn 进行tf-idf计算]]></title><link>https://blog.youkuaiyun.com/willdeamon/article/details/53487720</link><guid>https://blog.youkuaiyun.com/willdeamon/article/details/53487720</guid><author>willdeamon</author><pubDate>Tue, 06 Dec 2016 15:41:08 +0800</pubDate><description><![CDATA[参考网站：sciki-learn feature-extractiontf-idf基本概念tf-idf主要是用于提取文本关键词，在文本中，有些词语如：我，你，他这种词会在大量文本出现，而对文本的分类起不大作用的词语。这时候使用tf-idf提取文本的关键词就可以把这些通用次筛选掉了。直接上公式了，一个词的tf-idf用下式计算： 
 
其中tf是词在一个文本出现的次数,idf指一个词在所有文本出现的值]]></description><category></category></item><item><title><![CDATA[sparse matrix(稀疏矩阵)]]></title><link>https://blog.youkuaiyun.com/willdeamon/article/details/53465350</link><guid>https://blog.youkuaiyun.com/willdeamon/article/details/53465350</guid><author>willdeamon</author><pubDate>Mon, 05 Dec 2016 14:54:14 +0800</pubDate><description><![CDATA[sparse matrix(稀疏矩阵)下文大致参考sparse_matrix-维基百科最近在接触sklearn 进行自然语言处理的时候，发现做类似tf-idf等等这样的算法时候，很多时候自然语言得出来的矩阵里面，是含有很多个0这样的元素的。这时候如果用一个大矩阵去处理数据，很容易造成内存不足（我处理100多万份短文本，分词后转化为矩阵明显是不足的），经过我研究，sklearn是默认使用一种spars]]></description><category></category></item><item><title><![CDATA[kvm安装与配置]]></title><link>https://blog.youkuaiyun.com/willdeamon/article/details/53198352</link><guid>https://blog.youkuaiyun.com/willdeamon/article/details/53198352</guid><author>willdeamon</author><pubDate>Thu, 17 Nov 2016 11:59:08 +0800</pubDate><description><![CDATA[kvm安装与配置本文全部参照文档：https://help.ubuntu.com/community/KVM 进行。查看系统是否适合安装kvm
  egrep -c ‘(vmx|svm)’ /proc/cpuinfo
如果显示1或者更多，证明cpu支持硬件虚拟化（hardware virtualization）。 
如果显示为0，证明cpu不支持虚拟化，应该是不能进行kvm安装了，不排除有其它方法。]]></description><category></category></item><item><title><![CDATA[pyspark map,reduce接收参数]]></title><link>https://blog.youkuaiyun.com/willdeamon/article/details/53160160</link><guid>https://blog.youkuaiyun.com/willdeamon/article/details/53160160</guid><author>willdeamon</author><pubDate>Mon, 14 Nov 2016 16:16:48 +0800</pubDate><description><![CDATA[查看spark官方档，发现map, reduce的方法都指定只能代如固定一个参数（map）或者两个参数（reduce）
现在工作发现，想要多把代入参数到map,和reduce的方法里面.
查了下，发现以下方法。


先定义一个函数：
def func(a, extra_para):
    k =  a + extra_para
    return k
然后map 的时候：
rd]]></description><category></category></item><item><title><![CDATA[python 创建egg]]></title><link>https://blog.youkuaiyun.com/willdeamon/article/details/53159548</link><guid>https://blog.youkuaiyun.com/willdeamon/article/details/53159548</guid><author>willdeamon</author><pubDate>Mon, 14 Nov 2016 15:37:23 +0800</pubDate><description><![CDATA[最近需要使用spark 运算数据，我是个Pythoner，自然用的是pyspark啦！


其中遇到一个问题，就是自己写的一些package，在spark中的map,reduce中并不能引用这个包里的函数。查文档说是要把python 的package打包成egg，再提交上去才能正确引入。


上网查询了下python 打包，现在都是用setuptools，直接在package下穿件一个]]></description><category></category></item><item><title><![CDATA[服务器遇到close wait解决]]></title><link>https://blog.youkuaiyun.com/willdeamon/article/details/53043948</link><guid>https://blog.youkuaiyun.com/willdeamon/article/details/53043948</guid><author>willdeamon</author><pubDate>Sat, 05 Nov 2016 10:37:51 +0800</pubDate><description><![CDATA[昨晚上同事把代码部署到服务器上遇到web后端代码无反应的情况。
用命令netstat查看发现有很多close wait的情况。以前没有遇到这种情况。百度了下。更深入的了解到tcp的一些机制。




重点在关闭连接的时候，按照现在的情况是应该是浏览器主动关闭发送fin给服务器，然后服务器程序仍然在运行。没有关闭这个连接。多次模仿整个连接过程（通过发送请求）。发现浏览器在发送请求后一直没]]></description><category></category></item></channel></rss>