Wzzzx的博客

简要的记录了numpy和scipy中常用的用于数据拟合的相关函数

pandas的琐碎知识点，给自己看的而已

np.cov 用于求协方差，当rowvar=1时，按行求协方差，为0时按列求

Series的切片与普通python切片不同，为一个封闭区间 DataFrame里用axis表示轴，其中0表示行，1表示列利用groupby分组求平均值 people.groupby(key).mean() 该方法能够利用key分组，并得到均值，但是会创建一个新的视图，key为行，列不变people.groupby(key).transform(np.mean)该方法得到的均值按照原来的样子展

照例先上代码。这份代码跟我的爬虫代码犯了一样的错。class Text: def __init__(self): self.num = 10 def Start(self): read = Process(target = self.read) write = Process(target = self.write) rea

首先还是自我检讨一下，做这个破爬虫花了我好长一段时间，整体的效率实在是太低了。这是项目地址。 做这个爬虫的过程中，遇到了无数的坑，但是还好都填补上了，但是还是有几个问题实在是难以解决。暂时先记录如下。MySQL的bug？python执行时传入了正确的语句，但是却出现了插入了错误的数据分属不同文件的消费者生产者不把队列赋值给类的属性,并作为参数传入子进程无法进行通信cannot serial

当有多个进程相对高并发的读取删除数据库的时候，经常会出现事物锁锁死，导致锁等待时间超时的致命错误。 翻看日志，可以查看到最早出现的是以下错误InternalError(1205, 'Lock wait timeout exceeded; try restarting transaction')但是该错误提示仅仅出现了几次，之后会不断的出现下面的错误提示OperationalError(2013,

关于僵尸进程的相关资料，这篇博客讲的挺透彻的，可以参考进行学习了解。 之所以想写这么一篇博客，是在学TCP/IP网络编程时，讲到多进程服务器的构建时，父进程需要对子进程进行处理，不然的话会产生一堆的僵尸进程，最后会危害整个系统。然后想到我之前写的爬虫，Dwonloader使用的就是多进程的方式来并发下载数据。在Downloader中，我的做法是凑够一定数量的请求，然后开启一个进程，让这个进程去处理