- 博客(11)
- 资源 (1)
- 收藏
- 关注
原创 python3 logging模块输出默认sys.stderr
问题描述在一个项目中,程序里面使用logging模块输出日志,在控制台直接运行可以正常输出,但使用supervisor守护后,程序输出的日志全部都落到了${stderr_logfile} 的路径下。原因分析通过参考以下问答找到了答案:参考1参考2原来logging模块如果不设置StreamHandler的话,会默认使用 sys.stderr 。官方文档:StreamHandlerThe StreamHandler class, located in the core logging pa
2021-10-13 15:10:51
1994
1
原创 windows下pip报PermissionError解决方案
今天在用sklearn做机器学习的时候发现sklearn有个解决样本不平衡问题的好工具,于是乎,题主便迫不急待地去pip了。BUT, 安装快完成的时候报了这个错:Failed to build scipyInstalling collected packages: scipy, scikit-learn, numpy, imbalanced-learn Found existing insta
2017-03-30 16:49:49
20847
2
原创 Windows下安装xgboost的过程总结及dll问题解决方案
慕名已久在kaggle大赛上大放异彩的xgboost,但无奈windows在机器学习界二等公民的地位,一直没有在windows下装成功过。今天终于折腾完成功安装xgboost了,在此记录下来以供后人参考。环境windows 7Anaconda 3(这个很重要,如果不是用它的同学应该就不会遇到后面dll的问题了)python 3安装安装的过程官网已经挺详细的描述了,相信根据步骤一步步来,还是
2016-11-07 19:59:30
4854
1
原创 Windows环境下使用python selenium 打开Firefox的问题总结
Windows环境下使用python selenium 打开Firefox的问题总结
2016-09-23 14:50:44
4134
1
原创 CENTOS 7 中 硬盘临时文件夹tmp清理
在使用虚拟机的时候,发现系统挂载的硬盘已满,查询了一下,原来是因为先前跑爬虫的时候在 /tmp 里面留下了大量的临时文件。在centos 7 里面,关于tmp的清理是有 systemd-tmpfiles-clean.service 服务来管理的。详见这里如果要手动清理,可以使用如下指令# find /tmp -ctime +10 -exec rm {} +至于中间还有很多是文件夹无法删除,可以在 r
2016-09-21 14:39:09
7643
原创 利用sklearn做自然语言处理(NLP)——词向量特征构建
在自然语言处理中,第一步需要面对的就是词向量特征的提取。语言的特征提取在sklearn模块中有相当完善的方法和模块,而针对中文其实也可以同过分词软件做分词然后再按照英文文本的思路开展特征提取,机器学习。
2016-09-18 17:29:26
12485
1
原创 PANDAS 数据合并与重塑(join/merge篇)
在上一篇文章中,我整理了pandas在数据合并和重塑中常用到的concat方法的使用说明。在这里,将接着介绍pandas中也常常用到的join 和merge方法mergepandas的merge方法提供了一种类似于SQL的内存链接操作,官网文档提到它的性能会比其他开源语言的数据操作(例如R)要高效。和SQL语句的对比可以看这里merge的参数on:列名,join用来对齐的那一列的名字,用到这个参数的
2016-09-14 18:05:55
82305
9
原创 PANDAS 数据合并与重塑(concat篇)
pandas作者Wes McKinney 在【PYTHON FOR DATA ANALYSIS】中对pandas的方方面面都有了一个权威简明的入门级的介绍,但在实际使用过程中,我发现书中的内容还只是冰山一角。今天就pandas官网中关于数据合并和重述的章节做个人性质的总结。文中代码块主要有pandas官网教程提供。
2016-09-13 19:26:30
313905
15
原创 PYTHON编程环境管理的必备利器——ANACONDA
随着python丰富多样,性能强大的第三方包不断地扩展着python的生态圈,对于做数据分析/数据挖掘/机器学习的同学来说,python已经成为他们常用必备的语言之一。但对于初学者和数据科学家来说,各种第三方包的安装,选择 python2.x 还是 python3.x这些问题都严重影响到python的使用体验(例如:如果你要安装p
2016-08-23 09:45:29
4024
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人