
pandas
_Seven°
这个作者很懒,什么都没留下…
展开
-
OneHot编码用于用于生产解决维度问题
不知道大家在使用OneHot编码的过程中有没有遇到这样的问题,比如在训练样本中某一列的值(离散)为“green” "red" "yellow",并对其进行了one-hot编码,效果如下:当在生产环境中实时读取新增数据时,出现一些训练样本中未见过的数据,如"green" "blue",其one-hot编码如下:那么在这种情况下会导致数据维度不一致,但由于训练好的模型输入维度是确定的,...原创 2019-10-25 09:43:09 · 21229 阅读 · 1 评论 -
嫌pandas慢又不想改代码怎么办?来试试Modin
来源:Python数据科学链接:https://mp.weixin.qq.com/s/SlPdbGtdtfXGPPKrysM7kw 之前和大家分享过一篇关于提速pandas的文章,主要是在pandas的具体操作用法上提出了一些改进,还在抱怨pandas运行速度慢?这几个方法会颠覆你的看法 但方法的改进上难免会遇到上限瓶颈,比如数据非常大的时候。最近看到了一篇也是关...转载 2019-04-24 14:23:03 · 31208 阅读 · 6 评论 -
利用pandas操作Oracle及MySQL数据库
Python强大的处理数据的能力很大一部分来自Pandas,pandas不仅限于读取本地的离线文件,也可以在线读取数据库的数据,处理后再写回数据库中。pandas主要是以sqlalchemy方式与数据库建立链接,支持Mysql、postgresql、Oracle、MS SQLServer、SQLite等主流数据库。SQLAlchemySQLAlchemy是Python编程语言下的一款开源软...原创 2019-06-11 09:30:37 · 30088 阅读 · 3 评论