Miracle42的博客

结论先说结论，Python 的 map 和 reduce 是Python的内置函数，而 Hadoop 的 MapReduce 是一个计算框架。两者之间没有直接的关系。但是他们的部分计算操作思想是类似的。下面分别介绍下这三个内容。Python的Map下面是Python中Map类的定义（学过Java的同学不要将两者弄混，在Java中Map是一个存储键值的数据结构，相当于Python中的字典...

数据挖掘 文本分类 知乎问题单分类（三）：数据预处理从数据库导出（选）读取与去噪分词构建词向量TF-IDF是什么TF(词频 term frequency)IDF（逆向文件频率Inverse Document Frequency）TF-IDF参考上节我们讲到那杰洛特啊， 在对抗迪精的过程中与叶奈法建立了灵魂绑定，哦，不好意思串戏了。今天我们接着来说文本分类中的另外一个重要问题：如何进行数据预处理。...

数据挖掘 文本分类 知乎问题单分类（二）：爬取知乎某话题下的问题（数据爬取）爬虫目标Scrapy框架介绍Scrapy框架原理 [^1]Scrapy工作流程 [^2]具体实现安装Scrapy创建项目定义item编写存储MySQL的Pipelinespider编写总结反反爬（选修）[^4]参考爬虫目标由于我们打算对知乎某些话题下的问题和问题描述中的文按话题进行分类，所以使用了Python的Scra...