whiterbear的专栏

本文记录下我的电脑下安装iPython－notebook 的过程。简介：我的系统是OSX EI-Capitan 10.11，python是2.7.10，ipython版本为4.0.0.首先，我已经用了大半年时间的ipython了，它是一个交互式的shell，除了代码补全，代码高亮外，还有很多magic命令。但是，最近在学习scipy时，发现很多学习文档使用的都是ipython－

在使用这几个函数时遇到一些问题记录一下，个人理解，不一定正确。问题1: argsort的函数返回值是什么？比如有语句：In [40]: distancesOut[40]: array([ 1.48660687,  1.41421356,  0.        ,  0.1       ])    In [41]: distances.args

NumPy：一个第三方的Python模块，主要提供数值计算功能，大部分由C语言实现，在处理数组，矩阵等方面比单纯用Python实现快得多，提供了大量的矩阵运算的函数库，是用Python进行数值计算&DM&ML的好工具。NumPy 的学习，也不能期望一步就都学会了，需要慢慢来吧，里面的内容很多，一次性都学了，不用的话忘得也快。前提：安装Python，NumPy，matplotlib，ipython，

生成特殊矩阵In [187]: ones = eye(3, dtype=int) # 生成3 * 3的单位矩阵In [188]: onesOut[188]: array([[1, 0, 0], [0, 1, 0], [0, 0, 1]])In [226]: zeros((2, 3), dtype=int) # 生成2 * 3的零矩阵Out[226]: arra

本文记录spark开发过程中遇到的小知识点，使用pyspark开发，由于使用大多数场景为DataFrame，介绍也多为DataFrame。本文比较长，在学习过程中摘了一些博客和资料，如果有描述的不对的地方请指出。Spark是分布式内存计算，能够依据各类操作创建一个计算DAG图，数据通过DAG处理后生成结果。对spark的数据操作分为两类，一类是转换（transformation）操作，比如Fi...