Jameslvt的博客

阅读别人的python源码时碰到了这个yield这个关键字，各种搜索终于搞懂了，在此做一下总结： 通常的for…in…循环中，in后面是一个数组，这个数组就是一个可迭代对象，类似的还有链表，字符串，文件。它可以是mylist  = [1, 2, 3]，也可以是mylist = [x*x for x in range(3)]。 它的缺陷是所有数据都在内存中，如果有海量数据的话将会非常耗内存。 ...

条件 pycharm需要专业版 方式 使用远程解释器 使用远程调试器 使用远程解释器 默认情况下我们在本地开发Python程序时，使用的是本地的Python解释器，如果你安装了virtualenv或者pyenv的话，还可以选择这些虚拟环境。而使用Pycharm的专业版，则还可以选择使用远程Linux机器上的解释器。下面就来介绍下使用远程解释器的步骤。   远程部署配置 远程部署主要用...

1.首先安装界面之前需要安装Anaconda,这里自己看自己想要哪个版本，我是装的高版本，能切换到低的版本 wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.0.0-Linux-x86_64.sh 2.然后我们需要安装一个插件  yum -y install bzip2 3.安装Anaconda ...

上次，我们用scala来编写来spark，这次我们用python来写spark脚本，我们在上篇博客中说过，spark的版本是2.2.0，scala的版本是2.1.x，这样我们在集群中，由于spark的版本，没有办法使用pySpark wordcount.py 来执行脚本，只能使用spark submit wordcount.py来执行脚本，在Linux环境是这样执行的，但是我们写脚本，可以直接在L...