一缕阳光的博客

Spark SQL 是 Apache Spark 处理结构化数据的模块。

PySpark是Spark的PythonAPI，允许Python调用Spark编程模型。

关于Python时间格式总结：1、时间戳import timeprint time.time()直接输出时间戳：1481357223利用time时间模块转换，格式化时间戳为本地的时间time.localtime(time.time())time.struct_time(tm_year=2016, tm_mon=12, tm_mday=10, tm_hour=16

最近学习python并发，于是对多进程、多线程、异步和协程做了个总结。一、多线程多线程就是允许一个进程内存在多个控制权，以便让多个函数同时处于激活状态，从而让多个函数的操作同时运行。即使是单CPU的计算机，也可以通过不停地在不同线程的指令间切换，从而造成多线程同时运行的效果。多线程相当于一个并发(concunrrency)系统。并发系统一般同时执行多个任务。如果多个任务可以

搭建或者升级Python环境笔记，吐血记录！每次在新的Centos上折腾Python时，在参考之前的两篇文章（见本文结尾文章推荐）之后，总是会遇到这样那样的问题，原来是一些Python所依赖的包没有安装好，导致又得重新make&make install了遍，非常折磨人，于是找了一些资料，把Python运行时所需要的一包找全了，在正式安装Python之前，先把这些安装好，果然就没什么问题