- 博客(3)
- 收藏
- 关注
RSS订阅原创 pyspark 使用udf遇到的问题
在使用PySpark的DataFrame处理数据时，会遇到需要用自定义函数（user defined function, udf）对某一列或几列进行运算，生成新列的情况。PySpark的udf使用方法如下。 先初始化SparkContext和SparkSession from pyspark import SparkConf from pyspark import SparkContext fro...
2019-10-08 10:39:57
2247
转载 Python 2 中的编码问题
Encoding declarations Python脚本中，通常会在第一或第二行写上： # -*- coding: <encoding-name> -*- 或者 # vim:fileencoding=<encoding-name> 这一行注释称为编码声明。编码声明必须放在第一行或第二行，如果在第二行，那么第一行必须也是注释行。 Python会用正则表达式coding...
2019-10-08 10:35:53
641
转载 Python中 is 和 == 的区别
我们先来看一段代码 >>> a = 1 >>> b = 1 >>> a == b True >>> a is b True >>> c = 1000 >>> d = 1000 >>> c == d True >>> c is d False 会不会觉得...
2019-10-08 10:31:30
177
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人