人生百态361

第一步删除已有的卸载 Oracle JDK，如果没有安装 Oracle JDK可以直接进入第二步。卸载Oracel JDK如何在 Mac 上卸载 Java？如何在卸载 Java 后删除 Java 部署高速缓存？第二步安装Java ，我装的openjdk,连接地址如下https://adoptopenjdk.net/?variant=openjdk8&jvmVariant=hotspot下载后，双击点击，一直按下去就可以安装成功然后打开iTerm输入 java -ve.

1. pandas和pyspark对比 1.1. 工作方式1.2. 延迟机制1.3. 内存缓存1.4. DataFrame可变性1.5. 创建1.6. index索引1.7. 行结构1.8. 列结构1.9. 列名称1.10. 列添加1.11. 列修改1.12. 显示1.13. 排序1.14. 选择或切片1.15. 过滤1.16. 整合1.17. 统计1.18....

1. 连接本地spark2. 创建dataframe3. 查看字段类型4. 查看列名5. 查看行数6. 重命名列名7. 选择和切片筛选8. 删除一列9. 增加一列10. 转json11. 排序12. 缺失值1. 连接本地sparkimport pandas as pdfrom pyspark.sql import SparkSessionspark = Spa...

1.首先用sklearn 生成简单的LR模型，并保存本地。import joblibimport pandas as pdfrom sklearn.datasets import make_blobsfrom sklearn.linear_model import LogisticRegressionfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import roc_auc_score#

pyspark自定义聚合函数import pyspark.sql.functions as Ffrom pyspark.sql import SparkSessionfrom pyspark.sql.types import IntegerTypelist_data={ 'label_id':['001','001','002','001','001','002','004','001','001'],'action_num':[3,4,5,1,2,34,5,9,2]}df1 = pd.

pyspark 三种读到hive的方法，以及对应从hive写出的三种方法，笛卡尔积总共有九种方法1.parquet格式2.csv格式3.hive格式# 1.parquet格式读写'read'parquetFile = r"hdfs://host:port/Felix_test/test_data.parquet"sparkdf = spark.read.parquet(parquetFile)'write'sparkdf.write.parquet(parquetFile,mo.

直接上干货，一套操作猛如虎，一看结果很惊喜#! python3# -*- coding: utf-8 -*-from pyspark.sql import SparkSessionfrom pyspark.sql import functions as Fspark = SparkSession.builder.appName("PySpark example").enableHiveSupport().getOrCreate()spark.sparkContext.setLogLevel

在引入DataFrame之前 Python查询速度普遍比使用RDD的Scala慢近2倍，主要是因为Python和JVM之间的同学开销。利用DataFrame，Pyspark的处理速度和Scala的速度相当，不分伯仲。

1.多个字段关联df1.join(df2,[df1["a"] == df2["a"] ,df1["b"] == df2["b"]], "inner").show()2.多个字段排序# 使用 orderBy() 或 sort()方法df.orderBy(df.a.desc())df.orderBy(df["age"].desc(), df["name"].desc())df.orderBy(["age", "name"], ascending=[0, 1])df.ord...

版本说明pyspark版本是2.4.6版本mysql是8.0.20版本pyspark读CSV文件from pyspark.sql import SparkSessionspark = SparkSession.builder.appName('dataFrameApply').getOrCreate()filepath = '/Users/hejipei/Downloads/read_spark_csv_demo.csv'df_spark = spark.read.csv...

1. 获取当前日期2. 获取当前日期和时间3. 日期格式转换4. 字符转日期5. 获取日期中的年月日6. 获取时分秒7. 获取日期对应的季度8. 日期加减9. 月份加减10. 日期差,月份差11. 计算下一个日子的日期12. 本月的最后一个日期1. 获取当前日期from pyspark.sql.functions import current_datespark...

1. 分组统计2. join 操作3. 缺失值处理4. 空值判断5. 缺失值处理6. 离群点7. 重复值8. 生成新列9. 类eval操作10. 行的最大最小值11. when操作12. lag,lead平移1. 分组统计分组统计应该是用的最多的方法了，比如分地区求平均值，最大最小值等。# 分组计算1color_df.groupBy('length').coun...

1. 简单统计2. 随机数3. 四舍五入4. 抽样5. 描述性统计6. 最大值最小值7. 均值方差8. 协方差与相关系数9. 交叉表(列联表)10. 频繁项目元素11. 其他数学函数 11.1. 数学函数12. 元素去重计数13. 聚合函数 grouping14. 聚合函数 grouping_id1. 简单统计在数据分析中，基本统计分析已经能满足95%的需求了...

1. 概览2. 自定义函数的一般流程3. 简单的自定义函数4. 自定义函数进阶1. 概览自定义函数的重点在于定义返回值类型的数据格式，其数据类型基本都是从from pyspark.sql.types import * 导入，常用的包括： - StructType()：结构体 - StructField()：结构体中的元素 - LongType()：长整型 -...

1. 创建map2. 创建列表3. 元素存在判断4. 数据拉直5. posexplode6. json操作 6.1. get_json_object6.2. json_tuple6.3. from_json6.4. to_json7. 列表排序1. 创建map# Creates a new map column.from pyspark.sql.functions ...

1. 字符串拼接2. 字符串格式化3. 查找字符串位置4. 字符串截取5. 正则表达式6. 正则表达式替换7. 其他字符串函数1. 字符串拼接from pyspark.sql.functions import concat, concat_wsdf = spark.createDataFrame([('abcd','123')], ['s', 'd'])# 1.直接拼接...

1. 背景公司有统一的spark大数据集群，但spark用的python版本是python2.7，项目组这边都是用python3.5，甚至有些项目用的是python3.6，对某些第三方包，有些项目用到pandas0.18，有些是pandas0.23等。相信这个问题用python的同学都遇到过，就是python的版本管理和第三包版本管理问题，一般用python虚拟环境就能解决。针对我们遇到的sp...