- 博客(5)
- 收藏
- 关注
RSS订阅原创 pyspark-Action
pyspark 之Action算子# -- coding: utf-8 --# Author : ming# time: 2022-03-09from typing import Any, Unionimport findsparkfindspark.init()from pyspark import SparkConf, SparkContext, RDDconf = SparkConf().setAppName("transform_function").setMaster("l
2022-03-09 20:34:07
223
原创 pyspark-Transform
pyspark之Transform由于工作中要用到spark，写scala还是太菜，趁机学学pyspark这个神器记录这个主要是自己以后查看方便，其中基本上参考3万字长文，PySpark入门级学习教程，其中也有自己增加了部分算子# -- coding: utf-8 --# Author : ming# time: 2022-03-08import findsparkfindspark.init()import osimport pysparkfrom pyspark import
2022-03-09 20:28:56
2178
原创 pandas 在进行concat 后 需要对列表进行reset操作
pandas 在进行concat 后 需要对列表进行reset操作当我们对需要拼接两个表格时df1 = read_csv(r"C:/Users/admin/Desktop/data.txt",sep=',',encoding='utf-8'df2 = read_csv(r"C:/Users/admin/Desktop/data1.txt",sep=',',encoding='utf-8'...
2018-12-04 20:06:48
1015
原创 关于fit_transform 和 transform 的简单区别
简单了解一下fit_transform 和 transform 的区别今天做kaggle上面的关于股票预测时，总是出现bug，找了好久才发现原来自己把训练集和测试集都进行了归一化拟合，今天写下来就是给自己长个记性（菜鸡菜鸡，决不放弃）好了 说正事fit_transform他相当于fit(X).transform(X),意思就是先进行fit(),进行数据拟合，然后在进行transfor...
2018-10-08 19:51:45
1465
原创 #TensorFlow 版本修改 卸载及其安装中
TensorFlow 版本修改 卸载及其安装中因为TensorFlow升级一次，又时候之前在GitHub上找的开源代码跑起来会出现错误，我也是被坑的遍体鳞伤，昨晚和室友奋斗半天，终于解决，希望能帮到小伙伴。正题正题-1 我用的是anaconda,以这个为例，首先进入Anaconda Prompt 窗口，进入Python环境，查看自己的TensorFlow版本，我的是改过的，所以用的...
2018-09-17 13:19:43
9133
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人