spark
bxy5511
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
IntelliJ IDEA配置scala开发环境
1.下载IntelliJ IDEA 。官方地址:https://www.jetbrains.com/idea/download/#section=windows2.安装3.原创 2019-10-12 14:43:51 · 368 阅读 · 0 评论 -
tensorflow安装
1. 安装anaconda,直接官网下载2,CPU版本 pip3 install --upgrade tensorflow,GPU版本 pip3 install --upgrade tensorflow-gpu。安装需要一段时间。3.做个简单的测试#!/usr/bin/python3# -*- coding: utf-8 -*-import tensorflow as tfse...原创 2018-08-06 19:00:40 · 217 阅读 · 0 评论 -
SPARK CONF,SPARK CONTEXT和SPARK SESSION的区别
https://www.cnblogs.com/Forever-Road/p/7351245.html转载 2018-12-16 23:30:38 · 1012 阅读 · 0 评论 -
scala中sorted,sortby,sortwith的用法(转)
scala中sorted,sortWith,sortBy用法详解2017年07月23日 23:07:51 bitcarmanlee 阅读数:9249版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.youkuaiyun.com/bitcarmanlee/article/details/75949268scala的集合中提供了三种排序的方式:sorted,sortWit...转载 2018-12-17 00:15:41 · 1783 阅读 · 0 评论 -
退出scala命令行
:quit原创 2018-12-18 23:22:26 · 5923 阅读 · 1 评论 -
spark广播变量
一、前述Spark中因为算子中的真正逻辑是发送到Executor中去运行的,所以当Executor中需要引用外部变量时,需要使用广播变量。累机器相当于统筹大变量,常用于计数,统计。二、具体原理1、广播变量广播变量理解图 注意事项1、能不能将一个RDD使用广播变量广播出去? 不能,因为RDD是不存储数据的。可以将RDD的结果广播出去。2、 ...转载 2019-01-02 19:25:52 · 1222 阅读 · 0 评论 -
dataframe的一些操作
DataFrame 的函数Action 操作1、 collect() ,返回值是一个数组,返回dataframe集合所有的行2、 collectAsList() 返回值是一个java类型的数组,返回dataframe集合所有的行3、 count() 返回一个number类型的,返回dataframe集合的行数4、 describe(cols: String*) 返回一个通过数学计算的类表...转载 2019-01-08 11:11:57 · 381 阅读 · 0 评论 -
spark sql函数
https://blog.youkuaiyun.com/liam08/article/details/79663018转载 2019-01-31 13:59:21 · 239 阅读 · 0 评论 -
python编码问题
ASCII码,原有英文编码,一共128个字符,如A是65,01000001 非ASCII码 Unicode编码: 新的一种编码方式,现在可以容纳100多万个字符,每个字符编码不一致,比如U+0639标识阿拉伯字母Ain,U+4E25代表中文严 UTF-8:互联网的普及,强烈要求出现一种统一的编码方式,UTF-8是其中的一种Unicode的实现方式。Python编码# -*- codi...原创 2019-05-08 16:42:07 · 757 阅读 · 0 评论
分享