spark
关注
分享
扫一扫
文章平均质量分 66
踩坑小王子
联系方式:
294889365@qq.com
博主是哈尔滨工业大学计算机科学与技术专业的大三学生，兴趣爱好是web开发，是Chrome Extension: Edge Translate的开发者,喜欢看电影，摄影，听音乐，旅游
目前还在继续web开发，主要是web前端，后端也入过门。
本博客主要记录和分享自己在web开发中遇到的疑难问题，同时也有自己在计算机专业学习中的问题与总结，欢迎大家关注和留言！
展开
-
spark如何读入GBK编码文件解决办法
问题描述 初学大数据处理框架 spark ,在读入实验的数据时,遇到了经典的字符编码问题 实验环境: os:ubuntu 18.04 spark: version 2.4.0 使用spark读入的文件编码是 gbk,大小是10Gb 根据spark的文档介绍,使用的函数是 SparkConf conf = new SparkConf().setAppName("first").setMaster...原创 2018-12-11 18:58:12 · 5664 阅读 · 0 评论 -
Spark DataFrame Dataset 的java使用入门
问题描述 环境介绍 依赖库: spark-core_2.11 version: ‘2.4.0’ hadoop-client version: ‘3.1.1’ spark-sql_2.11 version: ‘2.4.0’ jackson-module-scala_2.11 version: ‘2.8.8’ DataFrame 和 Dataset是 spark中的一种重要数据格式,它支持使用SQ...原创 2018-12-28 21:37:20 · 9895 阅读 · 3 评论