- 博客(35)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Spark 报错集合
1. Exception in thread "main" java.lang.NoClassDefFoundError: scala/Function1原因：Maven作用域的原因解决办法：As for me, in the configuration of "Run/Debug configurations" [idealJ]remember to choose the "Include dependencies with "Provided" scope"...
2021-08-19 16:01:11
173
转载 Error Compiling SBT component ‘compiler-interface-2.9.2-52.0‘
https://stackoverflow.com/questions/31851733/scala-compiliation-error-with-intellijin idea you have two jdk setupone isanother isyou need to set this two both to jdk1.8 or will always be conflict with your scala.
2021-08-19 12:46:00
208
转载 Spark 中 Java Scala 混合编程导致 编译失败 ，【找不到符号】问题解决
https://www.cnblogs.com/felixzh/p/10183865.html在pom中加入以下插件<plugin><groupId>net.alchim31.maven</groupId><artifactId>scala-maven-plugin</artifactId><version>3.3.1</version><executions><execution>
2021-08-18 17:21:02
404
转载 Spark编译及遇到的错误与解决办法（1）
[INFO] Building Spark Project Parent POM 2.1.0[INFO] ------------------------------------------------------------------------[INFO][INFO] --- maven-clean-plugin:3.0.0:clean (default-clean) @ spark...
2019-05-20 20:38:11
778
转载 什么是 Alpha、Beta、RC、Release版
什么是 Alpha、Beta、RC、Release版软件版本、命名？什么是Beta什么是RC？ 从网络搜集了一些关于这方面的简单介绍1. 软件版本阶段说明Alpha版: 此版本表示该软件在此阶段主要是以实现软件功能为主，通常只在软件开发者内部交流，一般而言，该版本软件的Bug较多，需要继续修改。Beta版: 该版本相对于α版已有了很大的改进，消除了严重的错误，但还是存在着一些缺陷...
2019-05-05 10:38:22
682
转载 Java 23种设计模式
创建型抽象工厂模式 http://www.cnblogs.com/java-my-life/archive/2012/03/28/2418836.html工厂方法 http://www.cnblogs.com/java-my-life/archive/2012/03/25/2416227.html建造者模式 http://www.cnblogs.com/java-my-life/archi...
2018-10-13 11:44:12
147
转载 java中为什么要使用Iterator，或者Iterator的用途是什么
我看到用于迭代集合 List l = new ArrayList(); l.add("yyyyy"); l.add("ccccc"); Iterator t = l.iterator(); while(t.hasNext()){ String s = (String)t.next(); System.out.println(s); } 但是不用迭代器可以使用for循环来输出啊 for(int i...
2018-10-07 20:22:22
2572
转载 Spark 链接MySQL 数据库
Spark 链接MySQL 数据库 可以把mysql-connector放在如下目录中F:\software\jdksetup\jre\lib\ext
2018-08-02 16:53:29
240
转载 MySQL 常用操作
MySQL -u root; root身份登录mysql show databases; 显示所有数据库CREATE DATABASE us_states; 创建数据库use database_name; 使用某个数据库show tables; 显示数据库中所有的表describe table_name; 查看表的字段信息desc table_name; 查看表的字段信息select...
2018-07-16 10:15:07
204
转载 vi 和vim 的区别
vi 和vim 的区别它们都是多模式编辑器，不同的是vim 是vi的升级版本，它不仅兼容vi的所有指令，而且还有一些新的特性在里面。vim的这些优势主要体现在以下几个方面：1、多级撤消我们知道在vi里，按 u只能撤消上次命令，而在vim里可以无限制的撤消。2、易用性vi只能运行于unix中，而vim不仅可以运行于unix,windows ,mac等多操作平台。3、语法加亮vim可以用不同的颜色来加...
2018-06-15 13:59:29
253
转载 CentOS VIM 设置折叠，缩进，括号匹配
转自 http://blog.sina.com.cn/s/blog_7f5285bf0100ufet.html"==================="设置编译环境的相关参数""===================set nocompatible " 关闭 vi 兼容模式syntax on " 自动语法高亮colorsche
2018-01-17 09:05:12
339
转载 Spark常见问题汇总
原文地址：https://my.oschina.net/tearsky/blog/629201摘要： 1、Operation category READ is not supported in state standby 2、配置spark.deploy.recoveryMode选项为ZOOKEEPER 3、多Master如何配置 4、No Spac
2018-01-17 08:21:12
1446
转载 vim 编辑器怎样显示行
在Linux环境下的编辑器有vi、vim、gedit等等。进入这些编辑器之后，为了方便我们需要编辑器显示出当前的行号，可偏偏编辑器默认是不会显示行号的。我们有二种办法可以解决： 第一种是，手动显示：在vim命令行模式下输入 ：set nu 取消显示：在vim命令行模式下输入： set nonu 第二种是，永久自动显示：我们修改一个配置文件。 我们
2018-01-17 08:18:52
698
转载 centos 命令
管理centos服务器的时候常会对文件进行一些常规操作，除了ftp之外了解在ssh下必要的文件操作命令那也是必不可少的，以下摘录一些常用的文件操作命令：目录操作：cd - 返回上一次的目录cd ..返回上一级的目录cd 返回用户所在目录文件操作：ls ####查看目录中的文件####ls -F ####查看目录中的文件#
2018-01-16 13:49:46
219
转载 素数
质数（prime number）又称 素数，有无限个。质数定义为在大于1的自然数中，除了1和它本身以外不再有其他 因数的数称为质数。因数，数学名词。假如a*b=c（a、b、c都是 整数)，那么我们称a和b就是c的因数。需要注意的是，唯有 被除数， 除数， 商皆为整数， 余数为零时，此关系才成立。 反过来说，我们称c为a、b的 倍数。在研究 因数和 倍数时，不考虑0。
2018-01-15 15:48:02
620
转载 set 与seq的区别
var seq = Seq[String]()seq = seq :+ "hello"var set = Set[String]()set += "hello"Seq 和 Set是针对现实使用场景的不同数据结构抽象。简单来说，Seq是列表，适合存有序重复数据，进行快速插入/删除元素等场景Set是集合，适合存无序非重复数据，进行快速查找海量元素的等场景总之，最
2018-01-15 15:21:31
735
转载 Kill 命令的使用
kill命令Shell内建命令kill命令用来删除执行中的程序或工作。kill可将指定的信息送至程序。预设的信息为SIGTERM(15),可将指定程序终止。若仍无法终止该程序，可使用SIGKILL(9)信息尝试强制删除程序。程序或工作的编号可利用ps指令或job指令查看。语法kill(选项)(参数)选项-a：当处理当前进程时，不限制命令名和进程号的对
2018-01-15 14:12:16
1114
转载 jdk1.7与jdk1.8的问题
The following exception occurs：[error] javac: invalid source release: 1.8[error] Usage: javac [error] use -help for a list of possible options[error] Compile failed at Jun 13, 2017 4:37:31 PM
2018-01-15 14:11:36
484
转载 Xshell 使用
从Windows上传文件，上传命令为rz；在Linux命令行下输入rz，上传的文件在当前命令行的目录下；[root@localhost src]# rz输入rz命令后，会弹出对话框，选择你要上传的文件，选择打开就上传到Linux主机。上传完可以使用ls 查看；从Linux主机下载文件，下载命令为sz ，后面跟要下载的文件名；可以选择下载的保存文件夹；[roo
2018-01-15 09:27:00
240
转载 Mac/Linux/Centos终端中上传文件到Linux云服务器
Mac/Linux/Centos终端中上传文件到Linux云服务器1、mac上传文件到Linux服务器scp 文件名 用户名@服务器ip:目标路径如：scp /Users/test/testFile test@www.linuxidc.com:/test/2、mac上传文件夹到Linux服务器，与上传文件相比多加了-rscp -r 文件夹目录 用户名@服务器ip:
2018-01-13 18:22:20
388
转载 Centos
如何查看已安装的CentOS版本信息：$ cat /proc/versionLinux version 3.10.0-514.el7.x86_64 (builder@kbuilder.dev.centos.org) (gcc version 4.8.5 20150623 (Red Hat 4.8.5-11) (GCC) ) #1 SMP Tue Nov 22 16:42:41 UTC 20
2018-01-13 17:40:41
401
转载 mvn 单独构建子模块
-pl, --projects Build specified reactor projects instead of all projects-am, --also-make If project list is specified, also build projects required by the list-amd, --also-make-depen
2018-01-13 09:10:36
1457
转载 Spark mavn编译问题
跳过项目的test阶段，需要加上-DskipTests。例如，项目安装命令：mvn install -DskipTests 临时跳过的命令：mvn package -Dmaven.test.skip=true mvn package -Dmaven.test.skip=tru
2018-01-12 15:39:45
237
原创 JDBC
通过JDBC连接数据的步骤：1，注册驱动（只做一次）2，建立连接（Connection）3，创建执行SQL的语句（Statement）4, 执行语句5，处理执行结果（Resultset）6, 释放资源JBDC学习资源：链接：https://pan.baidu.com/s/1brcwTwN 密码：upj7
2018-01-11 08:37:47
169
转载 spark sql 执行流程
在前面的文章《spark基础（上篇）》和《spark基础（下篇）》里面已经介绍了spark的一些基础知识，知道了spark sql是spark中一个主要的框架之一。本文我们通过源码，来介绍下spark sql的执行流程。 Spark sql是spark内部最核心，也是社区最活跃的组件。Spark SQL支持在Spark中执行SQL,或者HiveQL的关系查询表达式。列式存储的类RDD（D
2018-01-10 16:44:14
8151
1
转载 spark 基础 下
上篇介绍了spark的突出特点以及基本框架，下面给大家介绍下spark的基本数据结构、spark任务调度的详细流程以及spark中stage的划分。５. spark的基本数据类型RDD、DataFrame和DataSet可以说是spark独有的三种基本的数据类型。Spark的核心概念是RDD (resilientdistributed dataset)，指的是一个只读的，可分区的分布式数据集，
2018-01-10 16:42:03
628
转载 spark 基础 上
Spark 是专为大规模数据处理而设计的快速通用的计算引擎，是apache的一个开源项目。是一种跟hadoop相似的通用分布式并行计算框架，但是两者之间还存在一些不同之处。spark是一种基于内存计算的分布式执行框架，在执行速度上大大优于hadoop.1. spark的历史2009年，spark诞生于加州大学伯克利分校AMPLab.2010和2012年关于spark的两篇论文发表：M.
2018-01-10 16:26:01
390
原创 maven 编译Spark 时 的 问题及解决
出现 Please verify you invoked Maven from the correct directory. -> [Help 1]可能解决办法：到有pom.xml文件的目录下执行命令
2018-01-10 15:32:19
854
转载 maven编译spark 源码
基于Maven的构建是Apache Spark的参考构建。使用Maven构建Spark需要Maven 3.3.9或更高版本和Java 7。请注意，对于Java 7的支持已从Spark 2.0.0中弃用，可能会在Spark 2.2.0中删除。设置Maven内存使用：您需要通过MAVEN_OPTS配置Maven的内存使用量，官方推荐配置如下：export MAVEN_OPTS="-
2018-01-10 15:03:12
357
转载 System.nanoTime()的使用
纳秒 ns（nanosecond）：纳秒， 时间单位。一秒的10亿分之一，即等于10的负9次方秒。常用作 内存读写速度的单位。 1纳秒=0.000001 毫秒 1纳秒=0.00000 0001秒 java的System.currentTimeMillis()和System.nanoTime()区别: java中System.nanoTime()返回的是纳秒，
2017-12-25 17:17:03
4004
原创 索引结构
传统的索引顺序文件是对关系中的元组按主键进行排序而生成的文件。稠密索引：一系列存储块：块中只存放记录的键以及指向记录本身的指针，稠密索引文件中的索引块保持键的顺序与文件中的排序顺序一致。一般查找键与指针所占的存储空间远小于记录本身，这样一个块中能存储比较多的索引块，从访问磁盘的特性理解也就是查找索引里面的指针会更快，从而更快定位记录。
2017-12-21 18:58:06
1098
转载 Linux 启动smb服务器，windows连接smb 服务器
启动 service smbd start建立samba用户帐号首先我们需要创建公共目录，然后修改它相应的权限当我们把公共目录“public”创建号之后我们需要在“/etc/samba/smb.conf”中添加这几行命令。当我们把配置文件修改以后我们来测试我们修改的配置文件是不是正确如图所示：重启动 service smb
2017-12-20 20:20:42
11222
转载 映射与元祖
映射与元组1. 哈希表更笼统地说是映射，它是最灵活的数据结构之一。2. 映射是键/值对偶集合。3. Scala有一个通用的叫法：元组（n个对象的聚集，且对象的类型可以不一样）; 对偶是n=2的元组。构造映射val scores=Map("Alice"->10)val scores=scala.collection.mutable.Map("Alice"->10)val
2017-12-20 12:41:22
212
转载 Spark SQL 初始2 之 DataFrame API（2.0）
什么是DataFrame1. DataFrame 是Spark SQL的主要数据抽象（RDD是Spark的主要数据抽象）是相同模式行的分布式集合（这些行以命名的列方式组织），等同于关系数据库的表支持关系操作（selecting， filtering， aggregating, and plotting structured data）。2. DataFrame 支持从已存在的原生
2017-12-20 11:26:27
338
转载 Spark SQL 初识1（2.0）
什么是Spark SQL 1. Apache Spark SQL 是Spark用来操作结构化与半结构化数据的接口。2. 从历史来讲，Spark SQL 的前身是Shark (SQL on Spark), Shark之于Spark就相当于hive 之于Hadoop MapReduce。3. Spark SQL提供了一种特殊的RDD，早些版本称为SchemaRDD，从Spark1.3.0以
2017-12-20 10:50:59
650
空空如也
修改Spark源码后得到的异常
2018-01-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人