- 博客(32)
- 收藏
- 关注
RSS订阅原创 spark dataframe 保留小数位数
import org.spache.spark.sql.functions._import spark.implicits._val df = sc.parallelize(Array(1.2,1.233453,2.45323445,3.22))val df1 = df.toDF()df1.show()val df2 = df1.select(bround($"value...
2019-11-27 16:20:07
6295
1
原创 Hadoop环境部署
准备软件包1、hadoop-2.7.2.tar.gzhttp://mirror.bit.edu.cn/apache/hadoop/common/2、scala-2.10.4.tgzhttp://www.scala-lang.org/download/2.10.4.html3、spark-2.0.0-bin-hadoop2.7.tarhttp://spark.apach...
2019-11-09 19:58:16
236
原创 flink首次使用
下载安装包，并解压，不做任何配置，为local模式执行example中的wordcount.jar 记得输入参数和输出参数记得在flink目录下面输入命令，不然会报错，找不到配置文件Exception in thread "main" java.lang.RuntimeException: The configuration directory was not specified. ...
2019-11-03 12:22:24
683
原创 配置gradle使用maven本地仓库
maven配置gradle 只需配置图1 的环境变量就好了项目使用gradle配置文件添加下面的配置项repositories { mavenLocal() mavenCentral()}
2019-10-28 15:41:52
2649
2
原创 MAVEN 阿里镜像 仓库配置
阿里maven镜像配置setting.xml<mirrors> <mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/grou...
2019-10-28 15:14:42
297
原创 springboot 中 mysql 的配置，application.yml文件
spring: datasource: username: root password: 123456 url: jdbc:mysql://localhost:3306/jdbc?serverTimezone=UTC driver-class-name: com.mysql.cj.jdbc.Driver type: com.mysql.cj.jdbc....
2019-10-04 21:29:16
5868
转载 Spark SQL Dataset 常用API 二
TransformationUntyped API前面一篇写了SELECT这个API的一些主要用法，本文打算通过一个SQL示例来展开讲述下Dataset其他常用的Untyped API，比如filter(类似于where),join,groupby 等等。首先，描述下大概的需求：表一，描述了一家五口人，有名字，年龄和性别，先在mysql中建表，并且插入数据create table ...
2019-09-18 17:58:36
275
转载 Spark SQL Dataset 常用API 一
TransformationUntyped API首先啰嗦一句，Spark SQL Dataset中主要分为Transformation和Action两种API(这个特性沿用了Spark RDD的特性，其中的Transformation也有懒计算的猥琐特性）下面主要通过对比SQL语句的方式来记录下如何从一个DataFrame中获取某个字段首先有个DataFrame，如下perso...
2019-09-18 17:56:29
565
原创 开发中碰到的问题：org.gradle.process.internal.ExecException: Process 'command 'C:\Program Files\Java\jdk1.8.0
被编译的代码或资源有问题（ finished with non-zero exit value 1）：出现这种编译异常表现是exit value 1，一般会给出错误提示，所以很容易排查。这种错误很常见，错误提示有时候是在日志中明显的给出来了，如下示例所示：12345678 :app:processDebugManifest:app:processDebu...
2019-09-17 11:24:31
5611
原创 gradle项目中如何支持java与scala混合使用?
一、目录结构基本上跟maven一样，tips:这一堆目录结构不用死记，后面会讲如何用gradle命令快速生成二、build.gradle配置 1 group 'yjmyzz' 2 version '1.0-SNAPSHOT' 3 4 apply plugin: 'java' 5 apply plugin: 'scala' 6 apply plugin: 'a...
2019-09-17 10:48:13
778
原创 scala项目maven的编译打包
如果直接运行mvn clean package ，会杯具的发现[ERROR] /Users/jimmy/Work/IdeaProjects/Default/MyScala/src/main/java/yjmyzz/HelloWorld.java:[7,9] cannot find symbol[ERROR] symbol: class Hello[ERROR] location: clas...
2019-09-17 10:45:18
1718
原创 scala 代码作为脚本在服务器运行
scala代码也可以作为脚本运行，只要你设置好代码文件的shell前导词（preamble），并将代码文件设置为可执行。如下：#!/usr/bin/env scala println("这是scala脚本")设置代码文件为可执行，即可执行之啦。scala脚本的命令行参数保存在名为args的数组中，你可以使用args获取命令行输入的程序参数。...
2019-09-14 14:40:39
616
原创 Spark编程之获取项目名称
this.getClass().getSimpleName().filter(!_.equals('$'))点赞。。。。。谢谢
2018-09-28 16:10:36
291
原创 kafka删除topic
最近工作中经常遇到要手动或者服务器内存不足 自动关掉spark-streaming读取kafka数据的情况 ，本身只有一个节点，宕掉后会导致kafka当前topic异常，读取与写入都获取不到head，所以要删除topic来解决该问题，实际生产中不推介删除topic的策略解决该问题，是否可以通过手动设置head来解决还没有研究。要完全删除该topic需要删除干净许多地方 然后重启kafka的每个...
2018-09-10 10:53:10
1590
转载 Java添加水印（图片水印，文字水印）
第一种是添加文字水印：import java.awt.*;import java.awt.image.*;import java.io.*;import javax.swing.*;import com.sun.image.codec.jpeg.*;public class WaterSet { /** * 给图片添加水印 * * @par...
2018-09-03 09:06:12
13007
1
原创 linux同步网络时间
命令：utpdate 时间服务器ip例如ntpdate -u ntp.api.bz 不能执行上述命令的先安装ntp插件yum -y install ntp 常见的ntp服务器地址中国国家授时中心：210.72.145.44NTP服务器(上海) ：ntp.api.bz美国： time.nist.gov复旦： ntp.fudan.edu.cn微软公司授时主机(...
2018-08-28 21:24:45
3554
原创 hadoop安装与配置
本文hadoop的版本为hadoop-2.7.4一、安装java jdk 1、下载java jdk1.7版本，放在/home/software目录下， 2解压：tar -zxvf java-jdk*****.jar 3、vim /etc/profile 1 2 3 4 5 #在文件最后添加 expo...
2018-08-25 09:58:49
1904
原创 Linux 下编译hadoop源码包
准备的资料源码根目录下有个BUILDINT.txt，打开即可看见里面关于编译hadoop的一些环境要求 64位linux系统CentOS 6.7。JDK 1.7+。maven-3.2.5。 一个项目管理综合工具, 使用标准的目录结构和默认构建生命周期protobuf 2.5.0 google的一种数据交换的格式，它独立于语言，独立于平台hadoop-2.x.x-src ...
2018-08-24 20:39:53
1506
原创 nginx安装
1.1 Nginx在Linux下的安装重新准备一台虚拟机作为服务器。比如IP地址为192.168.25.141 1.1.1环境准备（1）需要安装 gcc 的环境【此步省略】 yum install gcc-c++ （2）第三方的开发包。【此步省略】n PCRE PCRE(Perl Compatible Regular Expressions)是一个 ...
2018-08-24 18:11:20
387
原创 Mycat 启动失败 java.net.MalformedURLException: Local host name unknown: java.net.UnknownHostException:
查看mycat日志ERROR | wrapper | 2018/08/24 18:37:51 | JVM exited while loading the application.INFO | jvm 5 | 2018/08/24 18:37:51 | Error: Exception thrown by the agent : java.net.MalformedURL...
2018-08-24 15:00:45
961
原创 apache server http
yum安装[root@hadoop2 ~]# yum install -y httpd启动httpd server[root@hadoop2 ~]# service httpd start默认网页存放位置[root@hadoop2 ~]# cd /var/www/html
2018-08-23 21:47:52
202
转载 centos7 上安装mysql5.7后登录报错ERROR 1045 (28000): Access denied for user 'root'@'localhost'
安装完mysql后会有个临时密码去日志查看，但是查看登录修改密后还是不行ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password:yes)于是1，停止mysql服务systemctl stop mysqld.service 2，修改配置文件无密码登录 vi /...
2018-08-22 21:27:22
590
原创 libnuma.so.1()(64bit) is needed by mysql-community-server-5.7.23-1.el6.x86_64
[root@localhost ~]# rpm -ivh mysql-community-server-5.7.23-1.el6.x86_64.rpm warning: mysql-community-server-5.7.23-1.el6.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEYerror: Faile...
2018-08-22 21:24:50
9646
1
转载 Spring Security 无法登陆，报错：There is no PasswordEncoder mapped for the id “null”
编写好继承了WebSecurityConfigurerAdapter类的WebSecurityConfig类后，我们需要在configure(AuthenticationManagerBuilder auth) 方法中定义认证用于信息获取来源以及密码校验规则等。（configure函数名字不重要，官方用的好像是configureGlobal(……)，重要的是在这个被@EnableWebSecuri...
2018-08-19 17:06:12
315
转载 BigDecimal使用时遇到的问题
最近查看rebate数据时，发现一个bug，主要现象是，当扣款支付宝的账号款项时，返回的是数字的金额为元，而数据库把金额存储为分，这中间要做元与分的转化，这个转化规则很简单，就是*100的，所以一开始代码很简单，如下。 Float f = Float.valueOf(s); f =f*100; Long result = f.longValue(); ...
2018-08-18 16:46:04
1416
原创 redis集群搭建
什么是Redis-Cluster为何要搭建Redis集群。Redis是在内存中保存数据的，而我们的电脑一般内存都不大，这也就意味着Redis不适合存储大数据，适合存储大数据的是Hadoop生态系统的Hbase或者是MogoDB。Redis更适合处理高并发，一台设备的存储能力是很有限的，但是多台设备协同合作，就可以让内存增大很多倍，这就需要用到集群。Redis集群搭建的方式有多种，例如使用客...
2018-08-18 09:18:23
228
转载 CAP原理和BASE思想
分布式领域CAP理论，Consistency(一致性), 数据一致更新，所有数据变动都是同步的Availability(可用性), 好的响应性能Partition tolerance(分区容忍性) 可靠性定理：任何分布式系统只可同时满足二点，没法三者兼顾。忠告：架构师不要将精力浪费在如何设计能满足三者的完美分布式系统，而是应该进行取舍。关系数据库的ACID模型拥有 高一致性 + 可用性...
2018-08-14 10:50:05
182
转载 java中的最顶级的异常类Throwable
Throwable类是整个异常体系类的父级类，当然最终追根溯源到底的父类当然要归于Object类。Throwable类实现了Serializable接口，表示Throwable可以进行序列化，继承自Object类，他的子类主要是Error和Exception类还有一个StackRecorder类（不是很常见）。那么这里有几个问题要思考：1. 为什么序列化？2. 源码中并没有看到继承Ob...
2018-08-14 10:47:02
3233
转载 URL传递中文参数的编码与解码方式探讨
URL传递中文参数时的几种处理方式，总结如下：1.将字符串转码：newString(“xxxxx”.getBytes("iso-8859-1"),"utf-8")这种转码方式有很大的弊端，因为它是使用指定的字符集将此String编码为byte 序列，并将结果存储到一个新的byte 数组中，然后通过使用指定的字符编码将生成的byte 数组解码，构造一个新的String字符串。这种情况就有可能遇到的情...
2018-06-02 08:52:49
2531
转载 看看带你装逼带你飞之IntellJ IDEA使用攻略
带你装逼带你飞之IntellJ IDEA使用攻略 一直习惯了用Eclipse，刚开始接触IdeaIU总会有很多不习惯的地方，但是使用了两周多的时间，发现这款开发工具的开发效率比Eclipse要高很多，真正做到了解放双手，额~错了，是解放鼠标。应王大神的要求，在这里制作一个攻略(有些东西是我在用的，还有很多不常用的算是现学现卖了)，希望有兴趣的同学可以尝试一下，真的不错哟~注意：IDEA IU为免...
2018-05-22 12:39:02
740
原创 Java中Enumeration 类浅析
接口 Enumeration<E>我们都应该知道，该类是一个接口，要使用它其实需要的是实现了该类的子类对象。应用场景常见于遍历集合中的元素（如同迭代器Iterator接口类一样，小白的浅见）实现 Enumeration 接口的对象，它生成一系列元素，一次生成一个。连续调用 nextElement 方法将返回一系列的连续元素。 例如，要输出 Vector<E> v 的所有元素...
2018-05-09 17:49:00
6287
原创 Java程序复制多级文件夹并重命名的思路及源码
对于文件的操作，我们一定要明确的是该路径是可以指向特定的文件的，否则会报FileNoFoundExceptionFile 的操作实质上是有文件的操作。/* * 将D盘com文件夹中后缀为java的文件名后缀改为jad结尾的并复制到E盘中 * * 思路： * * A：封装目录和目的地 * B：获取目录下所有的后缀名为java的文件 * C：复制该文件到E盘 * D：修改后...
2018-05-07 20:42:22
831
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人