_maybewecan-优快云博客

原创 scala获取当前系统时间的两种方式

有问题要解决，逃避不是办法import java.text.SimpleDateFormatimport java.util.Dateval df = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss")1.df.format(new Date())2.df.format(System.currentTimeMillis())...

2019-01-21 19:55:00 5145

原创 maven 报错： Inspects a Maven model for resolution problems

提供一个可能的出错的原因：我的是刚刚加入依赖下载过程中出现中断，导致我下载的依赖JAR包出错，但是maven依然使用。所以我就把本地的maven的jar包手动删除，然后重新下载，问题解决了。...

2019-01-14 18:24:33 1183

原创《算法（第4版）》-使用algs4.jar在IntelliJ IDEA开发程序配置过程

算法第四版这本书真是太好了，经典中的经典：因为最近一直使用IntelliJ IDEA学习，之前使用eclipse配置的也都忘了，本来以为很简单，这次尝试些第一个BinarySearch使用书本的执行指令一直出错：java BinarySearch tinyW < tinyT;出错如下----图片的配字写错了，应该写没配置（￣□￣｜｜尴尬）：怕有的同学不知道怎么调出来这个ter...

2019-01-12 21:55:50 10019 6

原创 algs4.jar----算法第四版书本官方jar包下载

想看之前写的算法例子，发现依赖jar包没了，重新下载，发现好多人把这放到优快云要积分下载，有点竟然要45个积分，真是醉了。。官方就有免费下载：地址在这：https://algs4.cs.princeton.edu/code/...

2019-01-12 02:24:22 3435 7

原创 spark学习过程中--序列化问题---目前只遇到这么多，待更ing

问题很多，但是慢慢理解，慢慢解决。。今天学习spark优化，过程中学习了Kryo优化---是我更深的理解了序列化的作用，做个笔记先：之前学习的java的序列化，是通过关键字Serialization实现的[Serialization is the process of turning structured objects into a byte stream--序列化就是一个将结构对象转换...

2019-01-11 19:51:51 262

原创 spark学习--grouByKey 和 reduceByKey区别及reduceByKey特点在spark调优中的利用

Spark学习---GrouByKey和reduceByKey的区别，以及reduceByKey特点在spark优化中的使用先来一个例子：需求：读取学生信息表到SparkContext后，分别使用GroupByKey,reduceByKey统计各班的人数代码和结果如下：获取SparkContext:使用groupByKey---结果和代码放到一起截图的:reduce...

2019-01-11 18:55:19 415

原创 spark on yarn

Spark on yarn的两种运行模式和运行原理一回顾—spark和mapreduce区别在MapReduce中，计算的最上层单元是是job，系统加载数据，执行一个map函数，shuffle数据，执行一个reduce函数，然后将数据写回到持久化存储器，Spark有一个类似job的概念（虽然一个job可以由多个stage组成，而不是仅仅只包含map和reduce），不过Spark还有一...

2019-01-08 19:54:22 327 2

原创 hadoop fs -options 和 hdfs dfs -options的区别

一直使用hadoop fs 突然发现有些人用dfs,虽然我知道，但是具体什么区别不是很清楚，于是花时间查了一下：1.hadoop fs -options 该命令可以用于其他文件系统，不止是hdfs文件系统内，指当前hadoop使用的那个文件系统，说该命令的使用范围大2.hdfs dfs -optionshdfs系统专属的3.hadoop dfs -options这个不用...

2019-01-07 00:11:18 403

原创 sqoop连接本地windows的mysql出错：java.sql.SQLException: Access denied for user 'root'@'master' (using passwo

问题：linux的sqoop命令连接windows的mysql出错：java.sql.SQLException: Access denied for user 'root'@'master' (using password: YES) at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1078) at com...

2018-12-22 16:42:06 5088

原创 windows端java程序连接虚拟机Hbase长时间连接，不报错也不停止--当然包含建表，读数据

首先我的hadoop集群，zookeeper集群都是正常的工作的，启动hbase后，在linux上都是正常工作的，建表都是可以的，因此错误只能出在java程序上，这是我的测试程序：public class HbaseTest { private HBaseAdmin admin; HConnection connection; /** * 执行Test之...

2018-12-18 20:04:47 380

原创 Hbase安装教程

1.hadoop启动成功--2.zookeeper启动成功-3.准备安装hbase我的hadoop集群，master:192.168.147.200--node1:192.168.147.201--node2:192.168.147.202安装教程：1.上传hbase压缩包到一个结点，我上传到master的/usr/local/soft/下，然后直接解压文件tar -zxvf hb...

2018-12-14 23:24:40 5283

原创 HIVE启动错误：org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeExcept

问题：org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /tmp/hive/root/2275b82d-f5d1-4fce-b548-3de2eca22bd9. Name node is in safe m...

2018-12-10 09:47:06 5044 2

原创解决：FTP隔离用户ftp将数据发送到服务器之前不加密或编码，要保护密码和数据数据，请用WEB文件夹（WenDAV）

版本 Cent OS 6.5原因：没有设置SELinux的问题背景：SELinux(Security-Enhanced Linux) 是美国国家安全局（NSA）对于强制访问控制的实现，是 Linux史上最杰出的新安全子系统。SELinux 是 2.6 版本的 Linux 内核中提供的强制访问控制 (MAC)系统。对于目前可用的 Linux 安全模块来说，SELinux 是功能最全面，而且测...

2018-11-29 15:15:09 7903 1

转载用类加载器读取.properties文件的几种方式

用类加载器的5种方式读取.properties文件     用类加载器的5中形式读取.properties文件（这个.properties文件一般放在src的下面） 用类加载器进行读取：这里采取先向大家讲读取类加载器的几种方法；然后写一个例子把几种方法融进去，让大家直观感受。最后分析原理。（主要是结合所牵涉...

2018-11-23 09:51:22 589

原创 Windows10 mysql解决MySQL服务无法启动系统出错发生系统错误 1067

查看日志就是这个问题：Fatal error: Can't open and lock privilege tables: Table 'mysql.host' doesn't exi最近学习用到mysql,之前装的mysql5.7莫名其妙出了问题，上次就是打不开mysql服务，一气之下重装了一个低版本的mysql5.5，删数据库真的好麻烦，好在重装了之后5.5用了一段时间，但是今天5.5版本...

2018-11-22 17:39:03 59836 14

转载 ZooKeeper用途详解

ZooKeeper用途--超详细 ZooKeeper还可以用作其他用途，例如：数据发布与订阅（配置中心）负载均衡命名服务(Naming Service)分布式...

2018-11-21 19:30:01 7320 1

转载 Java NIO 详细教程

Java NIO（New IO）是从Java 1.4版本开始引入的一个新的IO API，可以替代标准的Java IO API。Java NIO提供了与标准IO不同的IO工作方式： Channels and Buffers（通道和缓冲区）：标准的IO基于字节流和字符流进行操作的，而NIO是基于通道（Channel）和缓冲区（Buffer）进行操作...

2018-11-21 19:24:35 246

原创 Linux指令之ll输出权限详解

一般会输入这样的信息，其中的文件前面的这一坨一坨的是什么呢，这次抽时间查资料终于搞懂了---比如：drwxr-xr-x （也可以用二进制表示 111 101 101 --> 755）先理解---d：标识节点类型（d：文件夹 -：文件 l:链接）r：可读 w：可写 x：可执行 d表明上面这串信息是文件夹，然后-第一组rwx：表示这个文件的拥...

2018-11-11 11:07:56 25313 2

原创 IntelliJ IDEA 快捷键写构造函数含多个参数实现的一个小细节

1.先Alt+Insert打开提示界面：2.选中Constructor后enter进入这个时候的要注意了，要通过shift才能选中多个需要的参数。之前我不知道利用shift按键，浪费了很多时间。才开始用IntelliJ IDEA。。慢慢摸索ing. ...

2018-11-06 15:38:07 13897 26

原创 C++的常量指针和指针常量之间的区别

最近刷题遇到好多类似的题目，因此差了书，做个笔记。常量指针：让指针指向一个常量对象，这样可以防止使用该指针来修改指向的值；eg.int age =22; const int * pt =&age;该声明指出，pt指向一个const int(这里为22)，因此不能使用pt来修饰这个值。话句话说，*pt的值为const不能被修改，但允许pt重新指向别的对象。*pt+=1；cin>...

2018-08-03 20:36:06 262

原创剑指offer--一个整型数组里除了两个数字之外，其他的数字都出现了两次。请写程序找出这两个只出现一次的数字。

尝试说明大家普遍使用的一种方法：利用位运算来实现。三步走：1.首先将数组元素一次异或，得到值resultExclusiveOR,接下来要利用这个数字将原数组分为两部分。2.利用子函数FindFirstBitIs1()来找FindFirstBitIs1中第一次出现1的位，假设为b位。3.接下来就是利用函数IsBit()来实现区分b位为1的一组，不为1的是另一组。class Solution {pub...

2018-06-17 16:20:54 601

maybewecan