<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[sperospera的博客]]></title><description><![CDATA[bigdata java  scala]]></description><link>https://blog.youkuaiyun.com/sperospera</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; sperospera]]></copyright><item><title><![CDATA[java实现Unicode编码和可读字符互转]]></title><link>https://blog.youkuaiyun.com/sperospera/article/details/89354906</link><guid>https://blog.youkuaiyun.com/sperospera/article/details/89354906</guid><author>sperospera</author><pubDate>Wed, 17 Apr 2019 14:08:01 +0800</pubDate><description><![CDATA[实现Unicode编码与可读字符的转换。
今天遇到的错误提示，提示全是Unicode编码，写了一段代码将错误提示转为可读。
测试结果如下：

package com.demo;

import java.io.UnsupportedEncodingException;

public class GetUnicode {

    public static void main(String[] ...]]></description><category></category></item><item><title><![CDATA[Scala implicit 隐式转换总结]]></title><link>https://blog.youkuaiyun.com/sperospera/article/details/89344093</link><guid>https://blog.youkuaiyun.com/sperospera/article/details/89344093</guid><author>sperospera</author><pubDate>Tue, 16 Apr 2019 22:40:23 +0800</pubDate><description><![CDATA[在Scala中implicit 转换有三种：
1.隐式参数与隐式值
package com.demo

object ImplicitPram {
  //在作用域内，只能指定一个同类型的隐式参数。
  implicit val a = 100

  /**
    * 在参数前加上implicit 关键字，表示a，b都是隐式参数，在调用时，可以显示的调用如
    * test_Param(1,...]]></description><category></category></item><item><title><![CDATA[设计模式之单例模式]]></title><link>https://blog.youkuaiyun.com/sperospera/article/details/89235847</link><guid>https://blog.youkuaiyun.com/sperospera/article/details/89235847</guid><author>sperospera</author><pubDate>Fri, 12 Apr 2019 14:01:08 +0800</pubDate><description><![CDATA[单例模式
单例模式是一种简单的模式：
1、 确保一个类，只有一个实例。
2、构造器私有化。
单例模式的优点：
1.单例模式只有一个实例，可以减少内存开支。
2.当创建实例时，需要较多的系统资源时，使用单例模式，只产生一个实例，可以降低系统资源开销，
3.只有一个实例，可以避免对资源的多重占用。
4.可以作为系统的全局访问点，优化和共享资源访问。
单例模式的缺点：
1.单例模式，一般没有借口，扩展困...]]></description><category></category></item><item><title><![CDATA[Spark SQL  Join类型]]></title><link>https://blog.youkuaiyun.com/sperospera/article/details/89222841</link><guid>https://blog.youkuaiyun.com/sperospera/article/details/89222841</guid><author>sperospera</author><pubDate>Fri, 12 Apr 2019 00:24:37 +0800</pubDate><description><![CDATA[Spark SQL join工作是通过使用executors 操作DataFrame的多个分区，具体的过程和性能依赖join type和datasets的特征。join的过程中，包含了shuffle join 和broadcast join；

在两个大的datasets join的过程中，进行了 shuffle join，使左右的dataset的分区数据到达executors。如：

  ...]]></description><category></category></item><item><title><![CDATA[java 实现归并排序]]></title><link>https://blog.youkuaiyun.com/sperospera/article/details/89222364</link><guid>https://blog.youkuaiyun.com/sperospera/article/details/89222364</guid><author>sperospera</author><pubDate>Thu, 11 Apr 2019 23:14:04 +0800</pubDate><description><![CDATA[归并排序（MERGE-SORT）是建立在归并操作上的一种有效的排序算法,该算法是采用分治法（Divide and Conquer）的一个非常典型的应用。将已有序的子序列合并，得到完全有序的序列；即先使每个子序列有序，再使子序列段间有序。若将两个有序表合并成一个有序表，称为二路归并。

速度仅次于快速排序，为稳定排序算法，一般用于对总体无序，但是各子项相对有序的数列。

归并操作的工作原理如下：

...]]></description><category></category></item><item><title><![CDATA[MySQL实现pivot行转列]]></title><link>https://blog.youkuaiyun.com/sperospera/article/details/89199806</link><guid>https://blog.youkuaiyun.com/sperospera/article/details/89199806</guid><author>sperospera</author><pubDate>Thu, 11 Apr 2019 00:28:43 +0800</pubDate><description><![CDATA[1.创建表：

Create Table
		
			CREATETABLE`pivot`(
			`id`int(11)NOTNULLAUTO_INCREMENT,
			`salary`doubleNOTNULL,
			`year`varchar(4)NOTNULL,
			`name`varchar(10)NOTNULL,
			PRI...]]></description><category></category></item><item><title><![CDATA[快速排序Java实现]]></title><link>https://blog.youkuaiyun.com/sperospera/article/details/89197780</link><guid>https://blog.youkuaiyun.com/sperospera/article/details/89197780</guid><author>sperospera</author><pubDate>Wed, 10 Apr 2019 23:07:42 +0800</pubDate><description><![CDATA[要排序的数组是A[0]……A[N-1]，首先任意选取一个数据（通常选用数组的第一个数）作为关键数据，然后将所有比它小的数都放到它左边，所有比它大的数都放到它右边，这个过程称为一趟快速排序。值得注意的是，快速排序不是一种稳定的排序算法，也就是说，多个相同的值的相对位置也许会在算法结束时产生变动。

一趟快速排序的算法是：

1）设置两个变量i、j，排序开始的时候：i=0，j=N-1；

2）以第一个...]]></description><category></category></item><item><title><![CDATA[Spark中的groupByKey,reduceByKey,combineBykey,和aggregateByKey的比较和区别]]></title><link>https://blog.youkuaiyun.com/sperospera/article/details/89164261</link><guid>https://blog.youkuaiyun.com/sperospera/article/details/89164261</guid><author>sperospera</author><pubDate>Tue, 09 Apr 2019 23:14:42 +0800</pubDate><description><![CDATA[groupByKey 按照key进行分组，得到相同key的值的sequence，可以通过自定义partitioner，完成分区，默认情况下使用的是HashPartitioner,分组后的元素的顺序不能保证，可能每一次的执行得到的结果都不相同。所有的数据需要进行shuffler,消耗资源。key-value键值对需要加载到内存中，若某个key有太多的value，可能发生OutOfMemoryErro...]]></description><category></category></item><item><title><![CDATA[HBASE架构总结]]></title><link>https://blog.youkuaiyun.com/sperospera/article/details/89163787</link><guid>https://blog.youkuaiyun.com/sperospera/article/details/89163787</guid><author>sperospera</author><pubDate>Tue, 09 Apr 2019 22:08:05 +0800</pubDate><description><![CDATA[1.Client 包含访问HBase的接口并维护cache来加快对HBase的访问

2.Zookeeper 保证任何时候，集群中只有一个活跃master；存贮所有Region的寻址入口；实时监控Region server的上线和下线信息，并实时通知Master；存储HBase的schema和table元数据。

3.Master 为Region server分配region...]]></description><category></category></item><item><title><![CDATA[Web 项目sql 配置遇到的异常]]></title><link>https://blog.youkuaiyun.com/sperospera/article/details/86482852</link><guid>https://blog.youkuaiyun.com/sperospera/article/details/86482852</guid><author>sperospera</author><pubDate>Mon, 14 Jan 2019 19:53:05 +0800</pubDate><description><![CDATA[1.Could not find the main class ,program will exit 。出现此问题时，可能是sql 配置文件，路径不对，先检查路径是否如下配置src/jdbc.properties。如正确配置路径，未解决问题，然后再查看jre，和build path，配置正确的版本才可。

2.Unsupported major.minor version 52.0 出现如此提示，...]]></description><category></category></item><item><title><![CDATA[windows 查看端口]]></title><link>https://blog.youkuaiyun.com/sperospera/article/details/86226580</link><guid>https://blog.youkuaiyun.com/sperospera/article/details/86226580</guid><author>sperospera</author><pubDate>Thu, 10 Jan 2019 13:12:15 +0800</pubDate><description><![CDATA[1. netstat -ano 查看所有的端口占用信息。



2. netstat -aon|findstr &quot;8090&quot; 查看指定的端口号，如8090



3. tasklist|findstr &quot;3184&quot;  根据pid查看占用端口程序。



4.taskkill /f /t /im  TNSLSNR.EXE  使用命令taskkill /f /t /im 结束TNSLSNR.EXE的进...]]></description><category></category></item><item><title><![CDATA[mysql 连接出现时间错误]]></title><link>https://blog.youkuaiyun.com/sperospera/article/details/85629725</link><guid>https://blog.youkuaiyun.com/sperospera/article/details/85629725</guid><author>sperospera</author><pubDate>Wed, 02 Jan 2019 18:12:36 +0800</pubDate><description><![CDATA[Exception in thread &quot;main&quot; java.sql.SQLException: The server time zone value '???ú±ê×??±??' is unrecognized or represents more than one time zone. You must configure either the server or JDBC driver (...]]></description><category></category></item><item><title><![CDATA[Python添加默认模块搜索路径]]></title><link>https://blog.youkuaiyun.com/sperospera/article/details/52369165</link><guid>https://blog.youkuaiyun.com/sperospera/article/details/52369165</guid><author>sperospera</author><pubDate>Tue, 30 Aug 2016 14:45:37 +0800</pubDate><description><![CDATA[一:用函数添加用户路径


1 import sys

2添加sys.path.append("d:\\python\\module")



二:修改系统环境变量


用户可以修改系统环境变量PYTHONPATH


三:在Python安装路径中增加.pth文件


在Windows或者linux(redhat) 中python安装路径中的site-packa]]></description><category></category></item></channel></rss>