<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[wwq_vracle的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/wwq_vracle</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wwq_vracle]]></copyright><item><title><![CDATA[java 实现穷举算法]]></title><link>https://blog.youkuaiyun.com/wwq_vracle/article/details/112188951</link><guid>https://blog.youkuaiyun.com/wwq_vracle/article/details/112188951</guid><author>wwq_vracle</author><pubDate>Mon, 04 Jan 2021 17:33:29 +0800</pubDate><description><![CDATA[参考:https://blog.youkuaiyun.com/changyuanchn/article/details/51417796


题目
/**
 * 
 * [0-1背包问题]有一个背包，背包容量是M=150kg。有7个物品，物品不可以分割成任意大小。
 * 要求尽可能让装入背包中的物品总价值最大，但不能超过总容量。
 * 物品 A    B    C   D    E    F    G
 * 重量 35kg 30kg 6kg 50kg 40kg 10kg 25kg
 * 价值 10   40   30 ]]></description><category></category></item><item><title><![CDATA[spark scala.util.control.BreakControl]]></title><link>https://blog.youkuaiyun.com/wwq_vracle/article/details/105053206</link><guid>https://blog.youkuaiyun.com/wwq_vracle/article/details/105053206</guid><author>wwq_vracle</author><pubDate>Mon, 23 Mar 2020 17:31:50 +0800</pubDate><description><![CDATA[org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 12.0 failed 1 times, most recent failure: Lost task 0.0 in stage 12.0 (TID 18, localhost, executor driver): scala.uti...]]></description><category></category></item><item><title><![CDATA[java Djava.ext.dir]]></title><link>https://blog.youkuaiyun.com/wwq_vracle/article/details/103926679</link><guid>https://blog.youkuaiyun.com/wwq_vracle/article/details/103926679</guid><author>wwq_vracle</author><pubDate>Fri, 10 Jan 2020 16:21:57 +0800</pubDate><description><![CDATA[jar -jar 指定lib启动java -Xms1g -Xmx4g -Djava.ext.dirs=/opt/test/lib -jar /opt/test/untitled.jar

提示报错





用-Djava.ext.dirs=指定lib的会覆盖系统ext包 所以需要重新指定系统ext包

java -Xms1g -Xmx4g -Djava.ext.dirs=/opt/te...]]></description><category></category></item><item><title><![CDATA[将当前目录下所有jar合并成一个jar]]></title><link>https://blog.youkuaiyun.com/wwq_vracle/article/details/100701278</link><guid>https://blog.youkuaiyun.com/wwq_vracle/article/details/100701278</guid><author>wwq_vracle</author><pubDate>Tue, 10 Sep 2019 15:45:53 +0800</pubDate><description><![CDATA[在linux上

1.进入当前目录

解压所有jar

通过jar解压命令将jar包全部解压，命令为 &gt;jar –xvf xx.jar;

如果jar太多了 可以编写个shell脚本解压

1.touch run.sh

2.vim run.sh

3.进入编辑模式 然后保存

#!/bin/bash
for wav in ./*.jar; do
  echo "Extracting...]]></description><category></category></item><item><title><![CDATA[mr中理解分区和分组(转)]]></title><link>https://blog.youkuaiyun.com/wwq_vracle/article/details/100135053</link><guid>https://blog.youkuaiyun.com/wwq_vracle/article/details/100135053</guid><author>wwq_vracle</author><pubDate>Thu, 29 Aug 2019 11:58:37 +0800</pubDate><description><![CDATA[原文链接：https://blog.youkuaiyun.com/qq_21292551/article/details/50261391



1.MapReduce中数据流动
（1）最简单的过程：map-reduce
（2）定制了partitioner以将map的结果送往指定reducer的过程：　map-partition-reduce
（3）增加了在本地先进性一次reduce（优化）...]]></description><category></category></item><item><title><![CDATA[MapReduce中自定义文件输出名]]></title><link>https://blog.youkuaiyun.com/wwq_vracle/article/details/100038032</link><guid>https://blog.youkuaiyun.com/wwq_vracle/article/details/100038032</guid><author>wwq_vracle</author><pubDate>Fri, 23 Aug 2019 14:46:27 +0800</pubDate><description><![CDATA[import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.RecordWr...]]></description><category></category></item><item><title><![CDATA[父子类强转失败 类加载器隔离问题]]></title><link>https://blog.youkuaiyun.com/wwq_vracle/article/details/98038077</link><guid>https://blog.youkuaiyun.com/wwq_vracle/article/details/98038077</guid><author>wwq_vracle</author><pubDate>Thu, 01 Aug 2019 10:50:16 +0800</pubDate><description><![CDATA[今天遇到一个BUG 在做调试的时候发现子类不能强转父类。。

DEBUG一下 发现 instanceof 结果是false

回想一下 在Oracle的时候驱动有两个版本 都是自定义类加载器去加载驱动(为了区分Oracle版本)







...]]></description><category></category></item><item><title><![CDATA[最大堆排序最小堆排序]]></title><link>https://blog.youkuaiyun.com/wwq_vracle/article/details/96482910</link><guid>https://blog.youkuaiyun.com/wwq_vracle/article/details/96482910</guid><author>wwq_vracle</author><pubDate>Fri, 19 Jul 2019 16:07:58 +0800</pubDate><description><![CDATA[//堆是一种完全二叉树  就是每个节点都有两个子节点


public static   void maxHeapSort(int[] arrays,int node,int size){
        //获取左节点和右节点位置
        int left = node*2+1;
        int right = node * 2 +2 ;
        //假设node 是最...]]></description><category></category></item><item><title><![CDATA[实时计算工具库 stream-lib 分位数计算 T-Digest  求中位数]]></title><link>https://blog.youkuaiyun.com/wwq_vracle/article/details/95591269</link><guid>https://blog.youkuaiyun.com/wwq_vracle/article/details/95591269</guid><author>wwq_vracle</author><pubDate>Fri, 12 Jul 2019 09:52:08 +0800</pubDate><description><![CDATA[图片来源https://dataorigami.net/blogs/napkin-folding/19055451-percentile-and-quantile-estimation-of-big-data-the-t-digest

中位数、95% 分位数，这类计算在描述性统计中很常见。相较于平均数，中位数不会受到异常值的影响，但它的计算过程比较复杂，需要保留所有具体值，排序后取得中间位...]]></description><category></category></item><item><title><![CDATA[实时计算工具库 stream-lib Top K 排名 CountMinSketch]]></title><link>https://blog.youkuaiyun.com/wwq_vracle/article/details/95590895</link><guid>https://blog.youkuaiyun.com/wwq_vracle/article/details/95590895</guid><author>wwq_vracle</author><pubDate>Fri, 12 Jul 2019 09:48:21 +0800</pubDate><description><![CDATA[图片来源https://stackoverflow.com/questions/6811351/explaining-the-count-sketch-algorithm/35356116#35356116

CountMinSketch是一种“速写”算法，能够使用较小的空间勾勒出数据集内各类事件的频次。比如，我们可以统计出当前最热门的推特内容，或是计算网站访问量最大的页面。当然，这一算法...]]></description><category></category></item><item><title><![CDATA[实时计算工具库 stream-lib 唯一值计算 HyperLogLog]]></title><link>https://blog.youkuaiyun.com/wwq_vracle/article/details/95590604</link><guid>https://blog.youkuaiyun.com/wwq_vracle/article/details/95590604</guid><author>wwq_vracle</author><pubDate>Fri, 12 Jul 2019 09:44:19 +0800</pubDate><description><![CDATA[独立访客（UV）是网站的重要指标之一。我们通常会为每一个用户生成一个 UUID，并在 HTTP Cookie 中记录和跟踪，或直接使用 IP 地址做近似计算。我们可以使用一个 HashSet 来计算 UV 的准确值，但无疑会占用大量的空间。HyperLogLog 则是一种近似算法，用于解决此类唯一值计算的问题。该算法在对超过 10^9 个唯一值进行计算时可以做到 2% 的标准差，并只占用 1.5 ...]]></description><category></category></item><item><title><![CDATA[大数据算法-重复率计算 ICardinality]]></title><link>https://blog.youkuaiyun.com/wwq_vracle/article/details/95590243</link><guid>https://blog.youkuaiyun.com/wwq_vracle/article/details/95590243</guid><author>wwq_vracle</author><pubDate>Fri, 12 Jul 2019 09:41:47 +0800</pubDate><description><![CDATA[import com.clearspring.analytics.stream.cardinality.ICardinality;
// 重复率计算器
private ICardinality      repeatCardinality = AdaptiveCounting.Builder.obyCount(Integer.MAX_VALUE).build();


//重复率
repeatC...]]></description><category></category></item><item><title><![CDATA[中文分词器hankcs/HanLP简单使用]]></title><link>https://blog.youkuaiyun.com/wwq_vracle/article/details/95589692</link><guid>https://blog.youkuaiyun.com/wwq_vracle/article/details/95589692</guid><author>wwq_vracle</author><pubDate>Fri, 12 Jul 2019 09:37:17 +0800</pubDate><description><![CDATA[githubhttps://github.com/hankcs/HanLP

maven坐标


&lt;dependency&gt;
   &lt;groupId&gt;com.hankcs&lt;/groupId&gt;
   &lt;artifactId&gt;hanlp&lt;/artifactId&gt;
   &lt;version&gt;portable-1.7.4&lt;/ver...]]></description><category></category></item><item><title><![CDATA[FuzzyWuzzy：字符串匹对得分计算]]></title><link>https://blog.youkuaiyun.com/wwq_vracle/article/details/95589115</link><guid>https://blog.youkuaiyun.com/wwq_vracle/article/details/95589115</guid><author>wwq_vracle</author><pubDate>Fri, 12 Jul 2019 09:32:40 +0800</pubDate><description><![CDATA[最近的项目需要在大数据里面匹对字典里面最意思相近的字符串

两个字符串之间匹对的准确率得分计算 使用FuzzyWuzzy可以简单计算出分数



FuzzyWuzzy 是一个简单易用的模糊字符串匹配工具包。它依据Levenshtein Distance 算法计算两个序列之间的差异。



Levenshtein Distance算法，又叫Edit Distance算法，是指两个字符串...]]></description><category></category></item><item><title><![CDATA[kafka httpclient connectors rest api]]></title><link>https://blog.youkuaiyun.com/wwq_vracle/article/details/90766745</link><guid>https://blog.youkuaiyun.com/wwq_vracle/article/details/90766745</guid><author>wwq_vracle</author><pubDate>Tue, 04 Jun 2019 12:35:05 +0800</pubDate><description><![CDATA[导入两个Httpclient包  
kakfa 使用httpclient测试 connectors restAPI 测试
public enum  HttpEnum {
    HTTP("http://"),
    HTTP_GET("get"),
    HTTP_POST("post"),
    HTTP_PUT("put"),
    HTTP_DELETE("delete"),
 ...]]></description><category></category></item><item><title><![CDATA[kafka集群版 connectors 通过REST API实现控制]]></title><link>https://blog.youkuaiyun.com/wwq_vracle/article/details/90718270</link><guid>https://blog.youkuaiyun.com/wwq_vracle/article/details/90718270</guid><author>wwq_vracle</author><pubDate>Fri, 31 May 2019 16:16:47 +0800</pubDate><description><![CDATA[之前一直用单机版控制connectors 测试两台服务器为什么不能实现mysql增量同步 原来单机模式不支持 只能集群模式

集群模式是通过REST API实现的



linux常用命令如下：


	curl -s &lt;Kafka Connect Worker URL&gt;:8083/
	获取 Connect Worker 信息
	
	
	curl -s &lt;Kafka Conn...]]></description><category></category></item><item><title><![CDATA[安装kafka单机版]]></title><link>https://blog.youkuaiyun.com/wwq_vracle/article/details/90640597</link><guid>https://blog.youkuaiyun.com/wwq_vracle/article/details/90640597</guid><author>wwq_vracle</author><pubDate>Tue, 28 May 2019 15:40:48 +0800</pubDate><description><![CDATA[前提条件 安装jdk 略

1.安装zookeeper-3.4.9.tar.gz
原来没有zoo.cfg配置文件的 复制一份 改dataDir输入位置即可
解压 进入conf cp zoo_sample.cfg zoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/test/zookpeeper/zookeeper-3.4.9/...]]></description><category></category></item><item><title><![CDATA[MLSQL 概念]]></title><link>https://blog.youkuaiyun.com/wwq_vracle/article/details/90447513</link><guid>https://blog.youkuaiyun.com/wwq_vracle/article/details/90447513</guid><author>wwq_vracle</author><pubDate>Wed, 22 May 2019 17:02:43 +0800</pubDate><description><![CDATA[MLSQL不只是一门语言，也是一个分布式计算引擎。MLSQL可以实现批处理，流式处理，机器学习，爬虫，API服务等多领域功能。

MLSQL 目前由三部分构成：

1.MLSQL Engine
MLSQL-Engine 是一个分布式执行引擎，可以解释执行MLSQL 脚本。用户可以使用http协议和MLSQL-Engine进行交互。
MLSQL-Engine 内核为Spark，所以它可以运行在多个...]]></description><category></category></item><item><title><![CDATA[JDK代理和Cglib代理 练习]]></title><link>https://blog.youkuaiyun.com/wwq_vracle/article/details/81977894</link><guid>https://blog.youkuaiyun.com/wwq_vracle/article/details/81977894</guid><author>wwq_vracle</author><pubDate>Thu, 23 Aug 2018 11:29:21 +0800</pubDate><description><![CDATA[







 ]]></description><category></category></item><item><title><![CDATA[关于springmvc拦截器 controll aop执行顺序]]></title><link>https://blog.youkuaiyun.com/wwq_vracle/article/details/81870443</link><guid>https://blog.youkuaiyun.com/wwq_vracle/article/details/81870443</guid><author>wwq_vracle</author><pubDate>Mon, 20 Aug 2018 14:27:02 +0800</pubDate><description><![CDATA[拦截器部分代码





control部分代码



aop部分代码



执行之后的结果



可以看出进入顺序是 1.拦截器preHandle- 2.control-aop- 3.拦截器postHandle- 4.拦截器afterCompletion- 5.拦截器preHandle

1 2 3 4 步骤都是同一个线程处理 在最后一个步骤还会执行一次拦截器pre方法 但是是另外调用新的线程 ...]]></description><category></category></item></channel></rss>