<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[burpee的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/burpee</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; burpee]]></copyright><item><title><![CDATA[jdk8]]></title><link>https://blog.youkuaiyun.com/burpee/article/details/111893683</link><guid>https://blog.youkuaiyun.com/burpee/article/details/111893683</guid><author>burpee</author><pubDate>Tue, 29 Dec 2020 12:39:15 +0800</pubDate><description><![CDATA[一、Java 8 Lambda 表达式

Lambda 表达式，也可称为闭包，它是推动 Java 8 发布的最重要新特性。

Lambda 允许把函数作为一个方法的参数（函数作为参数传递进方法中）。

使用Lambda 表达式可以使代码变的更加简洁紧凑。

1.1 语法

lambda 表达式的语法格式如下：

(parameters) -&gt; expression或(parameters) -&gt;{statements; }

以下是lambda表达式的重要特征:

·可选类型声明...]]></description><category></category></item><item><title><![CDATA[CRM模型及改造]]></title><link>https://blog.youkuaiyun.com/burpee/article/details/110790909</link><guid>https://blog.youkuaiyun.com/burpee/article/details/110790909</guid><author>burpee</author><pubDate>Mon, 07 Dec 2020 08:51:43 +0800</pubDate><description><![CDATA[1、现状



2、改造点：



3、应用架构



4、目标


]]></description><category></category></item><item><title><![CDATA[2020-12-04]]></title><link>https://blog.youkuaiyun.com/burpee/article/details/110643846</link><guid>https://blog.youkuaiyun.com/burpee/article/details/110643846</guid><author>burpee</author><pubDate>Fri, 04 Dec 2020 15:20:35 +0800</pubDate><description><![CDATA[需求：

从证件会的网站，下载excel文件，然后解析excel文件，生成数据落地odps

实现方案：

1、每周自动下载附件

2、python把附件上传至oss

3、读取oss文件，解析导入odps



1-自动下载附件

接触一个新工具 UiBot，如下图：





结果：下载到固定文件夹：以8位日期命名



2.python把附件上传至oss（2.7）





运行结果：



3.python解析文件落数据至ODPS









结果：


...]]></description><category></category></item><item><title><![CDATA[RabbitMQ概念详解]]></title><link>https://blog.youkuaiyun.com/burpee/article/details/109215161</link><guid>https://blog.youkuaiyun.com/burpee/article/details/109215161</guid><author>burpee</author><pubDate>Thu, 22 Oct 2020 09:29:01 +0800</pubDate><description><![CDATA[https://blog.youkuaiyun.com/bestmy/article/details/84304964



一．AMQP协议

1. AMQP协议简介

AMQP，即Advanced Message Queuing Protocol,一个提供统一消息服务的应用层标准高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计。基于此协议的客户端与消息中间件可传递消息，并不受客户端/中间件不同产品，不同的开发语言等条件的限制。Erlang中的实现有 RabbitMQ等。

2. 功能范围

存.]]></description><category></category></item><item><title><![CDATA[消息队列]]></title><link>https://blog.youkuaiyun.com/burpee/article/details/109215022</link><guid>https://blog.youkuaiyun.com/burpee/article/details/109215022</guid><author>burpee</author><pubDate>Thu, 22 Oct 2020 09:24:35 +0800</pubDate><description><![CDATA[原文地址：https://blog.youkuaiyun.com/Jack__iT/article/details/87655433

消息中间件用于处理异步消息

优点：

系统解耦、异步、横向扩展、安全可靠，保存消息直到消息调用完全部服务处理完后

什么是中间件？

非底层操作系统软件，非业务应用软件，不是直接给最终用户使用的，不能直接给客户带来价值的软件统称为中间件。

什么消息中间件？

关注于数据的发送和接收，利用高效可靠的异步消息传递机制集成分布式系统

什么是JMS

JMS即java消息服务（java ]]></description><category></category></item><item><title><![CDATA[XXX对账单的定时发送-odps-python-dataworks]]></title><link>https://blog.youkuaiyun.com/burpee/article/details/109196182</link><guid>https://blog.youkuaiyun.com/burpee/article/details/109196182</guid><author>burpee</author><pubDate>Wed, 21 Oct 2020 11:31:59 +0800</pubDate><description><![CDATA[需求：



方案时序图：



实现过程

1、抽取订阅消息的人员名单 datax



2、计算范围内的结果数据



3、编写py的资源，注册函数

以py类的方式封装udf方法



注册成udf函数



利用udf把数据封装成json数据



封装到最终结果表



udf封装函数



4、调用接口，发送对账单




...]]></description><category></category></item><item><title><![CDATA[百万数据解析-python-oss-python（2-历史数据）]]></title><link>https://blog.youkuaiyun.com/burpee/article/details/109182840</link><guid>https://blog.youkuaiyun.com/burpee/article/details/109182840</guid><author>burpee</author><pubDate>Tue, 20 Oct 2020 16:17:07 +0800</pubDate><description><![CDATA[上传oss工具安装

阿里文档：



实际运行，如下图：



服务器历史文件：3000多个 100多G



经过解析后的txt文件：





调用命令上传文件：



oss结果：



新建odps外表及设立分区：



使用数据：





小插曲：

建表时最好用String，因为可能存在脏数据，odps在转换成 bigint 或者 decimal的时候可能会报错。
...]]></description><category></category></item><item><title><![CDATA[百万数据解析-python-oss-python]]></title><link>https://blog.youkuaiyun.com/burpee/article/details/109115934</link><guid>https://blog.youkuaiyun.com/burpee/article/details/109115934</guid><author>burpee</author><pubDate>Mon, 19 Oct 2020 10:13:31 +0800</pubDate><description><![CDATA[需求：

1、每天的分钟K线数据，格式：pkl，大小：40M左右，量级：百万，

 历史:3000左右个同类型文件

 增量：每天一个文件

2、落地数仓ODPS，每天一个分区，用来做数据分析建模

环境：

本机：8核 3.4G 16G内存

开发环境：python3.7

上传OSS工具：ossutil Windows x86 64bit 版本 ossutil64.zip

https://help.aliyun.com/document_detail/120075.html...]]></description><category></category></item><item><title><![CDATA[Phoenix常用命令     操作hbase]]></title><link>https://blog.youkuaiyun.com/burpee/article/details/96423008</link><guid>https://blog.youkuaiyun.com/burpee/article/details/96423008</guid><author>burpee</author><pubDate>Thu, 18 Jul 2019 09:17:52 +0800</pubDate><description><![CDATA[1、登录命令
./sqlline.py localhost:2181:/hbase-unsecure




phoenix-sqlline localhost:2181:/hbase-unsecure



2、退出
!quit




!exit



3、帮助




4、列出metadata信息




5、创建表
create table if not exists ljc.stud...]]></description><category></category></item><item><title><![CDATA[MongoDB数据库详解]]></title><link>https://blog.youkuaiyun.com/burpee/article/details/87687531</link><guid>https://blog.youkuaiyun.com/burpee/article/details/87687531</guid><author>burpee</author><pubDate>Tue, 19 Feb 2019 16:29:42 +0800</pubDate><description><![CDATA[原文转载地址：https://www.cnblogs.com/bananaaa/p/8204362.html

优点：https://www.cnblogs.com/web-fusheng/p/6884712.html

更高的写负载

默认情况下，对比事务安全，MongoDB更关注高的插入速度。如果你需要加载大量低价值的业务数据，比如日志收集，那么MongoDB将很适合你的用例，但是必须避免在要...]]></description><category></category></item><item><title><![CDATA[线程池的介绍]]></title><link>https://blog.youkuaiyun.com/burpee/article/details/86648883</link><guid>https://blog.youkuaiyun.com/burpee/article/details/86648883</guid><author>burpee</author><pubDate>Fri, 25 Jan 2019 16:56:23 +0800</pubDate><description><![CDATA[原理篇：

http://www.cnblogs.com/dolphin0520/p/3932921.html

 

场景篇：

https://www.cnblogs.com/sachen/p/7401959.html

newCachedThreadPool：

底层：返回ThreadPoolExecutor实例，corePoolSize为0；maximumPoolSize为Integer....]]></description><category></category></item><item><title><![CDATA[java线程编程-等待通知机制]]></title><link>https://blog.youkuaiyun.com/burpee/article/details/86621132</link><guid>https://blog.youkuaiyun.com/burpee/article/details/86621132</guid><author>burpee</author><pubDate>Thu, 24 Jan 2019 10:02:50 +0800</pubDate><description><![CDATA[原文地址：http://www.cnblogs.com/-new/p/7217844.html]]></description><category></category></item><item><title><![CDATA[分布式事务]]></title><link>https://blog.youkuaiyun.com/burpee/article/details/86509144</link><guid>https://blog.youkuaiyun.com/burpee/article/details/86509144</guid><author>burpee</author><pubDate>Wed, 16 Jan 2019 15:52:33 +0800</pubDate><description><![CDATA[原文地址：https://blog.youkuaiyun.com/congyihao/article/details/70195154]]></description><category></category></item><item><title><![CDATA[java。。。]]></title><link>https://blog.youkuaiyun.com/burpee/article/details/86495409</link><guid>https://blog.youkuaiyun.com/burpee/article/details/86495409</guid><author>burpee</author><pubDate>Tue, 15 Jan 2019 16:50:13 +0800</pubDate><description><![CDATA[https://www.cnblogs.com/chenssy/category/525010.html]]></description><category></category></item><item><title><![CDATA[微服务-springcloud]]></title><link>https://blog.youkuaiyun.com/burpee/article/details/86494159</link><guid>https://blog.youkuaiyun.com/burpee/article/details/86494159</guid><author>burpee</author><pubDate>Tue, 15 Jan 2019 15:57:32 +0800</pubDate><description><![CDATA[  原文地址：https://www.cnblogs.com/xiaojunbo/p/7090742.html

微服务架构需要的功能或使用场景

        1：我们把整个系统根据业务拆分成几个子系统。

 2：每个子系统可以部署多个应用，多个应用之间使用负载均衡。

 3：需要一个服务注册中心，所有的服务都在注册中心注册，负载均衡也是通过在注册中心注册的服务来使用一定策略来实现。

 4：...]]></description><category></category></item><item><title><![CDATA[区块链-简单理解]]></title><link>https://blog.youkuaiyun.com/burpee/article/details/80168221</link><guid>https://blog.youkuaiyun.com/burpee/article/details/80168221</guid><author>burpee</author><pubDate>Thu, 03 May 2018 08:19:56 +0800</pubDate><description><![CDATA[作者：知乎用户链接：https://www.zhihu.com/question/37290469/answer/293890531来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。友情提醒：比特币采用区块链技术，但是区块链并不等同于比特币；全篇基于比特币底层区块链技术讲述，所以，部分模型可能不适用于以太坊等。另外，由于文章采用了一定的抽象、类举的叙事方式，中间或多或少...]]></description><category></category></item><item><title><![CDATA[Kafka(分布式发布-订阅消息系统)]]></title><link>https://blog.youkuaiyun.com/burpee/article/details/80017246</link><guid>https://blog.youkuaiyun.com/burpee/article/details/80017246</guid><author>burpee</author><pubDate>Fri, 20 Apr 2018 12:57:08 +0800</pubDate><description><![CDATA[一、简介Apache Kafka是分布式发布-订阅消息系统，在 kafka官网上对 kafka 的定义：一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。几种分布式系统消息系统的对比：推荐相关文章：各消息队列对比，Kafk...]]></description><category></category></item><item><title><![CDATA[机器学习-层次聚类 hierarchical clustering]]></title><link>https://blog.youkuaiyun.com/burpee/article/details/79910369</link><guid>https://blog.youkuaiyun.com/burpee/article/details/79910369</guid><author>burpee</author><pubDate>Thu, 12 Apr 2018 10:57:15 +0800</pubDate><description><![CDATA[假设有N个待聚类的样本，对于层次聚类来说，步骤：       1、（初始化）把每个样本归为一类，计算每两个类之间的距离，也就是样本与样本之间的相似度；       2、寻找各个类之间最近的两个类，把他们归为一类（这样类的总数就少了一个）；       3、重新计算新生成的这个类与各个旧类之间的相似度；       4、重复2和3直到所有样本点都归为一类，结束     整个聚类过程其实是建立了一棵树...]]></description><category></category></item><item><title><![CDATA[机器学习-KNN和K-Means的区别]]></title><link>https://blog.youkuaiyun.com/burpee/article/details/79909093</link><guid>https://blog.youkuaiyun.com/burpee/article/details/79909093</guid><author>burpee</author><pubDate>Thu, 12 Apr 2018 10:37:06 +0800</pubDate><description><![CDATA[KNN和K-Means的区别]]></description><category></category></item><item><title><![CDATA[机器学习-LVQ]]></title><link>https://blog.youkuaiyun.com/burpee/article/details/79908488</link><guid>https://blog.youkuaiyun.com/burpee/article/details/79908488</guid><author>burpee</author><pubDate>Thu, 12 Apr 2018 10:08:51 +0800</pubDate><description><![CDATA[学习矢量量化(Learning Vector Quantization)，简称LVQ，于1988年由Kohonen提出的一类用于模式分类的有监督学习算法，是一种结构简单、功能强大的有监督式神经网络分类方法。典型的学习矢量量化算法有LVQ1、LVQ2和LVQ3，其中前两种算法应用较为广泛，尤以LVQ2的应用最为广泛和有效。已经成功应用到统计学、模式识别、机器学习等多个领域。1、简介：学习矢量量化是一...]]></description><category></category></item></channel></rss>