<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[water drop的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/ASYMUXUE</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; ASYMUXUE]]></copyright><item><title><![CDATA[大数据常见面试题（一）]]></title><link>https://blog.youkuaiyun.com/ASYMUXUE/article/details/115984259</link><guid>https://blog.youkuaiyun.com/ASYMUXUE/article/details/115984259</guid><author>ASYMUXUE</author><pubDate>Wed, 21 Apr 2021 23:24:38 +0800</pubDate><description><![CDATA[一、当前集群环境
CDH 	6.3.3
hadoop 	3.0.0
hbase 	2.1.0
hive 	2.1.1
impala	3.2.0
spark	2.4.0
kafka	2.2.1
scala	2.11.12
二、hadoop
1.Hdfs的工作原理（读和写）★★★★★


读：client请求namenode ，获取目标文件的元数据信息，namenode校检无误后，返回给client，client根据元数据与就近的datanode建立连接，获取block 块，并将block 块合并后，返回给cl]]></description><category></category></item><item><title><![CDATA[Windows环境提交MapReduce任务到Linux报错]]></title><link>https://blog.youkuaiyun.com/ASYMUXUE/article/details/115005308</link><guid>https://blog.youkuaiyun.com/ASYMUXUE/article/details/115005308</guid><author>ASYMUXUE</author><pubDate>Fri, 19 Mar 2021 15:11:41 +0800</pubDate><description><![CDATA[系统环境
C.D.H 版本：6.2.0
hadoop 版本：3.0.0
集群环境：Linux  CentOS7
①.java.io.IOException: Port 9820 specified in URI hdfs://nameservice1:9820/user/root/.staging/job_1616116977910_0014/job.splitmetainfo but host ‘nameservice1’ is a logical (HA) namenode and does not u]]></description><category></category></item><item><title><![CDATA[使用Java的IO特性拷贝目标文件]]></title><link>https://blog.youkuaiyun.com/ASYMUXUE/article/details/107637808</link><guid>https://blog.youkuaiyun.com/ASYMUXUE/article/details/107637808</guid><author>ASYMUXUE</author><pubDate>Tue, 28 Jul 2020 15:54:40 +0800</pubDate><description><![CDATA[序言
使用 JAVA的 文件相关 API 从一个超多条 txt 文件的大数据包中，拷贝所需的几百条数据到另外的文件夹下。
前置条件

这里提供了一个模拟开发情形，数据量较小。

原数据包


目标文件名单


代码
package com.fahai.mytest;

import java.io.*;

public class FilterFiles {
    public static void main(String[] args) throws FileNotFoundException {
 ]]></description><category></category></item><item><title><![CDATA[笔记本有线接内网、无线接外网]]></title><link>https://blog.youkuaiyun.com/ASYMUXUE/article/details/106057486</link><guid>https://blog.youkuaiyun.com/ASYMUXUE/article/details/106057486</guid><author>ASYMUXUE</author><pubDate>Mon, 11 May 2020 17:53:08 +0800</pubDate><description><![CDATA[概述
发现很多小伙伴在开发的时候，会遇到一个很常见的问题，即在公司需要使用内网连接到公司的内部虚拟机上进行开发，但是本地又需要外部网络的支持。当然，最简单的方法是拔插网线，反复连接wifi了。于是，为了避免这种看似有效实际很low的方法，本文简单介绍了，同时实现，网线连接内网，无线连接wifi，并且之间完全没有影响的办法。

准备
笔记本
网线

步骤
① 断掉有线网络,接入无线网络
② 进入控制面板的网络连接

③ 设置网络优先级

点击属性，进入 跃点设置`

关闭自动跃点，设置 无线 的跃点数为 1 ]]></description><category></category></item><item><title><![CDATA[大数据开发工程师面试题 （20.04.16）]]></title><link>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105570682</link><guid>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105570682</guid><author>ASYMUXUE</author><pubDate>Fri, 17 Apr 2020 00:39:47 +0800</pubDate><description><![CDATA[概述
本篇是本周周四博主面试遇到的问题，在此和大家分享一下。
正文
1.介绍一下你的项目
那肯定是拿自己最拿手的项目啊，博主最近交付的项目名叫：XXX综合分析系统，就拿它讲一讲咯。
参考示例：这是我的一个小伙伴 分享的 java项目的重点部分的讲述方式。

壹背景：当时，有一个任务指标，是说，要我们根据 用户的历史购买记录或者访问足迹，定制有针对客户的广告产品的推送。
贰接到任务后的思路：我接到的...]]></description><category></category></item><item><title><![CDATA[大数据开发工程师面试题 （20.04.15）]]></title><link>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105559809</link><guid>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105559809</guid><author>ASYMUXUE</author><pubDate>Fri, 17 Apr 2020 00:07:55 +0800</pubDate><description><![CDATA[概述
本篇同样是一些博主最近面试遇到的问题，在此和大家分享一下。
正文
1.在开发中，你们用的Flink版本
答： 我们使用的是 Flink 1.8.0 版本。

注意：各个版本的发布时间


2.Flink发生数据倾斜，怎么解决？自带的数据倾斜解决机制？
答：
①自带的机制  rebalancing : 分区元素轮循，从⽽为每个分区创建相等的负载。
dataStream.rebalance()
...]]></description><category></category></item><item><title><![CDATA[大数据开发工程师面试题 （20.04.14）]]></title><link>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105522330</link><guid>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105522330</guid><author>ASYMUXUE</author><pubDate>Tue, 14 Apr 2020 23:13:03 +0800</pubDate><description><![CDATA[概述
本篇博客将收集总结一些，本博主面试  大数据开发工程师 岗位遇到的面试题，虽然不一定高频，但是也算经验之谈，希望对各位有所帮助。
一
1.什么是Spark RDD
RDD：弹性分布式数据集 (Resilient Distributed DataSet)。
Spark 中最基本的数据抽象是 RDD。

创建RDD方法两种： 1.Driver并行化现有的Scala集合 2.引用外部存储系统

2...]]></description><category></category></item><item><title><![CDATA[项目实施-14完结篇（配置自动调度）]]></title><link>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105437888</link><guid>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105437888</guid><author>ASYMUXUE</author><pubDate>Fri, 10 Apr 2020 18:33:59 +0800</pubDate><description><![CDATA[概述
本篇是用户综合分析系统专栏的最后一篇。到本篇为止，我们此次的项目实施宣告终结。
我们已经完成了大数据 流处理与批处理 的设计编码，已经实现了基本的数据处理任务，但是，因为批处理一般都是定期执行的，而且多数是在非服务器高峰期的半夜执行的，因此，我们需要用到 Azkaban的任务调度，帮我们完成批处理的自动执行。
设计计划

附：完整的计划zip包:


https://pan.baidu.co...]]></description><category></category></item><item><title><![CDATA[项目实施-13（集成Flink计算引擎）]]></title><link>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105423351</link><guid>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105423351</guid><author>ASYMUXUE</author><pubDate>Fri, 10 Apr 2020 00:36:00 +0800</pubDate><description><![CDATA[概述
通过11、12 篇的数据接收与处理，我们已经拿到了标准的计算模型，之后只剩下与流计算集成，即可完成实时的用户风险评估。

本篇将介绍项目中引入Flink流计算框架的方案解决。

整体框架



query 包中是对Flink中的可查询的状态数据的一些查询展示
sql 包中是一些自定义的函数和 离线数据处理 的一些简单示例  Flink Table api
stream 包中是此次项目集成 f...]]></description><category></category></item><item><title><![CDATA[项目实施-12 （数据抽取 贰）]]></title><link>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105421616</link><guid>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105421616</guid><author>ASYMUXUE</author><pubDate>Thu, 09 Apr 2020 23:06:27 +0800</pubDate><description><![CDATA[概述
本篇承接项目实施-11 https://blog.youkuaiyun.com/ASYMUXUE/article/details/105353601继续介绍 风险评估数据 的抽取。


本篇涉及部分简单算法，请参考https://blog.youkuaiyun.com/ASYMUXUE/category_9862606.html


抽取验证数据

思路总结： 我们通过 从登录的日志中 获取到用户登录的数据：

①...]]></description><category></category></item><item><title><![CDATA[Azkaban 任务调度工具]]></title><link>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105419048</link><guid>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105419048</guid><author>ASYMUXUE</author><pubDate>Thu, 09 Apr 2020 21:56:42 +0800</pubDate><description><![CDATA[概述
Azkaban是由Linkedin公司推出的⼀个批量⼯作流任务调度器，主要⽤于在⼀个⼯作流内以⼀个特定的顺序运⾏⼀组⼯作和流程，它的配置是通过简单的key:value对的⽅式，通过配置中的dependencies 来设置依赖关系，这个依赖关系必须是⽆环的，否则会被视为⽆效的⼯作流。Azkaban使⽤job配置⽂件建⽴任务之间的依赖关系，并提供⼀个易于使⽤的web⽤户界⾯维护和跟踪你的⼯作流。...]]></description><category></category></item><item><title><![CDATA[项目实施-11（数据抽取 壹）]]></title><link>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105353601</link><guid>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105353601</guid><author>ASYMUXUE</author><pubDate>Tue, 07 Apr 2020 00:04:43 +0800</pubDate><description><![CDATA[概述
使用Flume从业务系统中获取到用户的行为日志之后，我们需要对这些日志进行一定的清洗，并才采集出对之后分析有用的数据。
本篇和下篇将根据，用户登录行为的风险判定，对数据抽取做简单的介绍

本篇主要介绍抽取原始数据

整体框架

引入依赖
&lt;?xml version="1.0" encoding="UTF-8"?&gt;
&lt;project xmlns="http://maven.a...]]></description><category></category></item><item><title><![CDATA[算法-入门篇（球面距离）]]></title><link>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105281572</link><guid>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105281572</guid><author>ASYMUXUE</author><pubDate>Thu, 02 Apr 2020 23:17:31 +0800</pubDate><description><![CDATA[概述
球面距离公式是计算球面上两点间距离的公式。设所求点A ，纬度角β1 ，经度角α1 ；点B ，纬度角β2 ，经度角α2。则距离S=R·arc cos[cosβ1cosβ2cos（α1-α2）+sinβ1sinβ2]，其中R为球体半径。
详见 百度百科：https://baike.baidu.com/item/%E7%90%83%E9%9D%A2%E8%B7%9D%E7%A6%BB%E5%85%...]]></description><category></category></item><item><title><![CDATA[算法-入门篇（欧式距离）]]></title><link>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105280819</link><guid>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105280819</guid><author>ASYMUXUE</author><pubDate>Thu, 02 Apr 2020 22:46:31 +0800</pubDate><description><![CDATA[概述
在数学中，欧几里得距离或欧几里得度量是欧几里得空间中两点间“普通”（即直线）距离。使用这个距离，欧氏空间成为度量空间。
详见 百度百科：https://baike.baidu.com/item/%E6%AC%A7%E5%87%A0%E9%87%8C%E5%BE%97%E5%BA%A6%E9%87%8F/1274107?fromtitle=%E6%AC%A7%E5%BC%8F%E8%B7%9D...]]></description><category></category></item><item><title><![CDATA[算法-入门篇（余弦相似度）]]></title><link>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105257791</link><guid>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105257791</guid><author>ASYMUXUE</author><pubDate>Wed, 01 Apr 2020 23:18:38 +0800</pubDate><description><![CDATA[概述
余弦相似度，又称为余弦相似性，是通过计算两个向量的夹角余弦值来评估他们的相似度。余弦相似度将向量根据坐标值，绘制到向量空间中，如最常见的二维空间。
详见 百度百科：https://baike.baidu.com/item/%E4%BD%99%E5%BC%A6%E7%9B%B8%E4%BC%BC%E5%BA%A6/17509249?fr=aladdin
数学模型

计算公式


一般来讲最终数...]]></description><category></category></item><item><title><![CDATA[Java中的一些格式转换]]></title><link>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105238115</link><guid>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105238115</guid><author>ASYMUXUE</author><pubDate>Wed, 01 Apr 2020 09:31:54 +0800</pubDate><description><![CDATA[概述
本文整理了JDK中一些常用的格式转换，方便忘记时查询使用。(本文将不定期更新)
时间
在线时间转换校验工具：   https://www.sojson.com/unixtime.html
①String装换为Date
 //字符串转时间
 String time = "2020-04-01 12:00:00";
 SimpleDateFormat simpleDateFormat = new...]]></description><category></category></item><item><title><![CDATA[项目实施-10 （搭建SpringClood微服务）]]></title><link>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105230732</link><guid>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105230732</guid><author>ASYMUXUE</author><pubDate>Tue, 31 Mar 2020 21:12:36 +0800</pubDate><description><![CDATA[概述
为了应对高并发的场景，javaweb项目一般都是部署成集群形式，同时通过Spring Cloud的 Eureka 技术，实现web模块，负载均衡的访问服务模块。本文介绍了，搭建简单的高可用的Eureka集成方案。
整体框架


搭建注册中心
①依赖
&lt;?xml version="1.0" encoding="UTF-8"?&gt;
&lt;project xmlns="http://m...]]></description><category></category></item><item><title><![CDATA[Echarts + ajax 动态获取数据库信息]]></title><link>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105185747</link><guid>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105185747</guid><author>ASYMUXUE</author><pubDate>Sun, 29 Mar 2020 20:54:34 +0800</pubDate><description><![CDATA[概述
需求：使用 Echarts 动态获取数据库中的，每个城市的注册量，并展示报表。
本文将略去 控制层开发，直接上 Echarts图层的前端开发。
前提

已知数据库中存在一张4个字段的表，即id、name、times（注册次数）、date（更新时间）
已开发好的后端。

Echarts
相关参考：
https://www.cnblogs.com/zhaoyingjie/p/5963056.ht...]]></description><category></category></item><item><title><![CDATA[项目实施-09 （对接Flume）]]></title><link>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105182699</link><guid>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105182699</guid><author>ASYMUXUE</author><pubDate>Sun, 29 Mar 2020 18:14:57 +0800</pubDate><description><![CDATA[SpringBoot对接Flume
在大数据流处理当中，我们需要从项目中，采集到用户的行为日志，通过kafka,输送到计算引擎中，进行计算分析。这其中的日志文件的采集，我们需要通过Flume完成对接。
①依赖坐标
	  &lt;!--引入Flume--&gt;
        &lt;dependency&gt;
            &lt;groupId&gt;org.apache.flum...]]></description><category></category></item><item><title><![CDATA[项目实施-08 （Jquery埋点设计）]]></title><link>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105180492</link><guid>https://blog.youkuaiyun.com/ASYMUXUE/article/details/105180492</guid><author>ASYMUXUE</author><pubDate>Sun, 29 Mar 2020 16:23:53 +0800</pubDate><description><![CDATA[概述
前端页面中要设计埋点，用来收集用户的行为习惯等信息以便进行实时流计算，从而提高系统的安全性。如：登录风险评估等。
本篇简单介绍了一个登录输入时长检查的埋点的设计。
引入Cookic
引入cookic，目的是为了，我们可以将在页面定制的一些采集的数据，通过请求发送的形式，携带到服务器端。
①引入cookic插件

将下面的文本Copy到自定义的一个**.js**结尾的文件中， 完成cookic...]]></description><category></category></item></channel></rss>