<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[逐鹿]]></title><description><![CDATA[不负初心在，至死是少年]]></description><link>https://blog.youkuaiyun.com/qql2011</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qql2011]]></copyright><item><title><![CDATA[多台机器比对抽取SFTP数据至hdfs_shell脚本简易版]]></title><link>https://blog.youkuaiyun.com/qql2011/article/details/110928456</link><guid>https://blog.youkuaiyun.com/qql2011/article/details/110928456</guid><author>qql2011</author><pubDate>Wed, 09 Dec 2020 16:24:27 +0800</pubDate><description><![CDATA[当SFTP中数据量过大时，一台机器可能抽取不过来，可以利用多台机器抽取，该shell脚本实现的功能有：

多台机器比对已下载文件和sftp中文件，下载没有下载过的文件
	多台机器不需要通信，简化布置难度
	将下载到的大量小文件合并后，将“前缀-日期....”命名的文件上传到hdfs对应的日期目录下
	记录下载的文件名、文件大小、文件数量和合并后的文件数量、文件大小
	需要用到except组件，请单独安装，except组件可离线安装，请字行百度

#!/bin/bash
#/home/data/script.]]></description><category></category></item><item><title><![CDATA[CTF-hackme-Misc-slow-解题记录]]></title><link>https://blog.youkuaiyun.com/qql2011/article/details/109261906</link><guid>https://blog.youkuaiyun.com/qql2011/article/details/109261906</guid><author>qql2011</author><pubDate>Sat, 24 Oct 2020 17:27:18 +0800</pubDate><description><![CDATA[题目：
nc hackme.inndy.tw 7708
OMG, It's slow.

解题步骤
本题采用的是时序攻击，第一次见这种题目，也是参靠了别人的代码做出来的
具体原理就是用你输入的flag和数据库中的从第一位开始比对，比对到错误的那一位直接退出。

假设每比对一位的耗时是1s，正确的flag前五位一定是FLAG{
当输入FLAG{_}时，如果耗时6s，说明第六位_是错的，因为比对到_就退出了，如果耗时7s，则说明_是对的，因为比对到第7位}才退出
利用这种原理，可以一位位的破解出flag
此题及]]></description><category></category></item><item><title><![CDATA[《hadoop权威指南》辅助排序]]></title><link>https://blog.youkuaiyun.com/qql2011/article/details/103598935</link><guid>https://blog.youkuaiyun.com/qql2011/article/details/103598935</guid><author>qql2011</author><pubDate>Wed, 18 Dec 2019 15:44:33 +0800</pubDate><description><![CDATA[MaxTemperatureUsingSecodarySort.java ：


package com.hadoop.ncdcdata;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
...]]></description><category></category></item><item><title><![CDATA[《hadoop权威指南》读书摘要]]></title><link>https://blog.youkuaiyun.com/qql2011/article/details/103522480</link><guid>https://blog.youkuaiyun.com/qql2011/article/details/103522480</guid><author>qql2011</author><pubDate>Wed, 18 Dec 2019 15:38:45 +0800</pubDate><description><![CDATA[1、MapReduce执行流程

RecordReader-&gt;读取文件数据，将数据拆分为kv对
map阶段-&gt;调用用户定义程序处理kv对，并对数据进行分区（job.setPartitionerClass）后存储到“环形内存缓冲区”，
    当缓冲区达到一定阈值时（默认80%），会启动后台线程将部分数据溢出写入（spill）磁盘的临时文件中，
    将数据写入文件...]]></description><category></category></item><item><title><![CDATA[【程序解题】图中有几个三角形]]></title><link>https://blog.youkuaiyun.com/qql2011/article/details/52938807</link><guid>https://blog.youkuaiyun.com/qql2011/article/details/52938807</guid><author>qql2011</author><pubDate>Wed, 04 Dec 2019 18:34:53 +0800</pubDate><description><![CDATA[在上看到一道题目，感觉蛮有意思，于是拿来练练编程，打算编写一个可以解决此类找三角形数的通用程序：
具体的题目是：数出图中共有多少个三角形：



大体思路是先给三角形的点（蓝色）和线（红色）编号：



再构建一个二维数组，以每点为一维，元素是经过该点的线；

遍历所有三点的组合，判断能否组成三角形，判断条件为：三点两两共线且三点不共线。

具体代码：


import java.util.Arr...]]></description><category></category></item><item><title><![CDATA[Spark SQL解析复杂、嵌套、加密json大文件数据思路（java）]]></title><link>https://blog.youkuaiyun.com/qql2011/article/details/103387899</link><guid>https://blog.youkuaiyun.com/qql2011/article/details/103387899</guid><author>qql2011</author><pubDate>Wed, 04 Dec 2019 18:04:40 +0800</pubDate><description><![CDATA[文件gz压缩格式20G，解压后200G左右，每行都是一个json字符串，大概500w行。每行json格式简化后如下：


{
	"tel": "15311111111111",
	"mac": "33:D3:B3:43:83:03",
	"name": "zhongxing",
	"type1": "140102",
	"timestamp": "1572735114",
	"event": {...]]></description><category></category></item><item><title><![CDATA[4台虚拟机实现高可用Hadoop集群步骤]]></title><link>https://blog.youkuaiyun.com/qql2011/article/details/101457003</link><guid>https://blog.youkuaiyun.com/qql2011/article/details/101457003</guid><author>qql2011</author><pubDate>Thu, 26 Sep 2019 20:44:55 +0800</pubDate><description><![CDATA[目录

一、集群安装

1、软件版本选择

2、机器配置

  1）4台机器分配

  2）修改hosts

 3）免密登录

3、软件安装

   1）安装jdk

   2）安装zookeeper

  3）安装hadoop

  4）小结

二、启动集群

1、启动zookeeper

2、启动hadoop

1）启动journalnode进程初始...]]></description><category></category></item><item><title><![CDATA[【数据结构与算法经典问题解析】直方图中最大矩形]]></title><link>https://blog.youkuaiyun.com/qql2011/article/details/53943723</link><guid>https://blog.youkuaiyun.com/qql2011/article/details/53943723</guid><author>qql2011</author><pubDate>Fri, 30 Dec 2016 15:30:46 +0800</pubDate><description><![CDATA[出自第四章问题24
问题24 直方图中的最大矩形：   直方图是由排列在同一基线上的一系列矩形组成的多边形。为了简单起见，假设这些矩形的宽度相等但高度可能不同。例如，下图1给出了一个直方图，其中各个矩形的高度为3、2、5、6、1、4、4，宽度为标准1单位。当给定了一个保存所有矩形高度的数组时，如何找到其中最大的矩形。对于给定的例子，最大矩形如图2阴影部分所示：

 图1

图2

]]></description><category></category></item><item><title><![CDATA[Hive配置hive-site.xml后启动出错]]></title><link>https://blog.youkuaiyun.com/qql2011/article/details/53187851</link><guid>https://blog.youkuaiyun.com/qql2011/article/details/53187851</guid><author>qql2011</author><pubDate>Wed, 16 Nov 2016 16:21:35 +0800</pubDate><description><![CDATA[错误信息：

[hadoop@hadoop1 conf]$ hive

Logging initialized using configuration in jar:file:/home/hadoop/happ/apache-hive-0.14.0-bin/lib/hive-common-0.14.0.jar!/hive-log4j.properties
SLF4J: Class path c]]></description><category></category></item><item><title><![CDATA[spring系列知识速记]]></title><link>https://blog.youkuaiyun.com/qql2011/article/details/52924582</link><guid>https://blog.youkuaiyun.com/qql2011/article/details/52924582</guid><author>qql2011</author><pubDate>Tue, 25 Oct 2016 17:11:59 +0800</pubDate><description><![CDATA[一、bean注入方式
1、设值注入
2、构造注入


二、bean配置项

bean配置项


Id
标识符


Class
指定类                                               


Scope
作用域


Constructor  arguments
构造器参数


Properties
自身属]]></description><category></category></item><item><title><![CDATA[【慕课网Spring系列学习攻略】IOC及Bean容器篇]]></title><link>https://blog.youkuaiyun.com/qql2011/article/details/52870940</link><guid>https://blog.youkuaiyun.com/qql2011/article/details/52870940</guid><author>qql2011</author><pubDate>Thu, 20 Oct 2016 11:57:13 +0800</pubDate><description><![CDATA[从慕课网的java工程师路径一路学上来，感觉很顺利，但鉴于Spring系列对新手不太友好，写点我的理解希望对新手有点帮助！
慕课网地址：http://www.imooc.com/learn/196

1、搭建环境
    由于老师用的环境比较复杂，我们暂时不需要那么复杂的环境，可以先搭建一个简单点的！注重对知识的学习即可：

在eclipse中新建web工程：




填入项]]></description><category></category></item></channel></rss>