<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Aut1sm的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Aut1sm</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Aut1sm]]></copyright><item><title><![CDATA[如何将现有的系统嵌入到大数据平台]]></title><link>https://blog.youkuaiyun.com/Aut1sm/article/details/106639892</link><guid>https://blog.youkuaiyun.com/Aut1sm/article/details/106639892</guid><author>Aut1sm</author><pubDate>Tue, 09 Jun 2020 14:02:06 +0800</pubDate><description><![CDATA[现在有个需求，需要将之前的系统平台，做到大数据平台上，具体如何实现呢

]]></description><category></category></item><item><title><![CDATA[【Hbase】之 热点问题及调优]]></title><link>https://blog.youkuaiyun.com/Aut1sm/article/details/104745318</link><guid>https://blog.youkuaiyun.com/Aut1sm/article/details/104745318</guid><author>Aut1sm</author><pubDate>Mon, 09 Mar 2020 12:49:52 +0800</pubDate><description><![CDATA[Hbase的热点问题
热点问题的产生

当大量的客户端访问定向到集群中的一个节点或者几个节点时，就会导致热点问题。此访问操作可能是写入，也可能是读取。大量的访问使得管理该region的计算机不堪重负，从而导致性能下降，并可能导致region的不可用。这也可能对同一RegionServer管理的其他region产生不利影响。

热点问题的解决

采用预分区的方式，解决热点问题
每一个region都维...]]></description><category></category></item><item><title><![CDATA[【Hbase】知识总结]]></title><link>https://blog.youkuaiyun.com/Aut1sm/article/details/104734657</link><guid>https://blog.youkuaiyun.com/Aut1sm/article/details/104734657</guid><author>Aut1sm</author><pubDate>Sun, 08 Mar 2020 20:14:12 +0800</pubDate><description><![CDATA[Hbase的简介
Hbase的来源

1、数据量越来越大，传统的关系型数据库，不能满足存储和查询功能的需求。而hive虽然能够满足存储的要求，但是hive的本质也是利用底层的mr，所以读写速度不快，而且hive不能满足非结构化，半结构化的存储，hive主要的作用是分析和统计，hive用于存储是毫无意义的。
2、起源于Google在2006发表的一篇论文《bigtable》，是对bigtable的开...]]></description><category></category></item><item><title><![CDATA[【MapReduce】之 调优]]></title><link>https://blog.youkuaiyun.com/Aut1sm/article/details/104734166</link><guid>https://blog.youkuaiyun.com/Aut1sm/article/details/104734166</guid><author>Aut1sm</author><pubDate>Sun, 08 Mar 2020 15:57:25 +0800</pubDate><description><![CDATA[MapReduce的调优
MR优化之资源相关参数


mapreduce.map.memory.mb: 一个Map Task可使用的资源上限（单位:MB），默认为1024。如果Map Task实际使用的资源量超过该值，则会被强制杀死。
mapreduce.reduce.memory.mb: 一个Reduce Task可使用的资源上限（单位:MB），默认为1024。如果Reduce Task实际使用...]]></description><category></category></item><item><title><![CDATA[【MapReduce】之 流程叙述]]></title><link>https://blog.youkuaiyun.com/Aut1sm/article/details/104709769</link><guid>https://blog.youkuaiyun.com/Aut1sm/article/details/104709769</guid><author>Aut1sm</author><pubDate>Sat, 07 Mar 2020 14:29:20 +0800</pubDate><description><![CDATA[MapReduce之Map
MapTask执行流程：

执行流程文字表述：
1、maptask调用FileInputFormat的createRecordReader读取分片数据。
2、每行数据读取一次，返回一个&lt;k,v&gt;，其中k是offset，v是这一行的内容。
3、将&lt;k,v&gt;交给maptask处理。
4、每对&lt;k,v&gt;调用一次map&lt;k,v,cont...]]></description><category></category></item><item><title><![CDATA[【MapReducer】]]></title><link>https://blog.youkuaiyun.com/Aut1sm/article/details/104702058</link><guid>https://blog.youkuaiyun.com/Aut1sm/article/details/104702058</guid><author>Aut1sm</author><pubDate>Fri, 06 Mar 2020 22:36:20 +0800</pubDate><description><![CDATA[MapReducer
MapReducer简介
MapReduce是对google提出的分布式并行编程模型MapReduce论文的开源实现，以可靠，容错的方式运行在反不是文件系统HDFS上的并行处理数据的编程模型。MapReduce的优势在于处理大规模数据集。
MapReduce框架由单个主ResourceManager，每个集群节点一个nodeManager和每个应用程序的MRAppMaster...]]></description><category></category></item><item><title><![CDATA[【Hadoop】之 HDFS]]></title><link>https://blog.youkuaiyun.com/Aut1sm/article/details/104637283</link><guid>https://blog.youkuaiyun.com/Aut1sm/article/details/104637283</guid><author>Aut1sm</author><pubDate>Tue, 03 Mar 2020 19:56:58 +0800</pubDate><description><![CDATA[Hadoop
Hadoop的组成成分
Hadoop Common：Hadoop模块的通用模块
Hadoop Distributed File System：分布式文件系统
Hadoop Yarn：作业调度和资源管理框架
Hadoop MapReduce：基于Yarn的大型数据集，并行计算处理框架
Hadoop Ozone：Hadoop的对象存储机制
Hadoop Submarine：Hadoop的...]]></description><category></category></item><item><title><![CDATA[【Hive】]]></title><link>https://blog.youkuaiyun.com/Aut1sm/article/details/104609343</link><guid>https://blog.youkuaiyun.com/Aut1sm/article/details/104609343</guid><author>Aut1sm</author><pubDate>Mon, 02 Mar 2020 23:42:57 +0800</pubDate><description><![CDATA[Hive
Hive的简介
hive是构建再hadoop上的数据仓库工具，可以将结构化的数据映射成一张数据表，并可以使用类sql的方式，来对这样的数据文件进行读写，以及管理(包括元数据)，这套HIVE SQL 简称HQL。hive的执行引擎可以是MR、spark、tez。
hive的优点
1、hive的学习成本低
提供类sql的从查询语言HQL,避免了直接写MapReduce，减少开发人员的学习成本...]]></description><category></category></item><item><title><![CDATA[【LogStash】----  初学]]></title><link>https://blog.youkuaiyun.com/Aut1sm/article/details/104577915</link><guid>https://blog.youkuaiyun.com/Aut1sm/article/details/104577915</guid><author>Aut1sm</author><pubDate>Sat, 29 Feb 2020 22:00:26 +0800</pubDate><description><![CDATA[LogStash
1、LogStash的简介
LogStash能够动态的采集，转换和传输数据，不受格式和复杂度的影响。利用Grok从非结构化的数据中派生出结构，从IP地址解码出地理坐标，匿名化或者排除敏感字段，并简化整体处理过程。
LogStash分为Input、Filter、Output三个组件：
input：采集各种样式、大小和来源的数据
数据往往以各种各样的形式，或分散或集中地存在于很多系统...]]></description><category></category></item><item><title><![CDATA[反爬虫项目Day4]]></title><link>https://blog.youkuaiyun.com/Aut1sm/article/details/104544750</link><guid>https://blog.youkuaiyun.com/Aut1sm/article/details/104544750</guid><author>Aut1sm</author><pubDate>Thu, 27 Feb 2020 22:28:44 +0800</pubDate><description><![CDATA[Lua集成Kafka实现
---
--- Generated by EmmyLua(https://github.com/EmmyLua)
--- Created by User.
--- DateTime: 2020/2/27 10:00
---
--[[
脚本对接kafka
]]
-- 指定数据采集脚本运行线程的阈值，若超过这个阈值，则不再采集数据
local DEFAULT_THREADS ...]]></description><category></category></item><item><title><![CDATA[反爬虫项目Day3]]></title><link>https://blog.youkuaiyun.com/Aut1sm/article/details/104521834</link><guid>https://blog.youkuaiyun.com/Aut1sm/article/details/104521834</guid><author>Aut1sm</author><pubDate>Wed, 26 Feb 2020 21:03:28 +0800</pubDate><description><![CDATA[lua脚本的基础操作
-- 1、赋值运算
a,b = 10,20
print('a=',a,'b=',b)
-- 结果：  a=10,b=20

c,d,e = 1,2
print('c=',c,'d=',d,'e=',e)
-- 结果： c=1,d=2,e=nil   注意不赋值默认为nil

x,y,z = 4,5,6
print("x=",x,"y=",y) 
-- 结果   x=	4	y=...]]></description><category></category></item><item><title><![CDATA[反爬虫项目Day2]]></title><link>https://blog.youkuaiyun.com/Aut1sm/article/details/104503125</link><guid>https://blog.youkuaiyun.com/Aut1sm/article/details/104503125</guid><author>Aut1sm</author><pubDate>Tue, 25 Feb 2020 20:59:57 +0800</pubDate><description><![CDATA[主要功能用例
对项目实现模块的说明

数据管理模块


数据管理模块分为数据采集和数据处理模块，对于数据采集使用lua脚本，对于数据处理，来自前端页面的不同类型的数据要进行相应的处理，如json格式、xml格式、From格式的数据等。


实时监控模块


实时监控模块分为系统监控、规则监控、性能监控。
系统监控：监控流量和爬虫。
规则监控：制定相应的规则，防爬。
性能监控：主要关注数据分析的速度...]]></description><category></category></item><item><title><![CDATA[反爬虫项目Day1]]></title><link>https://blog.youkuaiyun.com/Aut1sm/article/details/104487115</link><guid>https://blog.youkuaiyun.com/Aut1sm/article/details/104487115</guid><author>Aut1sm</author><pubDate>Mon, 24 Feb 2020 22:59:49 +0800</pubDate><description><![CDATA[反爬虫项目
项目实现的背景
很多订票网站的官网在互联网提供查询、预订等服务，如：各种航空公司的官网、去哪网、携程等，有大量正常用
户访问的同时，也存在大量爬虫。爬虫消耗了系统资源，但是却没有转化成销量，导致系统资源虚耗，严重时会造
成系统波动，影响正常用户访问购票。通过系统日志分析等，发现官网访问中存在大量爬虫，且通过大量的 IP 进
行伪装。
项目的概述

数据源(网页上的点击日志信息)的获取，...]]></description><category></category></item></channel></rss>