<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[qq_21244099的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/qq_21244099</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_21244099]]></copyright><item><title><![CDATA[【无标题】]]></title><link>https://blog.youkuaiyun.com/qq_21244099/article/details/136870834</link><guid>https://blog.youkuaiyun.com/qq_21244099/article/details/136870834</guid><author>qq_21244099</author><pubDate>Wed, 20 Mar 2024 11:18:01 +0800</pubDate><description><![CDATA[IDEA2023的激活与安装（全网最靠谱，最快捷的方式）]]></description><category></category></item><item><title><![CDATA[Spark]]></title><link>https://blog.youkuaiyun.com/qq_21244099/article/details/89255109</link><guid>https://blog.youkuaiyun.com/qq_21244099/article/details/89255109</guid><author>qq_21244099</author><pubDate>Fri, 19 Apr 2019 08:46:36 +0800</pubDate><description><![CDATA[Spark学习简介什么是SparkSpark和MR比较Spark运行方式RDDRDD的五大特性哪里体现RDD的弹性（容错）？哪里体现RDD的分布式？Spark代码流程算子转换算子Transformations行动算子Action触发执行控制算子（做持久化）
简介
什么是Spark

Spark 是专为大规模数据处理而设计的快速通用的计算引擎。

Spark和MR比较

Spark 一般速度比MR快...]]></description><category></category></item><item><title><![CDATA[Scala]]></title><link>https://blog.youkuaiyun.com/qq_21244099/article/details/89217562</link><guid>https://blog.youkuaiyun.com/qq_21244099/article/details/89217562</guid><author>qq_21244099</author><pubDate>Fri, 19 Apr 2019 08:46:21 +0800</pubDate><description><![CDATA[Scala学习Scala介绍Scala安装使用Scala基础Scala函数Scala字符串集合数组listsetmap元组trait	特性模式匹配match样例类(case classes)
Scala介绍

Spark中使用的是Sacla2.11。
Scala官网6个特征。


Java和scala可以混编
类型推测(自动推测类型)
并发和分布式（Actor）
特质，特征(类似java中inte...]]></description><category></category></item><item><title><![CDATA[Strom]]></title><link>https://blog.youkuaiyun.com/qq_21244099/article/details/89107575</link><guid>https://blog.youkuaiyun.com/qq_21244099/article/details/89107575</guid><author>qq_21244099</author><pubDate>Fri, 19 Apr 2019 08:46:07 +0800</pubDate><description><![CDATA[Strom学习

]]></description><category></category></item><item><title><![CDATA[redis]]></title><link>https://blog.youkuaiyun.com/qq_21244099/article/details/89031822</link><guid>https://blog.youkuaiyun.com/qq_21244099/article/details/89031822</guid><author>qq_21244099</author><pubDate>Fri, 19 Apr 2019 08:45:54 +0800</pubDate><description><![CDATA[redis学习
一、 Redis 简介
Redis 是一个开源（BSD 许可）的，内存中的数据结构存储系统，
它可以用作数据库、缓存和消息中间件。拥有丰富的支持主流语言的
客户端，C、C++、Python、Erlang、R、C#、Java、PHP、ObjectiveC、Perl、Ruby、Scala、Go、JavaScript。
二、Redis 特点
2.1 数据结构丰富
Redis 虽然也是键值...]]></description><category></category></item><item><title><![CDATA[kafka]]></title><link>https://blog.youkuaiyun.com/qq_21244099/article/details/89002632</link><guid>https://blog.youkuaiyun.com/qq_21244099/article/details/89002632</guid><author>qq_21244099</author><pubDate>Fri, 19 Apr 2019 08:45:42 +0800</pubDate><description><![CDATA[kafka学习Kafka简介模型概念理解消费者组Kafka 的使用场景：Kafka 集群部署集群规划：Zookeeper 集群准备安装 Kafka启动 Kafka 集群测试Kafka 数据一致性之 ISR 机制简介关于消息同步API生产者消费者Kafka 数据丢失和重复消费问题数据丢失数据重复消费Kafka 高吞吐的本质页缓存技术 + 磁盘顺序写零拷贝技术Kafka 消息的持久化Flume &am...]]></description><category></category></item><item><title><![CDATA[ElasticSearch]]></title><link>https://blog.youkuaiyun.com/qq_21244099/article/details/88959217</link><guid>https://blog.youkuaiyun.com/qq_21244099/article/details/88959217</guid><author>qq_21244099</author><pubDate>Fri, 19 Apr 2019 08:45:30 +0800</pubDate><description><![CDATA[11

]]></description><category></category></item><item><title><![CDATA[Lucene]]></title><link>https://blog.youkuaiyun.com/qq_21244099/article/details/88960291</link><guid>https://blog.youkuaiyun.com/qq_21244099/article/details/88960291</guid><author>qq_21244099</author><pubDate>Fri, 19 Apr 2019 08:45:17 +0800</pubDate><description><![CDATA[Lucene学习Lucene 简介深入 lucene
Lucene 简介

Lucene 是什么
Lucene 是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。说到底它是一个信息检索程序库，而不是应用产品。因此它并不像百度或者 google 那样，拿来就能用，它只是提供了一种工具让你能实现这些产品。...]]></description><category></category></item><item><title><![CDATA[Hadoop-----Hbase（包含优化）]]></title><link>https://blog.youkuaiyun.com/qq_21244099/article/details/88726642</link><guid>https://blog.youkuaiyun.com/qq_21244099/article/details/88726642</guid><author>qq_21244099</author><pubDate>Fri, 19 Apr 2019 08:45:04 +0800</pubDate><description><![CDATA[Hadoop-----Hbase学习简介Hbase 数据模型Hbase 体系架构Hbase 安装部署Hbase Shell &amp;&amp; API
简介

HBase-Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。


在Hadoop生态圈中，它是其中一部分且利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来...]]></description><category></category></item><item><title><![CDATA[Linux]]></title><link>https://blog.youkuaiyun.com/qq_21244099/article/details/88140704</link><guid>https://blog.youkuaiyun.com/qq_21244099/article/details/88140704</guid><author>qq_21244099</author><pubDate>Fri, 19 Apr 2019 08:44:49 +0800</pubDate><description><![CDATA[大数据学习记录欢迎阅读我的大数据学习记录19.03.04
欢迎阅读我的大数据学习记录
这是我毕业后第二次参加的正规学习，本人非常重视，所有的内容主要针对自己而写，如果对你能有所帮助，那是我很高兴的；如果有不足也请指出，非常感谢！
19.03.04
第一天主要是虚拟机安装和linux的一些常用命令学习：

安装VMware虚拟机；


设置bioss 开启虚拟机（intel virtual tech...]]></description><category></category></item><item><title><![CDATA[Sqoop]]></title><link>https://blog.youkuaiyun.com/qq_21244099/article/details/88808306</link><guid>https://blog.youkuaiyun.com/qq_21244099/article/details/88808306</guid><author>qq_21244099</author><pubDate>Fri, 19 Apr 2019 08:44:36 +0800</pubDate><description><![CDATA[Sqoop学习什么是Sqoopsqoop1架构安装导入/导出工具导入导出操作将MySQL中的数据导入到HDFS/Hive/Hbase使用Sqoop将HDFS/Hive/HBase中的数据导出到MySQLSqoop增量导入Sqoop job定时任务
什么是Sqoop
它是将关系数据库（oracle、mysql、postgresql等）数hadoop数据进行转换的工具。
版本：（两个版本完全不兼容，s...]]></description><category></category></item><item><title><![CDATA[Hadoop----Hive]]></title><link>https://blog.youkuaiyun.com/qq_21244099/article/details/88653573</link><guid>https://blog.youkuaiyun.com/qq_21244099/article/details/88653573</guid><author>qq_21244099</author><pubDate>Fri, 19 Apr 2019 08:44:22 +0800</pubDate><description><![CDATA[Hadoop-----Hive学习Hive及数据仓库简介数据处理分类hive如何执行Operator操作ANTLR词法语法分析工具解析hqlHive架构原理Hive搭建三种模式HQL详解创建/删除/修改/使用数据库创建/删除/表（*）修改表,更新，删除数据(这些很少用)DML语句四种插入/导入数据(重要)查询数据并保存备份数据或还原数据Hive的group by\join(left join ri...]]></description><category></category></item><item><title><![CDATA[Flume]]></title><link>https://blog.youkuaiyun.com/qq_21244099/article/details/88807624</link><guid>https://blog.youkuaiyun.com/qq_21244099/article/details/88807624</guid><author>qq_21244099</author><pubDate>Fri, 19 Apr 2019 08:44:09 +0800</pubDate><description><![CDATA[Flume学习flume简介Flume组织架构Flume的特性Flume安装及使用安装使用Source、Channel、Sink有哪些类型相关案例
flume简介
Flume是一个分布式、可扩展、可靠、高可用的海量日志有效聚合及移动的框架。

Flume组织架构

0.9X组织架构

1.0X的组织架构



Agent
将数据源的数据发送给collector
Agent由source、chann...]]></description><category></category></item><item><title><![CDATA[Hadoop2.0（HA高可用、YARN）]]></title><link>https://blog.youkuaiyun.com/qq_21244099/article/details/88410400</link><guid>https://blog.youkuaiyun.com/qq_21244099/article/details/88410400</guid><author>qq_21244099</author><pubDate>Fri, 19 Apr 2019 08:43:56 +0800</pubDate><description><![CDATA[Hadoop2.0学习Hadoop2.0 产生背景Hadoop2.0 分支构成HDFS 2.0 HA高可用结构（重要）Federation 联邦（了解下就可以了）YARN（重要）MapReduce On YARN（暂时了解，后面要回头看）Hadoop2.X 集群搭建（重要）
Hadoop2.0 产生背景

HDFS存在的问题：


Hadoop1.0 单点故障问题（主从关系，如果NameNode节...]]></description><category></category></item><item><title><![CDATA[Hadoop分布式———分布式存储系统HDFS]]></title><link>https://blog.youkuaiyun.com/qq_21244099/article/details/88383517</link><guid>https://blog.youkuaiyun.com/qq_21244099/article/details/88383517</guid><author>qq_21244099</author><pubDate>Fri, 19 Apr 2019 08:43:31 +0800</pubDate><description><![CDATA[Hadoop学习Hadoop分布式分布式文件存储系统HDFS优缺点HDFS架构图:HDFS 数据存储模型 blocknameNode(NN)secondaryNameNode(SNN)SecondaryNameNode SNN合并流程DataNode（DN）Block的副本放置策略HDFS读文件过程HDFS写文件过程HDFS文件权限和安全模式完全分布式搭建
Hadoop分布式
将一个庞大的数据或复...]]></description><category></category></item><item><title><![CDATA[Nginx]]></title><link>https://blog.youkuaiyun.com/qq_21244099/article/details/88356443</link><guid>https://blog.youkuaiyun.com/qq_21244099/article/details/88356443</guid><author>qq_21244099</author><pubDate>Fri, 19 Apr 2019 08:43:18 +0800</pubDate><description><![CDATA[Nginx学习背景（需要Nginx的原因）负载均衡
背景（需要Nginx的原因）

单台服务器资源和能力有限
高并发访问

负载均衡

高并发：


]]></description><category></category></item><item><title><![CDATA[Hadoop——分布式计算框架MapReduce]]></title><link>https://blog.youkuaiyun.com/qq_21244099/article/details/88530431</link><guid>https://blog.youkuaiyun.com/qq_21244099/article/details/88530431</guid><author>qq_21244099</author><pubDate>Fri, 19 Apr 2019 08:43:02 +0800</pubDate><description><![CDATA[MapReduce学习设计理念计算框架Split 大小规则map个数reduce个数shuffleMR架构
MapReduce是一种分布式的离线计算框架，是一种编程模型，用于大规模数据集(大于1TB)的并行运算。将自己的程序运行在分布式系统上。概念是：&amp;quot;Map(射)“和&amp;quot;Reduce(归约)”。设计理念“分与合”，移动计算不是移动数据。
自己理解：各自服务器上取片将数据来映射成map,shuffl...]]></description><category></category></item><item><title><![CDATA[zookeeper]]></title><link>https://blog.youkuaiyun.com/qq_21244099/article/details/88412549</link><guid>https://blog.youkuaiyun.com/qq_21244099/article/details/88412549</guid><author>qq_21244099</author><pubDate>Fri, 19 Apr 2019 08:42:49 +0800</pubDate><description><![CDATA[zookeeper学习

]]></description><category></category></item><item><title><![CDATA[Cdh集群安装]]></title><link>https://blog.youkuaiyun.com/qq_21244099/article/details/88849236</link><guid>https://blog.youkuaiyun.com/qq_21244099/article/details/88849236</guid><author>qq_21244099</author><pubDate>Fri, 19 Apr 2019 08:42:27 +0800</pubDate><description><![CDATA[Cdh集群安装cdh 简介cdh和Apache Hadoop比较部署1.基础配置2.CM配置3.CDH5安装
cdh 简介
Cloudera’s Distribution, including Apache Hadoop是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，提供了Hadoop的核心（可扩展存储分布式计算）
cdh和Apache Had...]]></description><category></category></item><item><title><![CDATA[利用Session防止表单重复提交]]></title><link>https://blog.youkuaiyun.com/qq_21244099/article/details/88870473</link><guid>https://blog.youkuaiyun.com/qq_21244099/article/details/88870473</guid><author>qq_21244099</author><pubDate>Fri, 19 Apr 2019 08:41:41 +0800</pubDate><description><![CDATA[在服务器端生成一个唯一的随机标识号，专业术语称为Token(令牌)，同时在当前用户的Session域中保存这个Token。然后将Token发送到客户端的Form表单中，在Form表单中使用隐藏域来存储这个Token，表单提交的时候连同这个Token一起提交到服务器端，然后在服务器端判断客户端提交上来的Token与服务器端生成的Token是否一致，如果不一致，那就是重复提交了，此时服务器端就可以不处...]]></description><category></category></item></channel></rss>