kevin_琪琪的博客

安装Sqoop的前提是已经具备Java、Hadoop和hive的环境。下载地址：Index of /dist/sqoop (apache.org)解压sqoop安装包重命名配置文件 修改配置文件 拷贝JDBC驱动验证Sqoop 4.Sqoop的简单使用案例 在Sqoop中，"导入"概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。MySql到HDFS全部导入 查询导入 注意:导入指定列 使用sqoop

Kafka入门1.Kafka 概述2.Kafka 快速入门 1.Kafka 概述 定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 消息队列 传统消息队列的应用场景 使用消息队列的好处: 解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 可恢复性 系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复

前言 Kafka 是主流的消息流系统，其中的概念还是比较多的，下面通过图示的方式来梳理一下 Kafka 的核心概念，以便在我们的头脑中有一个清晰的认识。 基础 Kafka 是一套流处理系统，可以让后端服务轻松的相互沟通，是微服务架构中常用的组件。 生产者消费者 生产者服务 Producer 向 Kafka 发送消息，消费者服务 Consumer 监听 Kafka 接收消息。 一个服务可以同时为生产者和消费者。 Topics 主题 Topic 是生产者发送消息的目标地址，是消费者的监听目标。 一

Flink 1.Flink 简介 1.Flink 是什么 Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。 2.Flink 的全球热度 3.Flink 目前在国内企业的应用 4.Flink