weixin_44327656的博客

数据中台概念数据中台是一套可持续“让企业的数据用起来”的机制，一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建一套持续不断把数据变成资产并服务于业务的机制。数据中台需要具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现４个核心能力，让企业员工、客户、伙伴能够方便地应用数据。...

Display all 478 possibilities? Display all 478 possibilities? (y or n)Display all 478 possibilities? (y or n)今天使用Hive跑SQL时遇到了这个错误，Display all 478 possibilities? (y or n)报错原因：包含大量的tab缩进解决方法：删除tab缩进即可...

查看集群的服务状态hdfs haadmin -getServiceState namenode11强制进行切换hdfs haadmin -transitionToActive/transitionToStandby -forcemanual namenode11

在运行spark程序.enableHiveSupport()访问Hive时，报java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.错误，如下图：解决办法：下载对应的hadoop版本包到本地配置hadoop的环境变量把hadood.dll和winutils.exe复制到C:\Win...

简介        在分布式系统中，消息系统的应用十分广泛，消息可以作为应用间通信的一种方式。消息被保存在队列中，直到被接收者取出。由于消息发送者不需要同步等待消息接收者的响应，消息的异步接收降低了系统集成的耦合度，提升了分布式系统协作的效率，使得系统能够更快地 响应用户，提供更高的吞吐。当系统处于峰值压力时，分布式...

Azkaban概述Azkaban是一个批处理工作流作业调度程序，在LinkedIn上创建，用于运行Hadoop作业，整体包括三部分webserver、dbserver、executorserver。Azkaban通过作业依赖项解决排序问题，并提供一个易于使用的web用户界面来维护和跟踪工作流。Azkaban特点兼容任何版本的Hadoop易于使用的web UI简单的web和http工作流...

简介        Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布

方法一：处理JSON字符串为case class 生成RDD[case class] 然后直接转成DataFramestream.map(record => handleMessage2CaseClass(record.value())).foreachRDD(rdd => { val spark = SparkSession.builder().config(rdd.sp...

下载且编译Maxwellwget https://github.com/zendesk/maxwell/archive/v1.17.1.tar.gz #解压并进入目录 tar zxf v1.17.1.tar.gz cd maxwell-1.17.1/配置mysql的my.cnfvi /etc/my.cnf #仅列相关配置项 [mysqld] server_id=1234 lo...

Spark常用的算子类型（Transformation型算子，Action型算子）Transformation算子mapfilter(function)flatMap(function)mapPartitions(function)mapPartitionsWithIndex(function)sample(withReplacement , fraction , seed)un...

环境IP地址主机名192.168.0.100hadoop-master192.168.0.101hadoop-slave1192.168.0.102hadoop-slave2准备工作关闭防火墙firewalld# systemctl stop firewalld# systemctl disable firewalld关闭selin...

Oozie简介          Oozie是一个基于工作流引擎的服务器，可以在上面运行Hadoop的Map Reduce和Pig任务。它其实就是一个运行在Java Servlet容器（比如Tomcat）中的Javas Web应用。     &n...

HUE是一个开源的HadoopUl系统,它基于PythonWEB框架实现,通过HUE我们可以在浏览端的WEB控制台上与Hadoop群集进行交互分析处理数据。