beishanyingluo的博客

HBase启动问题（一） org/apache/hadoop/hbase/master/ClusterSchema

beishanyingluo — Thu, 08 Sep 2022 16:30:41 +0800

org/apache/hadoop/hbase/master/ClusterSchema

Caused by: com.alibaba.fastjson.JSONException: default constructor not found. class

beishanyingluo — Thu, 02 Sep 2021 14:26:07 +0800

com.odx.common.bo.user.UserProjectNameRespDTO at com.alibaba.fastjson.util.JavaBeanInfo.build(JavaBeanInfo.java:558) at com.alibaba.fastjson.parser.ParserConfig.createJavaBeanDeserializer(ParserConfig.java:939) at com.alibaba.fastjson.parser.ParserConfi

电商指标项目-模板方法

beishanyingluo — Thu, 06 Aug 2020 21:06:17 +0800

1. 模板方法提取公共类模板方法模板方法模式是在父类中定义算法的骨架，把具体实延迟到子类中去，可以在不改变一个算法的结构时可重定义该算法的某些步骤。前面我们已经编写了三个业务的分析代码，代码结构都是分五部分，非常的相似。针对这样的代码，我们可以进行优化，提取模板类，让所有的任务类都按照模板的顺序去执行。 BaseTask.scala package com.itheima.realprocess.task import com.itheima.realprocess.bean.ClickLo

电商指标项目-实时频道热点分析业务开发

beishanyingluo — Thu, 06 Aug 2020 20:36:51 +0800

1. 业务介绍频道热点，就是要统计频道被访问（点击）的数量。分析得到以下的数据：频道ID 访问数量频道ID1 128 频道ID2 401 频道ID3 501 需要将历史的点击数据进行累加 2. 业务开发步骤创建实时热点样例类，专门用来计算实时热点的数据将预处理后的数据，转换为要分析出来的数据（频道、访问次数）样例类按照频道进行分组（分流）划分时间窗口（3秒一个窗口）进行合并计数统计打印测试将计算后的数据下沉到Hbase 实现创建一个Chann

电商指标项目-点击流日志实时数据预处理（含源码）

beishanyingluo — Mon, 27 Jul 2020 22:37:19 +0800

实时数据分析业务目标完成点击流日志数据预处理业务开发完成实时频道热点分析业务开发完成实时频道PV/UV分析业务开发完成实时频道用户新鲜度分析业务开发完成实时频道地域分析业务开发业务开发一般流程一般流程先对原始数据进行拓宽预处理将拓宽后的数据转换为要进行分析业务字段按照指定字段进行分组将组内数据划分到窗口中聚合计算将数据落地到hbase 预处理的过程非常关键，它是业务的源头，如果预处理做得很好，后续业务的开发会变得简单很多点击流日志实时数据预处理 1. 业务分析

电商指标项目-HBaseUtil工具类(完整源码)

beishanyingluo — Sun, 26 Jul 2020 22:43:16 +0800

Flink整合Kafka，可以从Kafka中获取数据进行分析，分析之后要把结果存入HBase中编写一个操作HBase的工具类。HBase作为一个数据库，写一个工具类，实现数据的增删改查 1. API介绍方法名用途参数说明返回值 getTable 创建/获取表 tableNameStr:表名columnFamily:列族名 HBase Table对象 putData 插入/更新一列数据 tableNameStr: 表名rowkey:String rowkeycolumnFami

电商指标项目-实时分析系统开发（详细源码）

beishanyingluo — Sun, 26 Jul 2020 10:30:32 +0800

开发Flink实时分析系统, 通过流的方式读取Kafka中的消息, 进而分析数据（详细源码在最后！！）业务实时分析频道热点实时分析频道PV/UV 实时分析频道新鲜度实时分析频道地域分布实时分析运营商平台实时分析浏览器类型技术 Flink实时处理算子使用CheckPoint和水印解决Flink生产上遇到的问题（网络延迟、丢数据） Flink整合Kafka Flink整合HBase 1. 搭建【Flink实时数据分析系统】项目环境 1.1 导入Maven项目依赖 pom.xml文件

电商指标项目-上报服务系统开发（详细源码）

beishanyingluo — Wed, 22 Jul 2020 16:59:02 +0800

上报系统：java工程，SpringBoot框架 1.Spring Boot简介 Spring Boot是一个基于Spring之上的快速应用构建框架。使用Spring Boot可以快速开发出基于Spring的应用。Spring Boot主要解决两方面的问题。依赖太多问题轻量级JavaEE开发，需要导入大量的依赖依赖之间还存在版本冲突配置太多问题大量的XML配置 Spring Boot内部整合了大量的依赖，而且经过大量测试，选择的依赖都是没有版本冲突的。Spring B.

Git的Ubuntu安装及使用（详细图文)

beishanyingluo — Sun, 19 Jul 2020 22:20:27 +0800

一查看是否安装了git 及安装在终端执行： git 没有，进行git安装： sudo apt-get install git 执行中可能有无错误，提示： E: Failed to eftch http://archives..... .... E: Unable to fetch http..... 这个缺少某些依赖，进行更新操作即可，执行下面： sudo apt-get update 再次执行git的安装命令，ok 安装完成后，执行 git 有信息输出，表示安装完成！！二 git的配置

电商指标项目-项目整体工程搭建

beishanyingluo — Sat, 18 Jul 2020 09:54:04 +0800

工程结构本项目采用Maven构建，下面是我们的项目的整体工程架构。总工程为pyg，下面包含我们要开发的5个子模块。 IDEA创建工程在指定目录创建父模块pyg，删除总工程的src目录在父模块配置Java版本为1.8 org.apache.maven.plugins

电商指标项目-背景及技术选型

beishanyingluo — Sat, 18 Jul 2020 08:51:46 +0800

1. 项目背景 1.1. 项目简介公司有一个正在运营中的电商网站，名称叫做【京京购】。这是一个B2B2C的电商平台，类似京东。现在我们想了解一下该电商网站的各种用户行为（访问行为、购物行为、点击行为等），统计出PV、UV等数据。针对这样的大数据分析项目，我们可以采用MapReduce、Spark或者Flink来进行开发。由于本项目会对实时数据和静态数据进行分析，所以我们采用性能更加优越的Flink来开发。业务目标帮助产品经理、数据分析师以及管理人员分析现有产品的情况根据用户行为分析结果持续改

Git的Window安装及使用（详细图文）

beishanyingluo — Thu, 16 Jul 2020 22:20:52 +0800

一注册 https://github.com/ 在git注册一个账号：不再赘述二在git网页中，建立分支操作三 window安装git https://git-scm.com/downloads 下载安装即可安装完毕后，在桌面，单击右键四本地相关配置选择一个文件目录，右键：Git Bash Here 绑定用户及生成SSH key git config --global user.name “aaa” git config --global user.email "aa@qq.

Flink高级Demo(含源码)

beishanyingluo — Tue, 14 Jul 2020 22:50:26 +0800

Flink的状态管理 keyed state operator state Flink的CheckPoint checkpoint的持久化方案 checkpoint持久化开发 Flink SQL & Table API DataSet/DataStream转Table Table转DataSet/DataStream SQL操作数据 TableAPI操作数据 1. Flink的状态管理 1.1. 什么是有状态的计算官网对Flink的解释：Stateful Computa..

Flink流处理Demo(含源码)

beishanyingluo — Tue, 14 Jul 2020 22:45:55 +0800

Flink流处理的Source 基于集合基于文件基于Socket 自定义数据源使用Kafka作为数据源使用MySql作为数据源 Flink流处理的Transformation keyby connect split和select Flink流处理的Sink sink到kafka sink到mysql Flink的Window操作时间窗口计数窗口自定义窗口 Flink的水印机制 1. 输入数据集DataSource Flink 中你可以使用 StreamExecuti.

Flink批处理Demo（含源码）

beishanyingluo — Tue, 14 Jul 2020 22:01:45 +0800

Flink的批处理Source 基于本地集合基于文件基于CSV 基于压缩文件 Flink的Transformation map flatmap filter reduce rebalance Flink的Sink 写入集合写入文件 Flink程序本地执行和集群执行 Flink的广播变量 Flink的累加器 Flink的分布式缓存 Flink 应用程序结构主要包含三部分,Source/Transformation/Sink,如下图所示： Source: 数据源，Flink 在流.

Flink架构介绍

beishanyingluo — Sun, 12 Jul 2020 17:08:17 +0800

1. Flink基石 Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。首先是Checkpoint机制，这是Flink最重要的一个特性。Flink基于Chandy-Lamport算法实现了一个分布式的一致性的快照，从而提供了一致性的语义。Chandy-Lamport算法实际上在1985年的时候已经被提出来，但并没有被很广泛的应用，而Flink则把这个算法发扬光大了。Spark最近在实现Continue streaming，Continue s

Flink集群安装及使用

beishanyingluo — Sun, 12 Jul 2020 16:51:43 +0800

Flink支持多种安装模式 local（本地）——单机模式，一般不使用 standalone——独立模式，Flink自带集群，开发测试环境使用 yarn——计算资源统一由Hadoop YARN管理，生产测试环境使用 1. 伪分布环境部署 Flink程序需要提交给Job Client Job Client将作业提交给Job Manager Job Manager负责协调资源分配和作业执行。资源分配完成后，任务将提交给相应的Task Manager Task Manager启动一个线程以开始执行。Ta

Fink入门介绍

beishanyingluo — Fri, 10 Jul 2020 21:13:47 +0800

1. Flink介绍 1.1. Flink引入这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。在国外一些社区，有很多人将大数据的计算引擎分成了4 代，当然也有很多人不会认同。我们先姑且这么认为和讨论。第1代——Hadoop Ma

sparksql与mysql（含源码）

beishanyingluo — Fri, 10 Jul 2020 20:19:25 +0800

Demo一：在mysql数据库中有员工表和部门表表结构以及数据如下： create table dept( deptno int , dname varchar(14) , loc varchar(13) ) ; create table emp( eno int , ename varchar(10), job varchar(9), mgr int, hirdate date, sal int, comm int, deptno int not null ); INSERT INTO dept VA

Spark内存计算系统（总）

beishanyingluo — Fri, 10 Jul 2020 20:13:22 +0800

一 scale学习