- 博客(139)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 springboot+echarts+mysql制作数据可视化大屏（滑动大屏）
springboot+echarts+mysql制作数据可视化大屏（滑动大屏）
2023-07-02 02:47:29
3746
45
原创 springboot+echarts +mysql制作数据可视化大屏（六图）
springboot+echarts +mysql制作数据可视化大屏（六图）
2023-07-02 02:17:29
2732
76
原创 springboot+echarts +mysql制作数据可视化大屏（四图）
作者水平低，如有错误，恳请指正！谢谢！！！！！项目简单，适合大学生参考分类专栏还有其它的可视化博客哦！专栏地址：https://blog.youkuaiyun.com/qq_55906442/category_11906804.html?spm=1001.2014.3001.5482目录 一、数据源二、所需工具三、项目框架搭建四、代码编写4.1 区域销量统计条形图4.2 订单金额折线图4.3 平均支付时间统计4.4 订单金额统计五、大屏编写成果展示： 1）可以使用自己的MySQL数据库；2）使用我提供的数据。（要
2023-07-02 01:38:58
6697
113
原创 时间同步/集群时间同步/在线/离线
NTP（Network Time Protocol）网络时间协议，是用来使计算机时间同步的一种协议，它可以使计算机对其服务器或时钟源做同步化，它可以提供高精准度的时间校正（LAN上与标准间差小于1毫秒，WAN上几十毫秒），且可介由加密确认的方式来防止恶毒的协议攻击。NTP的目的是在无序的Internet环境中提供精确和健壮的时间服务。
2023-06-11 00:04:30
1058
原创 scala（八）：模式匹配
Scala中的模式匹配类似于Java中的switch语法。模式匹配语法中，采用match关键字声明，每个分支采用case关键字进行声明，需要匹配时，会从第一个case分支开始，如果匹配成功，会执行对应的逻辑代码；匹配不成功，继续执行下一个分支进行判断。如果所有case都不匹配，那么会执行case _分支，类似于Java中default语句。注：（1）如果所有case都不匹配，那么会执行case _ 分支，类似于Java中default语句，若此时没有case _ 分支，那么会抛出MatchError。 （2
2022-10-25 22:47:40
816
4
原创 scala（七）：集合常用函数
过滤filter，映射/转换map，扁平化flatten，扁平化+映射flatMap，分组groupBy，简化/归约reduce，折叠fold。简化（归约）：通过指定的逻辑将集合的数据进行聚合，从而减少数据，最终获取结果。sorted对一个集合进行自然排序，通过传递隐式的Ordering。sortWith基于函数的排序，通过一个comparator。sortBy对一个属性或多个属性进行排序，通过它的类型。函数，实现自定义排序的逻辑。折叠：化简的一种特殊情况。
2022-10-25 09:49:10
1543
原创 scala（六）：集合-数组、列表list、set集合、map集合、元组
（1）Scala的集合有三大类：序列Seq、集Set、映射Map，所有的集合都扩展自Iterable特质。（2）对于几乎所有的集合类，Scala都同时提供了可变和不可变的版本，分别位于以下两个包。不可变集合：scala.collection.immutable可变集合： scala.collection.mutable不可变集合，就是指该集合对象不可修改，每次修改就会返回一个新对象，而不会对原对象进行修改。类似于java中的String对象。
2022-10-24 23:36:40
600
原创 scala（五）：面向对象-包、类型、继承和多态、抽象类、单列对象、特质
基本语法：【修饰符】class 类名 {类体}（1）Scala语法中，类并不声明为public，所有这些类都具有公有可见性（即默认就是public）；（2）一个Scala源文件可以包含多个类；
2022-10-22 09:14:59
825
原创 scala（四）：函数式编程-函数基础、函数高级
闭包：如果一个函数，访问到了它的外部（局部）变量的值，那么这个函数和他所处的环境，称为闭包。将问题分解成一个一个的步骤，将每个步骤进行封装，通过调用这些封装好的步骤，解决问题。解决问题，分解对象，行为，属性，然后通过对象的关系以及行为的调用来解决问题。，直到我们首次对此取值，该函数才会执行。这种函数我们称之为惰性函数。函数柯里化：把一个参数列表的多个参数，变成多个参数列表。）为完成某一功能的程序语句的集合，称为函数。函数的本质：函数可以当做一个值进行传递。对象的本质：对数据和行为的一个封装。
2022-10-18 06:00:00
530
原创 scala（三）：流程控制-分支控制、嵌套循环、for、while、do…while循环、循环中断、多支循环
Scala内置控制结构特地去掉了break和continue是为了更好的适应函数式编程，推荐使用函数式的风格解决break和continue的功能而不是一个关键字。4）while中没有返回值，当要用该语句来计算并返回结果时，要不可避免的使用变量，而变量需要声明在while循环的外面，就等同于循环的内部对外部的变量造成了影响。1）将一个循环放在另一个循环体内，就形成了嵌套循环。在一个分支结构中完整的嵌套另一个完整的分支结构，里面的分支的结构称为内层，外面的分支结构称为外层，嵌套分支不要超过3。
2022-10-18 05:00:00
695
1
原创 Scala：概述
Spark是新一代内存级大数据计算框架，是大数据的重要内容。Spark是使用Scala编写的。为了更好的学习Spark,需要掌握Scala这门语言。Spark的兴起，带动Scala语言的发展。Scala和Java的关系学Scala的人一般都会Java，Scala是基于Java的，我们需要把Scala和Java以及JVM之间的关系搞清楚。Scala、Java和JVM的关系图Scala语言特点。
2022-10-17 11:41:55
494
原创 scala（一）：变量和数据类型
（1）使用tab实现缩进，默认整体向右移动；shift+tab整体向左移；（2）使用ctrl + alt + L来进行格式化；（3）运算符两边习惯性各加一个空格；（4）一行最长不超过80个字符，超过的换行，尽量保持格式优雅。变量和常量常量：在执行过程中值不会被改变的量。变量类型 变量名称 = 初始值 int a = 5final常量类型 常量名称 = 初始值 final int a = 5。
2022-10-17 05:45:00
937
原创 Windows安装Scala：scala安装、idea的scala插件安装、helloworld案例
在plugins中，选择install plugin from disk…，选择下载好的插件路径后点击OK，然后重启idea就可以了。在plugins中，直接搜索Scala，点击下载，然后重启idea。（1）在系统变量中配置，新增一个SCALA_HOME。3.在src\main下创建scala目录，4.在src/main/scala下创建包名。（2）在系统变量的path中添加。（1）Windows + R键。（3）输入Scala后回车。scala安装完成！2. 引入Scala框架。5. 创建scala类。
2022-10-16 09:17:45
973
原创 Azkaban（四）：进阶案例-邮箱报警案例
（4）将email.flow和azkaban.project文件以zip格式压缩打包。（3）创建并编写email.flow和azkaban.project文件。设置成功或者失败时要发送到的邮箱。（2）重启web-server。（3）获取授权码（只显示一次）（5）web server操作。（1）注册126邮箱；（2）开启SMTP服务。
2022-10-15 19:33:01
1017
原创 Azkaban（三）：进阶案例-java作业类型案例、条件工作流案例、定时执行案例
Azkaban中预置了几个特殊的判断条件，称为预定义宏。预定义宏会根据所有父job的完成情况进行判断，再决定是否执行。可用的预定义宏如下：1）all_success：表示父job全部成功才执行(默认)；2）all_done：表示父job全部完成才执行；3）all_failed：表示父job全部失败才执行；4）one_success：表示父job至少一个成功才执行；5）one_failed：表示父job至少一个失败才执行；案例需求：jobA和jobB分别执行。
2022-10-15 17:12:10
908
原创 Azkaban（二）：基础案例集-依赖案例、自动重试案例、手动调节是否执行案例
注：azkaban.project和second.flow保存时注意类型要选择为All type (*.*)。注：azkaban.project和third.flow保存时注意类型要选择为All type (*.*)。注：azkaban.project和four.flow保存时注意类型要选择为All type (*.*)。2.将azkaban.project和four.flow压缩，以zip格式压缩，文件名一定要是英文。手动调节job是否执行案例完成！失败自动重试案例完成！4.web server操作。
2022-10-14 22:38:15
873
原创 Azkaban（一）：入门-安装及案例
一个完整的系统通常都是由大量任务单元组成：Shell脚本程序、Java程序、MapReduce程序、Hive脚本等。复杂的任务调度：现成的开源调度系统Ooize、Azkaban、Airflow、DolphinScheduler等。3.将azkaban.project和first.flow压缩，以zip格式压缩，文件名一定要是英文。Ooize是一个重量级的任务调度系统，功能全面，但配置使用更复杂；（2）再开启web server，进入web server目录。hello world案例完成！
2022-10-14 19:10:44
1108
原创 flume数据流监控
gmond（Ganglia Monitoring Daemon）：是一种轻量级服务，安装在每台需要收集指标数据的节点主机上。使用gmond可以很容易收集很多系统指标数据，如CPU、内存、磁盘、网络和活跃进程的数据等。gweb（Ganglia Web）：Ganglia可视化工具，gweb是一种利用浏览器显示gmetad所存储数据的PHP前端。在Web界面中以图表方式展现集群的运行状态下收集的多种不同的指标数据。（3）在Hadoop01、Hadoop02、Hadoop03、Hadoop04修改配置文件。
2022-09-27 04:45:00
759
原创 flume笔记（三）：自定义-自定义interceptor/自定义source/自定义sink
（1）需求用Flume采集服务器本地日志，按照日志类型的不同，将不同种类的日志发往不同的分析系统。（2）需求分析一台服务器产生的日志类型有很多种，不同类型的日志需要发送到不同的分析系统。此时会用到Flume拓扑结构中的Multiplexing结构。Multiplexing的原理是，根据event中Header的某个key的值，将不同的event发送到不同的Channel中。我们需要自定义一个Interceptor，为不同类型的event的Header中的key赋予不同的值。
2022-09-26 06:00:00
544
原创 flume笔记（二）：事务/内部原理/拓扑结构-复制和多路复用/负载均衡和故障转移/聚合
产生的日志，处理起来也非常麻烦。配置1个netcat source和1个channel、1个sink group（2个sink），分别输送给flume-flume-console1和flume-flume-console2。配置一个接收文件的source和两个channel，两个sink，分别将数据发送给flume-flume-hdfs.conf和flume-flume-dir.conf。Flume-1与Flume-2将数据发送给hadoop03上的Flume-3，Flume-3将最终数据打印到控制台。
2022-09-25 06:15:00
723
原创 flume笔记（一）：基础/概述/案例
Flume是一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统；基于流式架构，灵活简单。Flume最主要的作用是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。
2022-09-24 13:00:35
634
原创 kafka笔记（四）：消费者-消费方式/消费者工作流程/消费者API/分区分配及平衡/手动、自动提交offset
（1）pull（拉）模式：consumer采用从broker中主动拉取数据。Kafka采用了这种方式。（2）push（推）模式：Kafka没有采用这种方式，因为由broker决定消息发送速率，很难适应所有消费者的消费速率。例如推送的速度是50m/s，Consumer1、Consumer2就来不及处理消息。pull模式不足之处是，如果Kafka没有数据，消费者可能会陷入循环中，一直返回空数据。
2022-09-22 06:00:00
1954
原创 kafka笔记（三）：broker-工作流程/节点服役和退役/副本/文件存储/高效读写
（1）开启zookeeper，进入zookeeper，执行./zkCli.sh（2）查看信息查看目录：ls /其它的用ls也可以查看到例：例：部分信息目录查看controller路径上的数据查看/brokers/topics/first/partitions/0/state的数据。
2022-09-21 06:15:00
879
原创 kafka笔记（二）：生产者-同步发送/异步发送/生产者分区/数据可靠性/数据去重/消息发送流程
根据需求可以自己重新实现分区器（1）需求：实现一个分区器，发送的数据出现jeffry就发送到分区1，否则发送到分区2.（2）实现：1）代码/*** 1.实现接口partitioner* 2.实现三个方法：partition，close，configure* 3.编写partition方法，返回分区号*//**** @param topic 主题* @param key 消息的key* @param keyBytes 消息的key序列化后的字节数组。
2022-09-20 06:00:00
1800
原创 kafka笔记（一）：kafka概述及入门-基础框架/消息队列/安装部署/命令行操作
Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。Kafka最新定义 ：Kafka是 一个开源的分布式事件流平台（Event Streaming Platform）被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。
2022-09-19 09:59:14
766
原创 hive笔记（十）：企业级调优-执行计划/本地模式/表的优化/合理的map、reduce数/并行执行/严格模式
（1）基本语法（2）案例1）查看下面这条语句的执行计划没有生成MR任务的有生成MR任务的2）查看详细执行计划没有生成MR任务的有生成MR任务的。企业级调优执行计划（explain）fetch抓取本地模式表的优化小表大表join（mapjoin）大表join大表group bycount（distinct）去重统计笛卡尔积行列过滤合理设置map及reduce数复杂文件增加map数小文件进行合并合理设置reduce数并行执行严格模式
2022-09-13 06:30:00
671
原创 hive笔记（九）：压缩和存储-Hadoop压缩配置/map、reduce输出阶段压缩/文件存储格式/textfile、parquet、orc
Hadoop的编码/解码器压缩性能的比较注：Snappy的压缩速度和解压速度都非常快。开启map输出阶段压缩可以减job中map和Reduce task间数据传输量。当Hive将输出写入到表中时 ， 输出内容可以进行压缩，属性hive.exec.compress.output控制着这个功能。用户保持默认设置中的默认值false，输出的就是非压缩的纯文本文件。用户可以通过在查询语句或执行脚本中设置这个值为true来开启输出结果压缩功能。
2022-09-12 06:00:00
622
原创 hive笔记八：自定义函数-自定义UDF函数/自定义UDTF函数
需求：自定义一个UDF函数实现计算字符串长度（1）创建maven工程（2）导入依赖（3）编写代码/*** 自定义UDF函数需要继承GenericUDF类* 需求：计算指定字符串的长度*//*** @objectInspectors 输入参数类型的鉴别器对象* @return 返回值类型的鉴别器类型对象*///判断输入参数的个数= 1) {!!");}//判断输入参数的类型if (!!!");}//函数本身返回值为int，需要返回int类型的鉴别器对象}
2022-09-11 05:30:00
1041
原创 hive笔记（七）：函数-内置函数/空字段赋值/行转列/列转行/窗口函数/Rank
（1）查看系统自带函数（2）显示自带函数的用法（3）详细显示自带函数的用法（1）说明赋值，它的格式是NVL(value，default_value)。功能是如果value为NULL，则NVL函数返回default_value的值，否则返回value的值，如果都为NULL ，则返回NULL。（2）准数据备查看前面内容！（3）查询NVL(value，default_value)1)comm为null，default_value为-1 2）comm为null，default_value为
2022-09-10 10:00:00
700
原创 hive：常用日期函数/常用取整函数/常用字符串操作函数/集合操作
unix_timestamp:返回当前或指定时间的时间戳from_unixtime：将时间戳转为日期格式current_date：当前日期current_timestamp：当前的日期加时间to_date：抽取日期部分year：获取年month：获取月day：获取日hour：获取时minute：获取分second：获取秒weekofyear：当前时间是一年中的第几周dayofmonth：当前时间是一个月中的第几天。
2022-09-09 10:00:00
631
原创 pycharm创建Django项目
1）点击File --> NewProject --> Django --> 选择文件路径（Location）-->确定python安装路径 --> 点击create。点击File --> Settings --> Project: Django --> Project Interpreter。2）在templates文件夹下创建index.html。2）创建成功后检查，有如下文件说明创建成功！3）编辑system下的views.py。1）复制url.py到system里面。2）pycharm下载。
2022-09-07 10:51:22
1807
1
原创 hive笔记（六）：分区表和分桶表-分区/二级分区/抽样查询/动态分区调整
分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定分区，这样的查询效率会提高很多。...
2022-08-28 10:00:00
863
原创 hive笔记（四）：查询、分组-运算符/limit/where/like/rlike/group by/having
值大于等于B而且小于或等于C（C>=A>=B）则结果为TRUE，反之为FALSE；A不等于B则返回 TRUE，反之返回 FALSE。A小于等于B返回 TRUE，反之返回 FALSE。A大于等于B返回 TRUE，反之返回 FALSE。A小于B返回 TRUE，反之返回 FALSE。A和B都为NULL返回TRUE，一边为NULL返回 false。A不等于NULL返回TRUE，反之返回FALSE。A等于NULL返回TRUE，反之返回FALSE。A等于B返回TRUE，反之返回FALSE。...
2022-08-27 10:00:00
877
原创 hive笔记（五）：查询、排序-join语句/连接/分区/sort by/distribute by/cluster by
（2）测试distribute by要分配多个reducer进行处理，不然无法看到distribute by的效果；sort by：为每一个reducer产生一个排序文件，每个reducer内部进行排序，对全局结果集来说不是排序。（1）distribute by类似MR的自定义分区（partition）进行分区，结合sort by使用；根据员工表和部门表中的部门编号相等，查询员工编号、员工名称和部门名称。对于大规模的数据集order by的效率较低，不需要全局排序；的个数进行模除后，余数相同的分到一个区。.
2022-08-26 09:39:35
903
原创 hive笔记（三）：DDL数据定义/DML数据操作-数据库、表、数据导入导出
（1）创建数据库test（普通）（2）创建数据库test（标准写法）（3）创建数据库test（指定数据在HDFS的存储位置）
2022-08-25 10:52:37
1348
原创 hive笔记（二）：数据类型-基本数据类型/集合数据类型/类型转换
Hive的String类型相当于数据库的varchar类型，该类型是一个可变的字符串，理论上可以存储2GB的字符数。
2022-08-24 17:41:21
881
原创 hive笔记（一）：hive概述-优点/缺点/构架原理/与数据库比较
Hive是基于Hadoop的一个数据仓库工具，由Facebook开源用于解决海量结构化日志，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。（1）hive的本质是将HQL转化成为MapReduce（2）hive分析数据底层的实现是MapReduce；（3）hive处理的数据存储在HDFS上；（4）执行程序运行在yarn上；
2022-08-22 11:26:12
886
原创 spark学习笔记（十二）——sparkStreaming-RDD队列/自定义数据源/kafka数据源/DStream转换/DStream输出/优雅关闭
继承Receiver，实现onStart、onStop方法来自定义数据源采集。//TODO 创建配置环境//采集数据//开始}/*自定义数据采集器1.继承Receiver，定义泛型，传递参数2.重写方法*///最初启动,读数据val message = "采集的数据为：" + new Random().nextInt(10).toString}}}//停止}}}结果：//初始化Spark配置信息//初始化SparkStreamingContext。......
2022-08-18 23:47:45
821
原创 spark学习笔记（十一）——sparkStreaming-概述/特点/构架/DStream入门程序wordcount
Spark Streaming用于流式数据的处理。Spark Streaming支持的数据输入源很多：Kafka、Flume、Twitter、ZeroMQ 和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语：map、reduce、join、window等进行运算。而结果也能保存在：HDFS，数据库等。DStream。......
2022-08-13 23:43:18
810
1
14万条用户行为数据，搜索、点击、下单、支付
2022-07-31
gmall_report用于可视化的SQL文件
2022-07-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人