
大数据
今天程序媛张猬岬敲代码了吗
这个作者很懒,什么都没留下…
展开
-
static关键字的作用
static关键字最基本的用法是:1、被static修饰的变量属于类变量,可以通过类名.变量名直接引用,而不需要new出一个类来2、被static修饰的方法属于类方法,可以通过类名.方法名直接引用,而不需要new出一个类来定义被static修饰的变量、被static修饰的方法统一属于类的静态资源,是类实例之间共享的,换言之,一处变、处处变。JDK把不同的静态资源放在了不同的类中而不把所有静态资源放在一个类里面。重要知识点静态资源是类初始化的时候加载的,而非静态资源是类new的时候加载的几个问原创 2021-08-03 11:45:46 · 175 阅读 · 0 评论 -
systemctl的用法
启动服务:systemctl start xxx.service关闭服务:systemctl stop xxx.service重启服务:systemctl restart xxx.service显示服务的状态:systemctl status xxx.service在开机时启用服务:systemctl enable xxx.service在开机时禁用服务:systemctl disable xxx.service查看服务是否开机启动:systemctl is-enabled xxx.servic原创 2021-08-02 12:21:27 · 171 阅读 · 0 评论 -
JDBC详细解读
参考链接以及完整JDBC的代码https://juejin.cn/post/6989067440017637412#heading-13三个重要接口Connection conn = null;//建立数据库连接Statement stmt = null;//数据库发送要执行的SQL语句ResultSet rs = null;//使用ResultSet显示查询数据库的内容代码具体步骤 第一步:注册 mysql 驱动 Class.forName("com.mysql.jdb.原创 2021-07-27 17:31:07 · 80 阅读 · 0 评论 -
序列化与反序列化
**参考链接:**https://blog.youkuaiyun.com/xlgen157387/article/details/79840134一、序列化Java序列化是指把Java对象转换为字节序列的过程主要用处对象序列化的最主要的用处就是在传递和保存对象的时候,保证对象的完整性和可传递性。序列化是把对象转换成有序字节流,以便在网络上传输或者保存在本地文件中。序列化后的字节流保存了Java对象的状态以及相关的描述信息。序列化机制的核心作用就是对象状态的保存与重建。反序列化Java反序列化是指把字节序列恢原创 2021-07-23 14:55:03 · 79 阅读 · 0 评论 -
ubuntu安装nodejs、npm教程
参考链接:https://www.runoob.com/nodejs/nodejs-install-setup.html原创 2021-07-14 11:03:09 · 181 阅读 · 0 评论 -
Kafka常用脚本
在Kafka安装目录下($KAFKA_HOME/bin),提供了很多内置的脚本供我们使用。使用脚本可以测试Kafka的大多数功能,下面我们就脚本的使用作出说明。启动brokerbin/kafka-server-start.sh脚本提供了启动broker的功能前台启动:> bin/kafka-server-start.sh config/server.properties后台启动:> bin/kafka-server-start.sh -daemon config/serve原创 2021-06-21 16:28:07 · 245 阅读 · 1 评论 -
ubuntu系统中Typora字体加颜色公式
$\textcolor{GreenYellow}{GreenYellow} $Yellow\textcolor{Yellow}{Yellow}Yellow$\textcolor{Goldenrod}{Goldenrod} $Dandelion\textcolor{Dandelion}{Dandelion}Dandelion$\textcolor{Apricot}{Apricot} $Peach\textcolor{Peach}{Peach}Peach$\textcolor{Melon}{Melo原创 2021-06-18 17:10:42 · 277 阅读 · 0 评论 -
Git基础知识汇总
git知识汇总参考:B站up主:遇见狂神说UP主个人空间:https://space.bilibili.com/95256449?from=search&seid=48775060314896929421.什么是版本控制?版本控制(Revision control)是一种在开发的过程中用于管理我们对文件、目录或工程等内容的修改历史,方便查看更改历史记录,备份以便恢复以前的版本的软件工程技术。2.git原理及基本指令3.git分支# 列出所有本地分支git branch# 列出原创 2021-06-18 17:08:07 · 81 阅读 · 0 评论 -
Flyway实现数据库的版本控制
4.1flyway如何实现数据库的版本控制?1.概述git负责代码的迭代更新,flyway负责数据库的迭代更新2.怎么使用flyway?2.1添加依赖<dependency> <groupId>org.flywaydb</groupId> <artifactId>flyway-core</artifactId> </dependency>2.2在application.yml中添加配置spring:原创 2021-06-07 16:26:33 · 130 阅读 · 0 评论 -
异步请求处理的逻辑
异步请求处理的逻辑异步处理是当 一个http请求过来时,tomcat的主线程会去调起其他的副线程来执行我们的业务逻辑,当副线程执行完后再由我们的主线程把结果响应回去,在副线程处理业务逻辑中,主线程是可以空闲出来的,然后去处理其他的请求,从而吞吐量会提升同步处理是当一个http请求过来的时候,Tomcat或者其他中间件都会有一个主线程来处理请求,所有的业务逻辑都会在这个线程里面处理完,最后会给出一个响应。由于我们tomcat所管理的线程是有限的,当线程到达一定程度后,再有请求过来将会无法被处...原创 2021-06-07 14:11:22 · 236 阅读 · 0 评论 -
2021-04-19
Spark Streaming入门知识一、概述功能:可以实现高吞吐量的,具备容错机制的实时流数据处理Spark Streaming接收Kafka、Flume、HDFS等各种来源的实时输入数据,进行处理后,处理结构保存在HDFS、DataBase等各种地方。特点:①低延时②能从错误中高效的回复③能够运行在成千上百的节点上④能够将批处理、机器学习、图计算等子框架和spark streaming综合起来使用过程:Spark Streaming将接收到的实时流数据,按照一定时间间隔,对数据进行原创 2021-04-19 21:32:59 · 73 阅读 · 0 评论 -
2021-04-19
kafka入门知识一、概述kafka是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统。Kafka就是一种发布-订阅模式。二、kafka架构1)Producer :消息生产者,就是向kafka broker发消息的客户端,(生产馒头);2)Consumer :消息消费者,向kafka broker取消息的客户端(吃馒头);3)Topic :可以理解为一个队列(给馒头打一个标签,标签注明馒头是给谁吃的);4) Consumer Group (CG):这是k原创 2021-04-19 20:21:05 · 107 阅读 · 0 评论 -
2021-04-19
分布式日志收集框架Flume一、Flume概述http://flume.apache.org/Flume提供分布式、高可靠、高可用的服务,用于分布式的海量日志的高效收集、聚合、移动与业界同类产品的对比Scibe:Facebook公司的,不再维护Chukwa:YahooFluentd:RubyLogstash:ELK(ElasticSearch,Kibana)二、Flume架构及核心组件①Source :作用是采集②Channel:作用是聚合③Sink:作用是输出总结:Flume的原创 2021-04-19 20:05:42 · 132 阅读 · 1 评论 -
2021-04-19
初识实时数据流一、离线计算与实时计算的对比主要从以下四个方面1)数据来源离线:HDFS 历史数据 数据量较大实时:消息队列(kafka)2)处理过程离线:MapReduce:map+reduce实时:spark(DStream/ss)3)处理速度离线:慢实时:快速4)进程离线:启动+销毁实时:7*24小时二、实时流处理框架对比Apache storm:免费开源分布式Apache Spark Streaming:按照时间间隔IBM StreamingYahoo!S4Li原创 2021-04-19 14:48:04 · 102 阅读 · 1 评论