- 博客(16)
- 收藏
- 关注
RSS订阅原创 Spark基于内存分布式批量数据处理引擎
是Scala(编程语言)实现的Spark核心概念RDD RDD：弹性分布式数据集 是一个只读的 可分区的分布式数据集 默认存储在内存 当内存不足时 溢写到磁盘 RDD数据以分区的形式在集群中存储 RDD具有血统机制 发生数据丢失时 可快速进行数据恢复 Spark集群 HDFS ...
2021-12-07 19:22:09
1783
原创 Streaming分布式 实时计算框架
Streaming特点:实时响应，低延迟数据不存储，先计算连续查询事件驱动基本概念:Task:Worker中每一个Spout/Bolt的线程称为一个TaskTuple:Streaming的核心数据结构 是消息传递的基本单元Stream:一个无边界的连续Tuple序列Zookeeper:为Streaming服务中各进程提供分布式协调服务Worker:一个Worker是一个JVM进程 所有的Topology都是在一个或者多个Worker中运行的启动后是长期运行的 除非人工停止 Wo.
2021-12-07 18:19:11
2319
原创 Hive分布式数据仓库
Hive是基于Hadoop的数据仓库软件 数据库适用于OLTP(联机事务管理-增删改查的操作)__中的数据时实时更新的数据仓库适用于OLAP(联机事务分析-对历史数据进行分析或者汇总)特性:灵活方便的extract transform load 支持 Tez(默认引擎) spark多种引擎 可以直接访问HDFS HBase应用场景----->数据挖掘 非实时性分析 数据汇总 数据仓库 优点高可靠(集群存储 一两个错误没影响)高容...
2021-12-07 16:14:44
1459
原创 MapReduce分布式离线式批处理引擎
存在的问题 Jon tracker 因为任务过多出现坏死的情况 多个组件之间资源不共享 资源抢占严重YARN基于标签调度 是对NodeManager进行标签化YARN: 另外一种资源管理器 统一的资源管理和任务调度中的抽象资源------regionyarn.scheduler.capacity.root.QueueA.user-limit-factor表示用户使用队列资源的倍数yarn.scheduler.capacity.root.QueueA...
2021-12-06 23:17:18
665
原创 HBase分布式数据库
HBase 不适合大文件应用场景**都可以存储---------->按0和1存储(字节byte)非关系型数据库管理发展流程人工纸质----文件系统----关系型数据库----非关系型数据库 互补状态非关系型数据库分类: 列示:HBase 文档:mongodb 键值对:redis 图形:no4jHBase采用列存储 HBase 高可靠(数据...
2021-12-06 22:36:51
1026
原创 HDFS分布式文件系统 (随笔
思维特点( 数据量大 类型繁多 价值密度低 处理速度快 )HDFS技术原理 存储 查询 处理 采集分布式文件系统 (多个袋子装)拆分数据 分到不同结点存储client DataNode多实例部暑NameNode单实例部署 不允许出现多个 ...
2021-11-24 16:41:49
1350
原创 sql基础
SQL不区分大小写 建议关键字大写DB数据库DBMS数据库管理系统(下载的软件) 数据库是通过DBMS创建的操作的容器SQL 结构化查询语言 专门用来和数据库通信的语言port=3306 win+R select --version net start/stop mysql select version();查看...
2021-11-23 20:47:39
658
1
原创 Java图形用户界面设计
Component是用户界面的父类Container 容器类 用来容纳其他组件import javax.swing.*;import java.awt.*;public class 用户登录 { public static void main(String[] args) { JFrame j=new JFrame("不要学我用数字做类名");//框架 j.setSize(240,120); j.setDefaultCloseOpe..
2021-11-14 23:27:15
6145
原创 二进制转换(随笔
上图二进制转换成数字也是转换成十进制的算法十六进制 由0-9 A-F组成 和10进制对应关系 0-9 10-150对应二进制的0000 1对应二进制的00012对应二进制的0010 3对应二进制的0011传送门https://jingyan.baidu.com/article/3065b3b6b7937fbecff8a4e0.html...
2021-11-13 22:44:29
440
原创 Java(二级)语言的特点和实现机制---随笔
八进制 0开头 十六进制 0x/0X开头数据类型精度从低到高 byte short char------>int------>long------>float------>double 整型 整形 字符型 整形 整形 浮点 布尔从高转化低需要强制转换 double d=5.22; ...
2021-11-13 18:25:33
264
原创 java递归 简单递归
详细的讲解一下递归用一个走阶梯的例子 每一次走一步或者三步f(n)=f(n-1)+f(n-3) 当f(1)=f(1-1)+f(n-3) 第一个等于0 错误 当f(2)=f(2-1)+f(2-3) 第一个二负数错误 当f(3)=f(3-1)+f(3-3) 第二个等于0 错误 这些就是终止条件 ...
2021-11-11 23:25:52
692
原创 java二级考试原题基本操作题
作者是在某宝买的无忧java模拟题 看了看评价说是刷完一般都可以过 作者准备考明年三月份的二级考试 希望考试的小伙伴一次就过 这是作者刷的基本操作题 一共49个 作者把重复的 超级简单的去掉了import javax.swing.JOptionPane; //导入JOptionPane类public class Java_1 { public static void main( String args[] ) { ___________________...
2021-11-10 22:06:25
1353
原创 菜单模块
先在数据库建立一个菜单menu CREATE TABLE `menu` ( `id` BIGINT(20) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT '主键', `name` VARCHAR(50) NOT NULL COMMENT '菜单' COLLATE 'utf8_general_ci', `descc` VARCHAR(50) NOT NULL COMMENT '描述' COLLATE 'utf8_general_ci', `count` I..
2021-05-21 18:21:38
263
原创 Spring boot新增用户 修改用户 删除用户 id查询 名字查询
新增用户INSERT INTO user (name ) VALUES (#{name})user是数据库名字VALUES (#{name})插入user(name) 的值#{name}通过Postman设置@Mapperpublic interface UserMapper { @Insert("INSERT INTO user (name, sex, password, phonenum, create_time, update_time) VALUES (#{nam...
2021-05-20 18:19:37
4107
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人