heijunwei的博客

前言： 每个数据库的数据类型从来都不是一个简单的数据结构，特别是使用不同的数据库，不同的引擎，其支持的数据类型也不一样，选择那种数据类型作为字段类型对数据库的性能也是天差地别，故对数据类型有个全面的认知，在数据库表设计的时候选择合适的数据类型就尤其重要。 MySQL主要包括以下六大类： 整数类型：BIT、BOOL、TINY INT、SMALL INT、MEDIUM INT、 INT、 BIG INT 浮点数类型：FLOAT、DOUBLE、DECIMAL 字符串类型：...

前言： 从以往的经验看，零散的学习前提是需要宏观的架构支撑，否则事倍功半，很多人上来就是各种面试题罗列，然后背书式的去记忆，其实对技术的提升帮助很小，对大厂的面试也没什么帮助，遇到真神一下就问蒙圈了，所以个人建议每学一块知识之前尽量能先宏观把握知识结构，再一步步的夯实，这样会效率高一些。 目录 一、MySQL宏观知识图谱 二、MySQL概述 2.1、MySQL 是什么 2.2、MySQL 的历史与现状 2.3、MySQL 版本 三、MySQL下载与安装 ...

一、删除注册表信息 快捷键win+r输入regedit进入注册表 1HKEY_LOCAL_MACHINE\SYSTEM\ControlSet001\Services\Eventlog\Application\MySQL文件夹删除 2HKEY_LOCAL_MACHINE\SYSTEM\ControlSet002\Services\Eventlog\Application\MySQL文件夹删除。 3HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\E

前言： 相比于其他关系型数据库，MySQL有点与众不同，它的架构可以在多种不同场景中应用并发挥良好作用。主要体现在存储引擎的架构上，插件式的存储引擎架构将查询处理和其它的系统任务以及数据的存储提取相分离。这种架构可以根据业务的需求和实际需要选择合适的存储引擎。 架构图：四层结构 一、连接层 最上层是一些客户端和连接服务。主要完成一些类似于连接处理、授权认证、及相关的安全方案。在该层上引入了线程池的概念，为通过认证安全接入的客户端...

一、hadoop是什么 hadoop是apache基金会开发的分布式计算的开源软件，主要解决海量数据的存储于计算问题，hadoop其实是一个生态圈，如下图： 二、hadoop发展史 Lucene框架是Doug Cutting开创的开源软件，用java实现，是一款与google类似的全文搜索引擎； 2001年Lucene成为Apache基金会的一个子项目； 对于海量数据的场景，Lucene遇到与google同样的困难，存储数据困难，搜索缓慢； 学习模仿google的解决方案，微型版Nutch诞生；

一、spark产生的目的 spark产生：为了替代Mapreduce，解决Mapreduce计算短板 Hadoop生态体系：hdfs+zokeeper +mareduce/hive+hbase+storm+mahot+其他 工具； spark体系：hdfs+zokeeper +spark+hbase+storm+mahot+其他 工具。 二、spark的设计初衷： 设计一个统一的计算引擎解决...

RDD: 一、什么是RDD：分布式数据集，是spark中最基本的数据抽象，它代表一个不可变，可分区，里面的元素可并行计算的集合。RDD具有数据流模型特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存到内存，后续查询能够重用工作集，这极大的提升查询速度。 1.1.数据集：RDD是数据集合的抽象，是复杂物理介质上存在数据的一种逻辑视图。 1.2.分布式：RDD的...

本文阐述的原理基于 Spark 2.1 版本，主要梳理出 Spark 内存管理的脉络。 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解con Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。 在执行 Spark 的应用程序时，Spark 集群会启动 Driver 和 Executor 两种 JVM 进程，...