- 博客(15)
- 收藏
- 关注
RSS订阅
原创 hadoop概述（1.2）
目录一、Hadoop是什么二、三大论文三、hadoop三大发行版本四、hadoop的优势五、hadoop组成六、hdfs架构初步了解七、yarn架构八、MapReduce架构九、大数据生态圈 一、Hadoop是什么 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决，海量数据的存储和海量数据的分析计算问题。 二、三大论文 由google发布的3大论文，被hadoop使用，形...
2019-07-08 22:45:34
416
原创 大数据概述(1.1)
目录一、为什么要有大数据二、大数据的特点三、应用场景四、大致业务流程五、部门组织 一、为什么要有大数据 主要解决：海量数据的存储和分析计算 二、大数据的特点 大数据有4大特点，4V: 数据量大Volume：企业能达到EB（1024TP） 增长速度高速velocity 多样化variety：结构化（业务数据）和非结构化（网络日志，音视频、图片、地理位置信息） 低价值密度value：提纯是难题 三...
2019-07-08 22:38:13
347
原创 数据仓库和建模
代理键是由数据仓库处理过程中产生的、与业务本身无关的、唯一标识维度表中一条记录并充当维度表主键的列，也是描述维度表与事实表关系的纽带。在现实世界中，每一个操作型事件，基本都是发生在实体之间的，伴随着这种操作事件的发生，会产生可度量的值，而这个过程就产生了一个事实表，存储了每一个可度量的事件。订单表：（维度表主键）时间外建，用户外建，商品外键，（度量数据）下单数量、价格、（事件描述信息）状态、付款时间。事实表为订单表、子订单表，维度包括商品维度、用户维度、商家维度、区域维度、时间维度。
2019-07-04 18:11:36
2792
1
原创 加密算法与java实现和HTTPS原理简介
目录一、安全问题二、应用场景三、加密算法S1、签名、摘要算法MD5SHAMACS2、对称加密DES3DESAESS3、非对称加密RSAS4、数字签名S5、数字证书四、解决方案五、HTTPS的原理六、tomcat的设置七、参考文档和其他问题 一、安全问题 在我们的数据传输过程中有以下几个安全问题： Q1、中间人篡改过程中的数据，使得接收方接收到错误的数据 Q2、发送方发送数据，被中间人获取，窃取发送...
2019-02-22 17:49:49
1014
原创 Spring中的设计模式
一、设计原则 设计模式中有6个设计原则，23个设计模式。而这23个设计模式中都或多或少的遵循了这6个设计原则。 单一职责原则：类的功能要单一，不能写大而全的类。 单一接口原则：接口的功能应尽可能少。 开闭原则：对修改关闭，对扩展开放：框架和代码应该对修改是关闭的，对扩展是开放的。 里氏替换原则：子类替换父类的方式时，能够实现父类的方法，保证父类方法的功能性不被破坏 依赖倒置原则：抽象不能依赖细节，...
2018-12-21 18:12:58
1611
原创 mysql事务详解
一、mysql事务的特征acid 原子性（Atomicity）：一个事务的操作时原子性的，要么成功，要么事务中的都回滚、失败。 一致性（Consistency）：事务提交后，业务数据状态要是一致的，比如转账操作，不能只扣款不入账。 隔离性（Isolation）：事务之间的操作是隔离的，隔离又分为4个隔离级别 持久化(Durability)：提交事务后，数据要持久化。 二、隔离的4个级别和事务的问题...
2018-12-10 17:49:48
240
原创 mysql索引原理详解
一、什么是所有，为什么用索引 索引就和我们书的目录，字典的查找一样，帮助我们快速查找内容的一种数据结构。 MySQL官方对索引的定义：索引（Index）是帮助MySQL高效获取数据的数据结构。 索引的本质：索引是数据结构。 二、索引的原理，树的演化 Mysql默认使用b+tree索引。下面看下索引的演化。 1、 二叉排序树 优点：将数据顺序排列，二分法查找数据，时间复杂度O(logn) 缺点：如果...
2018-12-10 17:44:57
300
转载 Esxi上Linux虚拟机硬盘（LVM）扩容文档
Esxi上Linux虚拟机硬盘（LVM）扩容文档 1、环境 本文档主要是介绍如何在ESXi上扩容安装了Linux系统的虚拟机 操作环境 操作系统：Esxi 6.0.0 虚拟机操作系统：Linux version 3.10.0-327.3.1.el7.x86_64 (builder@kbuilder.dev.centos.org) (gcc version 4.8.3 20140911 (Red H...
2018-11-16 18:05:20
1509
原创 java并发（6）
一、为何会有并发问题 竞争条件：当多于2个程序访问试图读写同一个数据时，会因2个程序的执行顺序影响各自的执行结果，这样的情况叫做竞争条件。就叫有并发问题。 线程安全：当多个线程访问一个对象时，如果我们不需要额外的考虑这些线程在运行时的调度和交替，且不需要额外的同步机制，程序都能运行正确的结果，那么称对象是线程安全的 java内存模型和协议 内存模型 操作系统硬件的并发问题：多个处理器...
2018-09-17 19:01:23
222
原创 java内存调试工具(5)
jhat会分析一个dump文件，然后把结果发布到一个html服务器上，有一定的用途，html也是主要看histogram。jdk自带调试工具，在产线环境恶劣的情况下，比如内网隔离，传输信息困难，难以拿到本地调试，没有window环境，初步检查系统的情况下使用。也是监控内存，cpu，线程，类信息和参数的。jstack是比较有用的一个命令，查看线程的情况，包含锁，俗称javacore。是一个比较好用的工具，界面功能更强大，界面更友好。查看jvm的内存，cpu信息，线程，参数，类信息。有几个比较重要的信息。
2018-09-13 18:25:19
4241
1
原创 垃圾回收算法和垃圾收集器（4）
一、概述 问题： 垃圾回收回收什么（what） 垃圾什么时候回收（when） 怎么回收（how） 回收什么 我们java内存中有：java堆，java栈，方法区，直接内存 其中java栈是跟随线程生命周期的，所以不需要我们回收。 我们主要的回收目标：java堆、方法区、直接内存 方法区主要回收类和常量 什么时候回收 当对象没有引用的时候： 1、引用计数法：当对象被引...
2018-09-11 17:25:07
217
原创 一个对象的内存信息(3)
对象的创建 对象的序列化或者克隆都是调的new 查看类的信息是否在方法区中，并且已经加载、解析、初始化过 确定对象的内存大小，类的信息算出来 分配内存： 指针碰撞：适用规整的内存空间，直接执行后移 空闲列表：不规整的，需要维护空闲列表，分配，hotspot默认方式 为了减少竞争条件，每个线程都有一个TLAB，只有TLAB分配完了，才去堆中申请新的TLAB内存空间（启发：生成分布式ID的方式）...
2018-09-06 10:37:50
217
原创 java内存模型(2)
java和C++的不同之处，c++是由程序员自己管理内存的，申请和释放，java是由虚拟机帮忙做的这些事，java程序员不要关心内存的问题。 但是产线总是会出现一些内存溢出/内存泄漏的问题，这个时候只有了解其原理，才能有效的解决问题。 类加载子系统：java虚拟机把class字节码类加载到内存中，并初始化，具体加载过程后续章节中会讲到 java方法区： 参数： 堆内存 栈深度 垃...
2018-09-06 09:02:42
266
原创 java简介(1)
java简介 楼主最近在看《JVM高级特性与最佳实践》把一些重要的东西记录下，以便以后回顾，并且给大家做个参考参考。以后每日一更。 java是什么 java广义上包括：java程序设计语言、各个硬件平台的java虚拟机、class文件格式、javaAPI类库、第三方类库 JDK：java程序开发的最小环境。包括：java程序设计语言、java虚拟机、javaAPI类库 JRE：jav...
2018-09-04 19:21:03
205
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人