- 博客(88)
- 资源 (14)
- 收藏
- 关注

原创 Hive学习(一)大数据基础知识介绍
目录HadoopHDFS(Hadoop Distribute File System)MapReduceYarnSpark该系列文档是由学习 尚硅谷大数据课程之Hive 整理而来。若有不足之处,烦请批评指正!HadoopApache基金会所开发的分布式系统基础框架用于解决 海量数据的存储和分析 问题Hadoop生态圈:Hive、HBase、HDFS、Zook...
2019-12-21 17:41:09
332

原创 MySQL编程 基础篇(一)EXPLAIN + SQL编程 + 数据类型
目录explain执行计划字段说明select_typetype:Join TypesExtra Informationsql编程数据类型explain执行计划数据库版本:SELECT VERSION() 5.7.18-log官网:https://dev.mysql.com/doc/refman/5.7/en/explain-output.html字...
2019-11-28 17:19:41
353

原创 InnoDB存储引擎(一)MySQL体系结构和存储引擎
最近在学习MySQL技术内幕 InnoDB存储引擎 第2版,整理了一些文档分享出来,同时也方便以后查看。若有不当之处,烦请批评指正。有关内容地址如下:InnoDB存储引擎(二)InnoDB存储引擎InnoDB存储引擎(三)文件InnoDB存储引擎(四)表InnoDB存储引擎(五)索引与算法InnoDB存储引擎(六)锁InnoDB存储引擎(七)事务InnoDB存储...
2019-09-12 16:57:41
401

原创 Redis 入门指南(一)5大数据类型
最近在学《Redis入门指南 (第2版)》,我个人平时也比较喜欢整理技术文档,接下来就把我学习 Redis入门指南 做的记录分享出来,以便以后查看和回顾。有错误的地方,还望大家批评指正,谢谢。 pdf文档链接:https://pan.baidu.com/s/1SxThSMvsEofs7HNNkntlRQ 提取码:9fz1 Redis...
2019-04-26 17:51:55
738

原创 牛客 - Java专项练习题知识点整理(一)
目录■ 类之间的关系■ 初始化局部变量和全局变量■ new URL()时必须捕获检查异常■ Application、Applet和Servlet■ ConcurrentHashMap■ Arrays.asList()■ Math.cos为计算弧度的余弦值,Math.toRadians函数将角度转换为弧度■ request.getParameter获取内容的编码格式...
2019-02-21 17:53:53
721

原创 Java 面试题整理(一)
目录■抽象类和接口的区别■什么时候使用抽象类,什么时候使用接口■八大基本数据类型,所占字节数■List、Set、Map的区别■什么情况下使用List、Map、Set?■ArrayList和LinkedList■LinckedList底层■ArrayList底层■Io有哪些流,字节流和字符流的区别■...
2018-09-09 13:17:45
2921
1

原创 MyBatis+Spring+SpringMVC框架面试题整理(一)
目录■SpringMVC 的工作原理■谈谈你对SpringMVC的理解■SpringMVC 常用注解都有哪些?■Spring 的常用注解■如何开启注解处理器和适配器?■如何解决 get 和 post 乱码问题?■谈谈你对 Spring 的理解■Spring 中的设计模式(解释)■简...
2018-09-06 13:36:01
43940
7

原创 web面试题整理
目录■谈谈你对http协议的理解,http 常见的状态码有哪些■GET 和 POST 的区别■http 中重定向和请求转发的区别■Cookie 和 Session 区别■什么是 jsp,什么是 Servlet?jsp 和 Servlet 有什么区别?■jsp 有哪些域对象和内置对象及他们的作用■过滤器和监听器是什么,有什么用■谈谈你对 ajax...
2018-09-05 09:00:28
7673
原创 解决 ShedLock 一个任务在多个节点上执行的问题
集成时需要注意配置类不要实现 SchedulingConfigurer 并实现 configureTasks 并设置 taskRegistrar.setScheduler(taskExecutor()); 如果手动进行了设置,会使用手动设置的调度器,就无法使用 ShedLock 配置的经过 AOP 增强的 TaskScheduler 了执行了红框的代码就无法进入下面蓝框的 if 代码块了建议定时任务就进行下图这种配置,即根据应用隔离锁,然后指定一个定时任务线程池,因为不设置的话默认会创建一个单线
2022-01-06 14:04:18
515
原创 系统架构师(二)案例题
(一)软件质量属性性能:系统响应能力,即要经过多长时间才能对某个事件做出响应,或者在某段时间内系统所能处理事件的个数 查询过程中涉及到的桥梁与公路的实时状态视频传输必须保证画面具有1024x768的分辨率,40帧/秒的速率; 可用性:系统能够正常运行的时间比例 可靠性:软件系统在应用或错误面前,在意外或者错误使用的情况下维持软件系统功能特性的基本能力 健壮性:在处理或环境中,系统能够承受压力或变更的能力 安全性:系统向合法用户提供服务的同时能够阻止非授权用户使用的企图或拒绝服务的能力..
2021-12-31 16:17:20
11653
原创 系统架构师(一)选择题
梳理了备战系统架构师的笔记,可惜成都21年的考试由于疫情取消了,明年一起加油呀!!! 测试类型 目标 依据 单元测试 对单个可运行模块测试 软件详细设计说明书 集成测试 模块之间 概要设计文档 系统测试 完整的可运行系统 用户需求或开发合同 .
2021-12-31 16:08:42
2820
原创 软件设计师(九)汇总-应用题
数据流解题技巧1.补充和完善数据流平衡原则:父图和子图的输入/输出数据流一致 每个加工至少有一个输入流和一个输出流,反应此加工的数据来源和结果,加工的输出数据流应该都有其对应的输入数据流 遗漏的数据流:依据说明,如缺失某个一个加工的数据来源【成绩单的输入需要有学生基本信息和成绩列表】2.找出错误或多余的数据流参考完善数据流,上层图和下层图对照分析,然后检查是否每个加工至少有一个输入流和一个输出流,是否加工的输出数据流都有其对应的输入数据流3.找出多余的文件在某层数据流图中,只画
2021-12-31 15:14:53
2088
原创 软件设计师(八)汇总-选择题
1.数据三级模式结构:外模式/概念模式映射,概念模式/内模式映射2.关系代数表达式:3.文法:答案:((fac, bb), g)解答:S->M,S->(S,M),M->P,M->MP,P->a|b|c|...|x|y|z,逐步替换即可4.UML中有多种类型的图,其中,(用例图)对系统的使用方式进行分类,(类图)显示了类及其相互作用关系,(活动图)显示人或对象的活动,其方式类似于流程图,通信图显示在某种情况下对象之间发生的消息,(顺序图)与通信图类
2021-12-31 15:12:10
2091
原创 软件设计师(七)标准化和软件知识产权基础+编译过程
标准化和软件知识产权基础1.标准:对重复性事务和概念所做的统一规定2.标准化对象:标准化的具体对象(需要指定标准的具体事务);标准化的总体对象(各种具体对象的全体所构成的整体)3.标准化活动过程:标准的制定,标准的实施,标准的更新4.标准的分类:根据适用范围(国际标准,国家标准,区域标准,行业标准,企业标准,项目规范);根据标准的性质(技术标准,管理标准,工作标准);根据标准化的对象和作用(基础标准,产品标准,方法标准,安全标准,卫生标准,环境保护标准,服务标准);根据法律的
2021-12-31 15:06:13
595
原创 软件设计师(六)算法设计与分析+面向对象技术
算法设计与分析1.算法的特性:有穷性,确定性,可行性,输入,输出2.算法的表示方法:自然语言,流程图,程序设计语言,伪代码3.递归算法求时间复杂度:展开法(将等式依次展开);代换法(用所猜测的值代替函数的解)4.分治法(将一个难以直接解决的大问题分解成一些规模较小的小问题各个击破):分解,求解,合并5.动态规划法(将待求解问题分解成若干子问题分别求解,再根据子问题的解得到原问题的解;分解得到的子问题往往不是独立的):找出最优解性质并刻画其结构特性;递归【不一定是递归,for循环也可以】地
2021-12-31 15:04:26
1908
原创 软件设计师(五)数据库技术基础+数据结构
数据库技术基础1.数据库系统:数据库,硬件,软件,人员2.DBMS(数据库管理系统)的功能:数据定义,数据库操作,数据库运行管理,数据组织、存储和管理,数据库的建立和维护,与其他软件系统的通信功能等3.DBMS 的特征:数据结构化且统一管理,有较高的数据独立性,数据控制功能(数据库的安全性保护、数据的完整性、并发控制、故障恢复)4.DBMS 分类:关系数据库系统(实体间的联系用关系表示)面向对象的数据库系统(以对象形式对数据建模)对象关系数据库系统(在关系数据模型基础上提供处理新
2021-12-31 15:00:27
2659
原创 软件设计师(四)网络基础知识+多媒体基础知识
网络基础知识1.计算机网络(计算机技术+通信技术)的发展:具有通信功能的单机系统->具有通信功能的多机系统->以共享资源为目的的计算机网络->以局域网及因特网为支撑环境的分布式计算机系统2.计算机网络的功能:数据通信,资源共享,负载均衡,高可靠性3.计算机网络的分类:局域网(LAN:10m~1000m),城域网(MAN:10km),广域网(WAN:100km 以上)WIFI,传输距离在100-300M,速率可达300Mbps,功耗10-50mA;Zigbee,传输距
2021-12-31 14:52:52
3370
原创 软件设计师(三)系统开发和运行知识
1.软件工程:指应用计算机科学、数学及管理科学等原理,以工程化的原则和方法来解决软件工程的问题。其目的是提高软件生产率,提高软件质量,降低软件成本。基本要素包含方法,工具和过程2.软件生存周期:可行性分析与项目开发计划、需求分析、概要设计、详细设计、编码、测试、维护3.软件生存周期模型:瀑布模型(按顺序阶段性开发,不适应用户需求的变化)演化模型(先构造一个初始版本再不断改进)螺旋模型(制定计划、风险分析、实施工程、用户评估),只有螺旋模型会考虑风险因素喷泉模型(重视用户需求,允许各步
2021-12-31 14:49:14
3433
原创 软件设计师(二)程序语言基础知识+操作系统知识
程序语言基础知识1.编程语言之间的翻译形式:汇编,解释,编译。2.程序设计语言的定义:语法,语义,语用。3.程序语言的分类:命令式程序设计语言:FORTRAN,PASCAL,C 语言;面向对象的程序设计语言(C++,JAVA,smaltalk);函数式程序设计语言(LISP);逻辑型程序设计语言(PROLOG)。4.程序语言的基本成分:数据,运算,控制,传输。5.汇编语言源程序:指令语句,伪指令语句,宏指令语句。6.汇编程序:将汇编语言所编写的源程序翻译成机器指令程序
2021-12-31 14:43:48
2266
原创 软件设计师(一)计算机系统基础知识
以下为备战软件设计师时梳理的知识点,目前已上岸,希望对你们有帮助。1.CPU 的功能:程序控制、操作控制、时间控制、数据处理2.计算机系统组成示意图:常用来为ALU执行算数逻辑运算提供数据并暂存运算结果的寄存器是:累加寄存器累加寄存器是一个数据寄存器,在运行过程中暂时存放被操作数和中间操作结果,累加器不能用于长时间地存放一个数据属于CPU中算数逻辑单元的部件是:加法器程序计数器用来存放指令的地址;程序状态寄存器用于记录运算中产生的标志信息,典型的标志位有进位标志位、零标志
2021-12-29 17:46:19
597
原创 JSQLParser 解析 sql select 字段(含对别名的解析)
问大家一个问题:当拿到一个sql,想要获取其中的select字段,是否首先想到的是手写一个来获取查询字段,可是事实并没有想象的那么简单,设想 select 'a' from xx;select id as user_id from xx;select current_date gmt_create from xx;select case when .. from xx;select count(1...
2020-02-29 16:39:09
10913
1
原创 阿里云函数计算 使用Python开发一个基于WSGI的HTTP触发器 (实战)
废话不多说,直接上干货。文章大纲:1. 需求背景2. 技术选型3. 代码开发4. 部署项目到阿里云1.需求背景大致想实现一个 端口-手机号 配置的功能,并且可以接收到指定手机发来的短信,将消息过滤后转发至钉钉群。ps:该项目仅是服务端,另一端是Android,Android配置硬件实现端口切换【一个端口对应一张手机卡,共16个端口】,使手机使用某张卡,随后将收到的...
2020-02-21 16:13:35
1638
原创 MySQL 5.6 Keywords and Reserved Words(关键字和保留词)
MySQL 5.6 Keywords and Reserved Words(关键字和保留词)整理,拿走不谢。官方链接ACCESSIBLE,ACTION,ADD,AFTER,AGAINST,AGGREGATE,ALGORITHM,ALL,ALTER,ANALYSE,ANALYZE,AND,ANY,AS,ASC,ASCII,ASENSITIVE,AT,AUTHORS,AUTOEXTEND...
2020-02-20 10:16:36
791
原创 Hive学习(九)企业级调优
Fecth抓取Fetch 抓取是指,Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例如:SELECT * FROM employees; 在这种情况下,Hive 可以简单地读取 employees 对应的存储目录下的文件,然后输出查询结果到控制台。 在 hive-default.xml.template 文件中 hive.fetch.task.conversion 默...
2020-01-06 16:39:41
454
原创 Hive学习(八)函数
内置函数 show functions desc function upper desc function extended upper(详细) 自定义函数 UDF(user-defiened fuction) UDF 一进一出 UDAF 聚集函数,多进一出 UDTF 一进多出 自定义函数步骤:1. 创建一个mave...
2020-01-06 16:30:43
353
原创 Hive学习(七)查询
LIKE和RLIKE LIKE:%,_ RLIKE:支持Java的正则表达式;例,查找部门号中含有2的部门 :select * from dept_part where deptno RLIKE '[2]'; 大多数情况下,Hive会对JOIN连接对象启动一个MapReduce任务如:FROM emp e JOIN dept d ON d.deptno = e.dep...
2020-01-06 16:20:25
401
原创 Hive学习(三)安装配置
目录安装部署Hive基本操作将本地文件导入hive查看在hive中输入的所有历史命令Hive常见属性配置数据仓库位置配置查询后信息显示配置运行日志信息配置配置参数方式官网地址:https://hive.apache.org/下载地址:https://www-eu.apache.org/dist/hive/官方wiki文档:https://cwiki....
2019-12-22 16:09:19
769
原创 Hive学习(二)入门
目录Hive是什么Hive的优缺点优点缺点Hive架构原理用户接口:Client元数据:MetastoreHadoop驱动器:DriverHive和数据库比较查询语言数据存储位置数据更新索引执行执行延迟可扩展性数据规模Hive是什么Hive是由 Facebook 开源用于解决海量结构化日志统计的数据仓库工具,可以将数据...
2019-12-21 17:34:35
205
原创 Hive学习(六)DML数据操作
目录数据导入装载数据(Load)通过查询语句向表中插入数据(Insert)查询语句中创建表并加载数据(As Select)数据导出清除表中数据数据导入装载数据(Load)语法:load data [local] inpath 'file_path' [overwrite] into table tb_name [partition(partcol1=val...
2019-12-20 17:39:27
331
原创 Hive学习(四)数据类型
目录基本数据类型集合数据类型类型转换基本数据类型Hive数据类型 Java数据类型 长度 例子 TINYINT byte 1byte 有符号整数 20 SMALINT short 2byte 有符号整数 20 INT int 4byte 有符号整数 20 BIGINT long ...
2019-12-20 16:50:31
131
原创 Hive学习(五)DDL数据定义
目录数据库相关创建数据库查询数据库切换数据库修改数据库删除数据库表相关创建表管理表外部表管理表和外部表的相互转换分区表修改表删除表数据库相关创建数据库数据库在HDFS上的默认存储路径为:/user/hive/warehouse/*.dbcreate database if not exists icydate;也可以在创...
2019-12-20 15:14:09
552
原创 MySQL编程 优化篇(七) 优化MySQL Server
目录MySQL体系结构概览内存管理及优化优化原则InnoDB优化策略调整参数来优化InnoDB的性能InnoDB doublewriteInnoDB log机制及优化InnoDB重做日志innodb_flush_log_at_trx_commitMySQL体系结构概览MySQL实例由一组后台线程、一些内存块和若干服务线程组成。在默认情况下,MySQL...
2019-12-18 17:28:11
1251
原创 MySQL编程 优化篇(六) 锁问题
目录MyISQM表锁InnoDB锁问题事务隔离级别InnoDB的行锁模式InnoDB行锁实现方式Next-Key锁恢复和复制的需要,对InnoDB锁机制的影响什么时候使用表锁关于死锁具体的可以查看我的另外一篇博客,下面只摘取部分介绍!表级锁:开销小,加锁快;不会出现死锁;锁定粒度大,发生锁冲突的概率最高,并发度最低。行级锁:开销大,加锁慢;会出现死锁...
2019-12-18 17:21:55
252
原创 MySQL编程 优化篇(五) 优化数据库对象
优化表的数据类型在MySQL中,可以使用函数PROCEDURE ANALYSE()对当前应用的表进行分析,该函数可以对数据表中列的数据类型提出优化建议,用户可以根据应用的实际情况酌情考虑是否实施优化。使用方法:mysql> mysql> select * from t PROCEDURE ANALYSE();+-------------+-----------+----...
2019-12-18 17:04:19
185
原创 MySQL编程 优化篇(四) SQL优化(ⅳ)常用SQL优化
目录大批量插入数据优化order by语句MySQL中有两种排序方式Filesort的优化优化group by语句优化嵌套查询优化分页查询巧用 Rand() 提取随机行数据库名、表名大小写问题大批量插入数据 因为InnoDB类型的表是按照主键的顺序保存的,所以将导入的数据按照主键的顺序排列,可以有效地提高导入数据的效率。 在导入前关闭唯...
2019-12-18 16:50:20
174
原创 MySQL编程 优化篇(三) SQL优化(ⅲ)两个常用的优化技巧
定期分析和检查表分析表的语法如下:ANALYZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] . .分析的结果将可以使得系统得到准确的统计信息,使得SQL能够生成正确的执行计划。在分析期间,会使用一个读取锁定对表进行锁定。案例:检查表的语法如下:CHECK TABLE tbl_name [, tbl_name...
2019-12-18 16:47:25
168
原创 MySQL编程 优化篇(二) SQL优化(ⅱ)索引问题
目录索引的分类能够使用索引的典型场景存在索引但不能使用索引的典型场景索引的分类 B-Tree索引:最常见的索引类型,大部分引擎都支持B树索引 HASH索引:只有Memory引擎支持,使用场景简单 R-Tree索引(空间索引):空间索引是MyISAM的一个特殊索引类型,主要用于地理空间数据类型,通常使用较少,不做特别介绍 Full-text(...
2019-12-18 16:45:07
135
原创 MySQL编程 优化篇(一) SQL优化(ⅰ)优化SQL的一般步骤
目录优化SQL的一般步骤通过show status命令了解各种SQL的执行频率定位执行效率较低的SQL语句show profile的使用优化SQL的一般步骤通过show status命令了解各种SQL的执行频率mysql> show status like 'Com_%';通常比较关心以下几个统计参数:参数 说明 Com_ select...
2019-12-18 16:42:39
156
原创 牛客 - Java专项练习题知识点整理(二)
目录■ char的编码■ ASCII编码■ join■ 什么是正则表达式的贪婪与非贪婪匹配■ 正则表达式■ Properties类■ Socket编程■ Scoket通信■ 线程调度算法是平台独立的■ Servelt线程安全问题■ tomcat容器是如何创建servlet类实例?用到了什么原理?■ Object类默认方法■ 线程间通信■ 保留...
2019-11-28 18:01:30
724
原创 MySQL编程 基础篇(二)SQL执行流程
对于查询处理,可将其分为逻辑查询处理及物理查询处理。逻辑查询处理表示执行查询应该产生什么样的结果,而物理查询代表MySQL数据库是如何得到该结果的。逻辑查询处理的顺序以及步骤的序号,每一步操作都会产生一个虚拟表,该虚拟表作为下一个处理的输入。这些虚拟表对用户是透明的,只有最后一步生成的虚拟表才会返回给用户,如果没有在查询中指定某一子句,则将跳过相应的步骤。 from,左表和右表...
2019-11-28 17:24:08
502
软件设计师笔记.pdf
2021-12-29
系统架构师备考知识点梳理
2021-11-03
MySQL技术内幕 SQL编程及优化.pdf
2019-12-18
MySQL技术内幕 InnoDB存储引擎.pdf
2019-12-18
《Redis入门指南 (第2版)》整理出的Redis教程
2019-05-05
springboot知识点整理
2019-03-20
Java8 新特性之lamdba表达式和Optional
2019-03-19
Java 基础面试题
2018-10-04
Web 常见面试题
2018-10-04
SSM 梳理 面试题整理
2018-10-04
SSM集成应用
2018-10-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人