- 博客(56)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 MP01-MyBatisPlus插入和更新报错
问题描述"java.lang.AbstractMethodError: Method oracle/jdbc/driver/OracleResultSetImpl.getObject(Ljava/lang/String;Ljava/lang/Class;)Ljava/lang/Object; is abstract"解决办法 @ApiModelProperty(value = "更新时间") @TableField(value = "UPDATE_TIME",fill = Fie.
2021-05-14 10:59:44
452
原创 J01-Java开发问题-YAMLException
1、问题描述Caused by: org.yaml.snakeyaml.error.YAMLException: java.nio.charset.MalformedInputException: Input length = 22、解决办法
2021-04-28 15:49:05
302
原创 D04-Windows Docker 安装
Windows Docker 安装Docker 引擎使用的是 Linux 内核特性，所以我们需要在 Windows 上使用一个轻量级的虚拟机 (VM) 来运行 Docker。我们通过 Boot2Docker 来安装虚拟机和运行 Docker安装1、安装Boot2Docker最新版 Boot2Docker 下载地址： https://github.com/boot2docker/windows-installer/releases/latest目前最新版为v1.8.0, 下载地址为： https
2021-03-13 14:57:01
216
原创 D03-Centos Docker安装
Centos Docker安装Docker支持以下的CentOS版本：CentOS 7 (64-bit)CentOS 6.5 (64-bit) 或更高的版本前提条件目前，CentOS 仅发行版本中的内核支持 Docker。Docker 运行在 CentOS 7 上，要求系统为64位、系统内核版本为 3.10 以上。Docker 运行在 CentOS-6.5 或更高的版本的 CentOS 上，要求系统为64位、系统内核版本为 2.6.32-431 或者更高版本。使用 yum 安装（CentOS
2021-03-13 14:49:45
143
原创 D02-Ubuntu Docker安装
Ubuntu Docker安装Docker 支持以下的 Ubuntu 版本：Ubuntu Precise 12.04 (LTS)Ubuntu Trusty 14.04 (LTS)Ubuntu Wily 15.10其他更新的版本……前提条件Docker 要求 Ubuntu 系统的内核版本高于 3.10 ，查看本页面的前提条件来验证你的 Ubuntu 版本是否支持 Docker。通过 uname -r 命令查看你当前的内核版本$ uname -r使用脚本安装Docker1、获取最新版本的D
2021-03-13 14:43:20
148
原创 D01-Docker说明
Docker说明Docker 是一个开源的应用容器引擎，基于 Go 语言 并遵从Apache2.0协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口（类似 iPhone 的 app）,更重要的是容器性能开销极低。Docker应用场景Web 应用的自动化打包和发布。自动化测试和持续集成、发布。在服务型环境中部署和调整数据库或其他的后台应用。从头编译或
2021-03-13 14:42:28
159
原创 H02-Hadoop3.x
Hadoop 3.x2019年 Hadoop3.x 发布与Hadoop2.x比较Licensehadoop 2.x - Apache 2.0，开源Hadoop 3.x - Apache 2.0，开源支持的最低Java版本Hadoop 2.x - java的最低支持版本是java 7Hadoop 3.x - java的最低支持版本是java 8容错Hadoop 2.x - 可以通过复制（浪费空间）来处理容错。Hadoop 3.x - 可以通过Erasure编码处理容错。数据平衡Had
2020-06-30 22:48:35
245
原创 H01-Hadoop总体概述
Hadoop总体概述1Hadoop起源于Google的集群系统，Google的数据中心使用廉价的Linux PC机组成集群，在上面运行各种应用。即使是分布式的新手也可以迅速使用Google的基础设施。核心组件第一个是：GFS(Google FIle System),一个分布式文件系统，隐藏下层负载均衡，冗余复制等细节，对上层程序提供一个统一的文件系统API接口；第二个是MepReduce：Google发现大多数分布式运算可以抽象为MapReduce操作。Map是把输入Input分解成中间的Key/V
2020-06-30 22:47:42
677
原创 H06-HDFS读写流程
写操作文件A大小100M，client将A写入到HDFS上HDFS按照默认配置，HDFS分布在三个机架上Rack1，Rack2，Rack3写流程A. client将A按照64M分块。分成两块：block1、block2B. client向NameNode发送写数据请求，如图蓝色虚线①C.NameNode节点记录block信息。并返回可用DataNode，如粉色虚线②Block1: host2,host1,host3Block2: host7,host8,host4原理:NameNo
2020-06-10 21:27:05
348
原创 H05-HDFS常用命令
hdfs fshdfs dfs -helphdfs dfs -ls 查看文件列表hdfs dfs -lsr 递归查看hdfs dfs -mkdir /user/hadoop 创建目录hdfs dfs -put a.txt /user/hadoop/ 上传文件hdfs dfs -get /user/hadoop/a.txt / 下载文件hdfs dfs -cp src dst 复制文件hdfs dfs -mv src dst 移动文件hdfs dfs -cat /user/hadoop/a
2020-06-10 21:22:46
211
原创 H04-HDFS特点
HDFS优点高容错性数据自动保存多副本副本丢失后，自动恢复适合批处理移动的计算和操作数据位置暴露给计算框架适合大数据处理GB、TB、PB甚至更大百万规模以上的文件数量10K+节点可构建在廉价的机器上，通过副本提高可靠性提供了容错和恢复机制HDFS缺点低延迟数据访问毫秒级读取低延迟与高吞吐量小文件存取,占用NameNode内存空间寻址时间超过读取时间并发写入、文件随即修改一个文件同时只能由一个写入仅支持append追加，在尾部3. HDFS放款的posix的要求，可以
2020-06-10 21:19:57
272
原创 H03-HDFS介绍
HDFS(Hadoop Distributed File System)：Hadoop分布式文件系统。是根据google发表的论文翻版的，论文为GFS(Google File System)Google 文件系统。HDFS特点保存多副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。运行在廉价的机器上。适合大数据的处理。HDFS默认会将文件分割成block，128M为1个block。然后将block按键值对存储在HDFS上，并将键值对的映射存到内存中(namenode)。如果小文件太多..
2020-06-09 22:05:02
185
原创 M15-MongoDB Sharding原理与使用
MongoDB架构形态-SingleMongoDB架构形态-ReplicaSetMongoDB架构形态-ShardingMongoDB架构形态-演进Sharding原理数据分片分片规则Balance & SplitSharding架构Config Server: 最少三个节点以上,ReplicaSet部署模式，admin库在这里模式Shard:一般3三个及...
2020-04-16 19:11:24
303
1
原创 M14-MongoDB索引原理及使用
存储引擎network-Query Pan-Storage KV Interface-WiredTiger核心数据结构B-TreeMongoDB数据结构组织索引原理总结MongoDB索引类型单列索引Covered 查找的数据刚好是索引数值不需要其他字段Projection中不要的字段要屏蔽掉score:1 返回score_id:0 不返回 _id联合索引联合索...
2020-04-11 11:02:21
247
原创 M13-MongoDB数据库运维与容器化
Mongo部署考量网络-硬件-系统-版本数据库运维与架构数据库部署数据库升级和数据索引迁移数据库容灾方案、备份与恢复数据库安全数据库监控数据库高可用架构数据库海量数据架构数据库Doker容器化大规模集群整体考量文件系统复制分片集群日志设计硬件配置云端部署操作系统备份机制监控设计负载均衡部署流程设计物理架构安装MongoDB(Docker容器)集群架...
2020-04-10 13:18:16
265
原创 M12-MongoDB高可用集群架构
主从复制架构数据冗余、数据安全、复制是异步的一主一从，一主多从跨数据中心主从复制读写分离架构分散压力、主节点写入数据，从节点读取数据高可用集群特性单节点可以达到10W的并发高可用集群特性实战自动化故障转移：一主二从需要物理机隔离步骤启动节点1,2,3使用shell客户端连接节点1(主节点)初始化HA可复制集群添加节点2,3在主节点插入数据，观察从节点是否同步复制数据...
2020-04-10 13:15:51
187
原创 M11-MongoDB安全验证实战
MongoDB管理库mongodb验证和授权依赖于system.users 集合创建admin管理员用户命令在shell客户端输入命令创建use admindb.createUser({ user:'username', pwd:'password', roles:[ {role:"userAdminAnyDatabase",db:"admin"} ]})或者db....
2020-04-02 23:39:52
168
原创 M10-MongoDB数据库安全机制-理论
MongoDB安全威胁MongoDB数据库安全策略身份验证操作鉴权传输加密存储加密审计监控安全威胁模型与应对策略MongoDB安全体系MongoDB身份验证和授权MongoDB身份验证机制MongoDB-CR验证SCRAM验证SCRAM验证机制的优势SCRAM服务器保存数据X509验证机制Kerberos验证LDAP验证...
2020-04-02 23:36:48
219
原创 M09-MongoDB数据库监控与日志分析
MongoDB监控的意义检查数据库当前状态检查性能问题、以识别任何异常行为提供诊断数据以解决问题修复小问题、防止成长为更大的问题保存运行环境正常确报持续可用和成功数据监控日志数据，大数据预警优化现有系统架构MongoDB监控的指标磁盘使用率内存使用情况网络连接错误异常查询次数写入次数复制延迟复制集群状态Lock状态注意在架构上可以用mongodb存储日信息...
2020-03-29 16:46:46
723
原创 M08-MongoDB索引-性能分析与调优
数据库性能优化因素查询速度变慢，写入失败或超时硬盘速度：机械磁盘，固态SSD，IO瓶颈内存容量：网络连接：连接过多,网卡无法支撑更多的网络连接,千兆,高速高并发的写入索引算法：数据到达一亿或量很大，高并发的读写，可以在软件上读写分离，主从复制，主节点如果支持高并发的写，可以多部署几个从节点实现从节点的读分散文档建模：数据建模是否合理，是否合理添加了索引锁机制：数据的一致性、安全性，共...
2020-03-26 21:48:19
585
原创 M07-MongoDB数据库恢复
MongoDB数据库恢复基于快照文件的恢复基于Dump备份文件使用工具：mongorestore远程数据库恢复：mongorestore --host xxx.com --port 27017 dump-2020/mongorestore --oplogReplay 恢复带日志oplog的数据库没有恢复索引，要自己从新添加索引复制的文件可以直接修改配置文件数据存储路径或者复制回去...
2020-03-23 21:57:58
168
原创 M06-MongoDB数据库管理备份
MongoDB备份机制备份方式：磁盘阵列文件系统快照Filesystem Snapshots复制数据文件CPmongodump备份和mongorestore恢复工具mongoimport导入和mongoexport导出工具MongoDB Atlas云计算平台MongoDB Cloud ManagerOps Manager企业版收费第三方工具MongoDB的备份考量Mo...
2020-03-23 21:53:54
218
原创 M05-MongoDB数据库核心知识
MongoDB数据库架构MongoDB存储引擎存储引擎负责管理数据存储，包括内存和磁盘，解决数据的存储和磁盘的交互mongodb的存储引擎可以自由的替换，但是要符合mongoDB的APImongoDB官方支持的存储引擎WiredTiger是3.2之后默认使用的存储引擎：提高了更良好的锁并发机制，可以支持文档级别的锁MMAPv1是3.2之前的使用的存储引擎，在锁机制这一块儿不是太好...
2020-03-22 09:13:14
234
原创 M04-MongoDB数据库数据查询与聚合
input-查询过滤-清洗去重-聚合分组-outputMomgoDB条件查询添加测试数据db.users.insert({name:‘kiki’,age:18,city:‘BJ’})db.users.insert({name:‘jiji’,age:16,city:‘ZZ’})db.users.insert({name:‘lili’,age:17,city:‘KK’})db.users....
2020-03-21 12:24:09
284
原创 M03-MongoDB Shell连接及常用命令
进入：mongowindows启动：服务器启动.\mongod.exe --dbpath "C:\\MongoDB\data\db" --logpath "C:\\MongoDB\data\log\mongo.log"客户端启动.\mongo.exe --port 27017不需要创建库、表，可以直接使用`show dbsadmin 0.000GBconfig 0.0...
2020-03-11 20:48:35
269
原创 M02-MongoDB下载安装
windows安装下载地址：https://www.mongodb.com/download-center/communityComplete-Next-Next不选 Install MongoDB compass(可视化的管理工具) 因为要连接MongoDB美国的服务器会出问题，网速比较快或有VPN的可以，不一定需要使用。可先不安装，如果要安装可以后面再安装。查看安装路径：进入安装目录...
2020-03-11 20:45:14
187
原创 M01-MongoDB入门
目前最流行的NoSQL数据库是一个基于分布式文件存储系统的数据库，由C++语言编写，特点是高性能、易部署、易使用、存储数据非常方便，旨在为web应用提供可扩展的高性能数据存储解决方案。最新版本为4MongoDB优点：自动分片存储、便于横向扩展、灵活的数据模型、高性能高并发、集成内存缓存、支持分布式查询SQL和MongoDB对应术语multi-document transactions...
2020-03-07 00:14:24
243
原创 028-python面向对象-定义属性-封装性
封装通常是对成员变量（实例变量和类变量）进行的封装。在严格意义上的面向对象设计中，一个类是不应该有公有的实例成员变量的，这些实例成员变量应该被设计为私有的，然后通过共有的setter和getter访问器访问。class Animal(object): """定义动物类""" def __init__(self, age, sex=1, weight=0.0): ...
2020-02-29 20:56:57
238
原创 027-python面向对象-私有方法-封装性
私有方法和私有变量的封装是类似的，只要在方法前面加上“__”就是私有方法了。class Animal(object): """定义动物类""" def __init__(self, age, sex=1, weight=0.0): self.age = age self.sex = sex self.__weight = weig...
2020-02-06 15:52:27
163
原创 026-python面向对象-私有变量-封装性
封装性是面向对象是三大特征之一，python语言没有与封装性相关的关键字，它通过特定是名称实现对变量和方法的封装。私有变量默认情况下python中的变量的公有的，可以在类的外部访问他们。如果想让它们成为私有变量，可以在变量前加上双下划线“__”class Animal(object): """定义动物类""" def __init__(self, age, sex=1, w...
2020-02-06 15:22:39
209
原创 025-python面向对象编程-静态方法
如果定义的方法既不想与实例绑定，也不想与类绑定，只是想把类作为它的命名空间，那么可以定义静态方法。class Account(object): """定义银行账户类""" rate = 0.045 def __init__(self, owner, amount): self.owner = owner # 定义实例变量 s...
2020-01-23 14:28:20
231
原创 024-python面向对象编程-类方法
类方法 和 类变量 类似属于类，不属于个体实例的方法，类方法不需要与实例绑定，但是要与类绑定，定义时它的第一个参数不是self,而是类的type实例。type是描述python数据类型的类，python中所有数据类型都是type的一个实例。class Account(object): """定义银行账户类""" rate = 0.045 def __init__(s...
2020-01-23 14:27:38
255
原创 023-python面向对象编程-实例方法
实例方法和实例变量一样都是某个实例（或对象）个体特有的方法是在类中定义的函数。而定义实例方法时它的第一个参数也应该是self,这个过程是将当前实例与改该方法绑定起来，使该方法称为实例方法。class Animal(object): """定义动物类""" def __init__(self, age, sex=1, weight=0.0): self.age ...
2020-01-22 10:02:55
221
原创 022-python面向对象编程-构造方法
__init__()方法用来创建和初始化实例变量，这种方法称为 构造方法__init__()方法也属于魔法方法，定义时它的第一个参数应该是self,其后的参数才是用来初始化实例变量的。调用构造方法时不需要传入self.class Animal(object): """定义动物类""" def __init__(self, age, sex=1, weight=0.0): ...
2020-01-22 10:01:59
535
原创 021-python面向对象编程-实例变量
在类体中可以包含类的成员，其中包含成员变量，成员方法和属性成员变量又分为实例变量和类变量成员方法又分为实例方法、类方法和静态方法 - 成员变量(attribute) ：实例变量、类变量类成员 - 属性（property） - 成员方法 : 实例方法、类方法、静态方法成员变量是类中保存数据的变量，如果需要对attribute进行封装，那么...
2020-01-22 10:01:11
421
原创 A01-自动化运维ansible-基础介绍
运维自动化发展历程及应用Ansible使用命令(类似于linux命令)Ansible常用模块详解YAML语法简介Ansible playbook基础Playbook变量、tags、handlers使用Playbook模板templatesPlaybook条件判断whenPlaybook字典with_itemsAnsible Roles运维制动化发展历程以及技术应用本地部署...
2020-01-21 10:59:01
232
原创 020-python面向对象编程-类和对象
面向对象是python最重要的特性，在python中一切数据类型都是面向对象的。面向对象的编程思想是，按照真实世界客观事物的自然规律进行分析，客观世界中存在什么样的实体，构建的软件系统就存在什么样的实体。类，实体，属性，对象，面向对象编程object oriented programming,OOP面试对象的三个基本特殊:封装、继承、多态封装封装能够使外部访问者不能随意存取对象的内部数据...
2020-01-20 22:09:49
182
原创 019-python函数式编程-三大基础函数
函数式编程的本质是通过函数处理数据，过滤、映射和聚合是处理数据的三大基本操作。这三种操作python对应的基本函数：filter()，map()，reduce()filter()过滤操作使用filter() 函数，它可以对可迭代对象的元素进行过滤filter(function, iterable)其中参数 function 是一个函数，参数iterable是可迭代对象。filter函数调...
2020-01-11 17:14:22
170
原创 018-python函数式编程-Lambda表达式
Lambda表达式本质上是一种匿名函数，匿名函数也是函数，也函数类型，也可以创建函数对象。定义：lambda 参数列表：lambda体lambda 是关键字声明，这个一个lambda表达式，“参数列表” 与函数的参数列表是一样的，但不需要小括号括起来，冒号后面的 Lambda体 ，Lambda表达式的主要代码在此处编写，类似于函数体。lambda体部分不能是一个代码块，不能包含多条语句，只能...
2020-01-11 00:31:39
207
原创 017-python函数式编程-函数类型
函数式编程functional programming 与面向对象编程一样都是一种编程范式，函数式编程也称为面向对象编程。python并不是彻底的函数式编程语言，但是还是提供了一些函数式编程必备的技术，主要有函数类型和lambda表达式，它们是实现函数式编程的基础。函数类型python提供了一种函数类型function,任何一个函数都有函数类型，函数在调用时，就创建了函数类型实例，即函数对象...
2020-01-10 23:48:15
177
百度palo安装配置
2018-03-23
db2,mysql,berby,oracle,postgresql,sqlserver,sybase数据库驱动jar包
2018-08-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人