- 博客(27)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Mysql索引、page、B+tree可存行数判断
有很多关于Mysql索引选择B+Tree的文章，就不做累述，这篇文章主要介绍关于B+Tree中可以保存大概多少列的索引信息，本文尽量基于官网介绍含出处。page个人理解：与linux中内存读取缓存一样，为了批量的缓存数据到内存中，设置的一个IO读取的最小单位值的符号。出处：https://dev.mysql.com/doc/refman/5.6/en/glossary.html#glos_page_sizeinnodb的page大小也就是缓存读取数据时的最小数据量，一般为16KB
2020-06-04 12:30:18
527
原创 hadoop报错：hadoop.security.AccessControlException: Permission denied: user=liyang, access=WRITE
hadoop在通过idea进行文件保存时， @Test public void putFile() throws Exception { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); FSDataOutp...
2019-10-09 15:34:11
958
原创 Hadoop的各个启动进程介绍
守护进程：NameNode，DataNode，ResourceManager，NodeManager，JournalNode，DFSZKFailoverController等备注：本文截图出自数据《Hadoop权威指南_第四版_中文版.pdf》和官网（地址：https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs...
2019-10-09 11:28:19
5946
原创 kafka安装与基础
本文属于实操本人亲测若有雷同，请包涵。先学习安装使用kafka，后续文章完善关于kafka的概念，便于加深对概念的理解使用kafka版本：kafka：kafka_2.11-2.3.0.tgz下载链接：链接：https://pan.baidu.com/s/1B7NV-kceEuTM55GV2gyT7Q提取码：u7ob前期准备：JDK：1.8（必须）Zooke...
2019-08-26 17:34:51
223
原创 java内存模型及运行时数据区
java中内存模型划分及Runtime Data Area（运行时数据区）在Java中我们常常说到的内存管理就是针对运行时数据区进行管理（如何分配和回收内存空间）。VM中的运行时数据区应该包括(1,2,3,4,5)。在JVM规范中虽然规定了程序在执行期间运行时数据区应该包括这几部分，但是至于具体如何实现并没有做出规定，不同的虚拟机厂商可以有不同的实现方式。1、程序计数器（Program ...
2019-07-01 11:38:39
258
原创 java的四大引用对象
总结： 强引用:StrongRefrence 例子：Object Obj = new Object() ;String str = "123" 用途：任何适合 特点：1、GC绝对不会回收，超出内存时报OOM(OutOfMemoryError)异常 弱引用 例子：Object obj = new Object();...
2019-06-27 11:41:14
598
原创 Hbase由于时间不一致导致regionserver节点启动失败
背景：hadoop的hdfs的各个进程启动正常（UI页面访问也正常），启动hbase时，hmaster进程正常启动，hregionserver节点启动失败，报错：（regionserver.HRegionServer: STOPPED: Unhandled: org.apache.hadoop.hbase.ClockOutOfSyncException: Server h102,16020,155...
2019-05-29 10:59:08
669
原创 git拉取远程分支分支名称含括号时的拉取
问题场景描述：git本地拉取远程分支 ，通过命令$>git branch -r 可以获取到远程分支名称，但是通过命令$>git checkout -b test(11) origin/test(11) 获取远程分支时无法拉取下来（报错：远程分支不存在）；通过同样的方式创建不含英文括号的（及:(11)）,远程分支可拉取成功。解决方案：$>git checkout -b test...
2019-04-19 17:40:30
3318
1
原创 hive删除表时报错，解决方案
报错： 1、查看hive使用的mysql连接的jar包，若为：mysql-connector-java-5.1.17.jar（没带bin的jar包），修改为mysql-connector-java-5.1.46-bin.jar（带bin的jar包之后），就可以正常删除了。备注：原因和使用的数据库版本有关系。 ...
2018-12-24 13:29:56
863
原创 Hive安装配置
前期准备：hive版本2.1.0 hadoop版本2.9.1(一般hadoop版本在2以上就支持hive2以上版本)提前hadoop环境配置好，主要是hadoop的hdfs环境（可以是伪分布式，也可以是完全分布式或是HA）hive2.1.0版本下载地址：链接：https://pan.baidu.com/s/1lRtth8mXNt4XVKMoy9eu4Q 提取码：g93d ...
2018-12-22 14:41:30
168
原创 linux 安装hadoop 的四大运行模式——HA高可用分布模式（版本2.9.1）
hadoop的HA高可用配置：hadoop的名称节点部署在不同的服务器上（简单理解），具体定义请自行查询备注：简述过程如果前面步骤按步骤进行，后续的步骤就不做详细解释准备：创建h105作为高可用的名称节点（namenode），一般会再建议一个数据节点（及配置4个数据节点，两个名称节点），但本文作为学习，就不做累述，请自行学习h105服务器的免登录要求与h101相同：1、可以免登录（...
2018-12-22 10:45:27
397
转载 Java中（静态）变量、（静态）代码块的执行顺序包含父类
1、parent类（父类）public class parent { public static int parentParamOne = 1; public static String parentParamTwo = "two1111"; static{ System.out.println("父类静态代码块开始执行"); Sy...
2018-12-21 11:43:53
338
原创 shell脚本使用crontab做定时执行
1、编写脚本：#!/bin/bashif [ ! -f "/home/hadoop/shell/crontab/test" ]; thenecho "test文件不存在"touch /home/hadoop/shell/crontab/testelseecho “删除test文件”rm -rf /home/hadoop/shell/crontab/testfi echo `...
2018-12-20 18:07:47
429
原创 python的第一个脚本
使用python语言制作脚本1、前期准备，查看本地python 是否安装 （若未安装请查看曾经博客内容）$>python -V (备注：注意"V"为大写，小写v进入python的命令界面）2、制作文件helloWord.py 内容如下：$>touch helloWorld (然后vi 进入编辑页面)#!/usr/bin/pythonprint 'he...
2018-12-19 18:03:28
138
原创 mysql关于数据库事务隔离级别测试（包含实例测试语句，及测试结果对比）
1、知识点；事务的四大特性 ACID ； 原子性(Atomic):事务是一个整体（无论在该事务中操作任何CRUD），要不全部执行，要不全部不执行。（数据库能够进行操作的最小的逻辑单元）一致性(Consistent):组成一个事务的操作是CRUD，要么全部成功，要么全部失败（类似原子性的后续补充）。隔离性(Insulation):事务之间的隔离（比如:AB两个事物，并发时，A事务在读...
2018-12-13 15:55:21
1057
原创 基于nodeJs的几种框架的介绍
**基于nodejs的框架大致常用的有以下几中： express(始祖) 、koa、loopback(strongLoop)等等一、expresss框架官网：http://expressjs.com/建议初学者看菜鸟：http://www.runoob.com/nodejs/nodejs-express-framework.htmlnodejs的web框架 （后台+前端）项...
2018-12-07 15:44:46
6692
翻译 nodejs的exprees框架搭建
前期准备请查看：菜鸟链接： http://www.runoob.com/nodejs/nodejs-express-framework.html包含:nodejs的安装 express的安装1、查看express版本备注：注意express的路径 必须在该文件下创建测试文件（不然会报错找不到express框架）2、上述文件内容 （firstexpress.j...
2018-12-07 15:14:36
587
原创 linux 安装hadoop 的四大运行模式——完全分布模式（版本2.9.1）
hadoop完全分布式模式：hadoop的守护线程在不同的服务器上（具体定义请自行查询）本机部署：实在前一篇文章伪分布式部署下进行操作的：伪分布部署链接：https://blog.youkuaiyun.com/weixin_39435629/article/details/84841252前期准备:本机使用虚拟机测试：故需要继续构建几台服务器，通过克隆的形式，（jdk无需配置，hadoop的基...
2018-12-07 14:42:20
353
原创 多台服务器文件分发脚本和命令执行脚本
背景：基于hadoop的分布式部署 （具体请看文章）,为了方便文件的分发与命令的执行，顾编制此脚本服务器配置四台：（h101 192.168.44.101）（h102 192.168.44.102）（h103 192.168.44.103）（h104 192.168.44.104）备注：h101可以ssh免密码登录进入 h102 h103 h104 .一、...
2018-12-07 13:33:31
2765
原创 centos7 固定hostname 和 ip地址
服务器使用centos71、固定hostname（服务器重启后不变）当前hostname为h101修改 /etc/hostname 文件内的h101 为 h102保存退出后：输入hostname：备注：需重启后生效（命令：$>hostname）2、固定ip查看当前ip为192.168.44.101 和 192.168.44.152（虚拟机...
2018-12-06 17:27:52
425
原创 hadoop构建伪分布式环境时，可能的出错处理 比如8088打不开
基于本人写的hadoop伪分布式环境搭建讲解：链接：https://blog.youkuaiyun.com/weixin_39435629/article/details/84841252查错常用命令汇总：$>jps (查看hadoop的启动进程)$>ps -ef | grep java (查看java中的进程）$>netstat -tnlp (查看启动运行的端口)...
2018-12-06 16:29:18
2722
5
原创 linux 安装hadoop 的四大运行模式——伪分布模式（版本2.9.1）
hadoop伪分布模式：hadoop的守护进程在同一台服务器上（具体定义请自行查询）前提：请在阅读《linux 安装hadoop 的四大运行模式——本地模式》的基础上进行阅读1、将本地模式的配置文件复制出来 建立软连接 ，便于后续方便使用运行命令：$>cp -r hadoop/ local (-r 代表文件的递归复制)删除hadoop文件 命令使用：$>...
2018-12-06 16:11:21
607
原创 centos7 设置SSH免登录
背景：在hadoop的伪分布式下启动时，需要多次输入当前用户的密码，为了方便hadoop的启动所以需要设置本地免登录（同时也适用于避免登录别的服务器（后续会介绍）） 1、查询是否安装SSH （该服务器叫h101）命令：$>yum list installed | grep ssh包括：openssh-server、openssh-clients、openssh 即可...
2018-12-06 13:45:15
964
原创 linux 安装hadoop 的四大运行模式——本地模式（版本2.9.1）
四大模式包括：1、本地模式（独立模式）：（无需任何守护进程，直接运行在JVM上，存储文件相当于服务器本地文件）2、伪分布模式(各个进程运行在hadoop的守护进程中，但并不是真正的分布式，因为都在一台机器上)3、完全分布式（各个进程运行在多个服务器上）4、HA高可用配置（两个名称节点共存（一个active、一个standby）高可用配置）备注: 1、hadoop的各个守护进...
2018-12-05 18:30:41
603
原创 Spring boot项目helloworld进一步了解（一）
本文内容梳理：1、tomcat端口号修改（方式两种）2、@SpringBootApplication进一步讲解3、banner改变4、配置文件讲解（propertiesh和yml）5、返回数据进一步讲解（集成freemarker（或直接jsp）、返回json修改与编码格式、过滤器实现）6、等等，进一步完善...
2018-05-19 16:04:05
364
原创 spring boot项目搭建helloworld（一）
备注：本文仅限快速启动spring boot项目（尤其初学者了解spring boot框架）结果展示：工具：编译器：myeclipse2014 JDK：jdk1.8（1.8以下也可以但不可低于1.5，但会在项目上报小感叹号（不影响运行））maven：maven-3.5.3（myeclipse自带maven也可以，但官网要求3.2或以上)spring boot版本：1.5.12 (建议学习阶段不要使...
2018-04-28 16:54:42
271
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人