- 博客(45)
- 收藏
- 关注
RSS订阅原创 hive参数
hive.exec.max.created.files•说明：所有hive运行的map与reduce任务可以产生的文件的和•默认值:100000hive.exec.dynamic.partition•说明：是否为自动分区•默认值：falsehive.mapred.reduce.tasks.speculative.execution•说明：是否打开推测执行•默认值：truehive.input.format•说明：Hive默认的input format•默认值： org.apache.h
2021-02-11 12:10:04
154
原创 Centos 7安装Ftp和Gitlab服务器
**Centos7 安装 Ftp服务器**1.yum install -y vsftpd2.启动服务并检查(1)Systemctl start vsftpd3.修改 /etc/vsftpd/vsftpd.conf(1)anonymous_enable=NO(不允许匿名登录)(2)userlist_deny=NO(与原有userlist_enable=YES 开启ftp登录用户白名单)(3)allow_writeable_chroot=YES(开启根目录写入权限)4.修改白名单 /etc/
2020-12-31 16:55:14
363
原创 pam.d是干什么的
PAM（Pluggable Authentication Modules）是由Sun提出的一种认证机制。它通过提供一些动态链接库和一套统一的API，将系统提供的服务和该服务的认证方式分开，使得系统管理员可以灵活地根据需要给不同的服务配置不同的认证方式而无需更改服务程序，同时也便于向系统中添加新的认证手段。PAM最初是集成在Solaris中，目前已移植到其它系统中，如Linux、SunOS、HP-UX 9.0等/etc/pam.d下的文件存放的各个命令的pam模块的配置，比如：查询某个程序具体使..
2020-12-25 09:32:18
6396
1
原创 Linux免密码切换到root用户
Linux（以Centos系统为例子）下进行用户切换的时候，使用su。一般如下：在这里插入代码片su username在这里插入代码片su - username第一种方式，切换用户后，还是使用以前登录用户的环境变量，有时候运行有些程序会出问题。第二种方式比较彻底，切换后，用户的环境变量也跟着变化，切换后就是当前用户的环境变量。以上两点需要注意下。我们切换到root用户的时候，直接使用su 或者su -，但是有个问题是，需要输入密码。这样比较麻烦。我们可以让某个用户无密码登录到root用户，需要
2020-12-25 09:17:47
1263
1
原创 mybati与jdbc
1Mybatis入门1.1单独使用jdbc编程问题总结1.1.1 jdbc程序Public static voidmain(String[] args) {Connection connection =null;PreparedStatement preparedStatement =null;ResultSet resultSet =null;...
2020-12-08 15:10:38
143
原创 Spark去掉文本文件首行表头
方法一： 12 val header = rdd.first()rdd2 = rdd.filter(_ != header) 方法二： 12 //不知道首行是否永远在Partition 0？val rdd2 = rdd.mapPartitionsWithIndex{ (idx, iter) => if (idx == 0) iter.drop(1) else iter } ...
2020-12-01 15:06:15
2113
1
原创 try、catch、finally语句用法
1 try、catch、finally语句中，如果只有try语句有return返回值，此后在catch、finally中对变量做任何的修改，都不影响try中return的返回值。2、try、catch中有返回值，而try中抛出的异常恰好与catch中的异常匹配，则返回catch中的return值。3 如果finally块中有return 语句，则返回try或catch中的返回语句忽略。4 如果finally块中抛出异常，则整个try、catch、finally块中抛出异常.并且没有返回值。...
2020-09-28 14:36:23
379
原创 spark基础知识学习
文章目录1.RDD-弹性分布式数据集-弹性*存储*计算和容错*分区-分布式 不同分区中的数据会分配给集群中的不同服务器节点进行计算-数据集 和集合不一样，没有存放数据，存的是计算逻辑2.RDD的五个特性-一组分区 getPartitions-分区计算函数 compute-RDD之间的依赖 getDependence-分区器Partitioner（对于KV类型的RDD）-数据存储优先位置 getPreferedLocation3.RDD创建的方式-通过内存
2020-09-24 15:21:18
179
原创 多线程小案例
package com.njbdqn;import jdk.management.resource.internal.inst.InitInstrumentation;import java.util.concurrent.Callable;import java.util.concurrent.ExecutionException;import java.util.concurrent.ExecutorService;import java.util.concurrent.Execut...
2020-09-13 08:23:47
2126
原创 Mysql基础
Mysql基础数据库的基本概念MySQL数据库软件安装卸载配置SQL数据库的基本概念1. 数据库的英文单词： DataBase 简称 ： DB2. 什么数据库？ * 用于存储和管理数据的仓库。3. 数据库的特点： 1. 持久化存储数据的。其实数据库就是一个文件系统 2. 方便存储和管理数据 3. 使用了统一的方式操作数据库 -- SQL4. 常见的数据库软件 * 参见《MySQL基础.pdf》MySQL数据库软件1. 安装 * 参见《MySQ
2020-09-05 23:17:34
3842
原创 MySQL多表&事务
MySQL多表&事务1. 多表查询2. 事务3. DCL多表查询：* 查询语法： select 列名列表 from 表名列表 where....* 准备sql # 创建部门表 CREATE TABLE dept( id INT PRIMARY KEY AUTO_INCREMENT, NAME VARCHAR(20) ); INSERT INTO dept (NAME) VALUES ('开发部'),('市场部'),('财务部'); # 创建员工表
2020-09-05 23:13:34
3622
原创 Mysql约束
Mysql约束DQL:查询语句1. 排序查询2. 聚合函数3. 分组查询4. 分页查询约束多表之间的关系范式数据库的备份和还原DQL:查询语句1. 排序查询 * 语法：order by 子句 * order by 排序字段1 排序方式1 ， 排序字段2 排序方式2... * 排序方式： * ASC：升序，默认的。 * DESC：降序。 * 注意： * 如果有多个排序条件，则当前边的条件值一样时，才会判断第二条件。2. 聚合函数：将一列数据作
2020-09-05 23:04:34
3205
原创 MapReduce 简介
1. MapReduce 介绍 MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思 想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。 Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆 分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。 Reduce负责“合”，即对map阶段的结果进行全局汇总。 MapReduce运行在yarn集群 1. ResourceManager 2
2020-08-30 01:44:17
6659
原创 hive内置函数大全
DOUBLE|round(DOUBLE a)|Returns the rounded BIGINT value of a.返回对a四舍五入的BIGINT值DOUBLE|round(DOUBLE a, INT d)|Returns a rounded to d decimal places.返回DOUBLE型d的保留n位小数的DOUBLW型的近似值DOUBLE|bround(DOUBLE a)|Returns the rounded BIGINT value of a using HALF_EVEN r.
2020-08-30 01:38:32
47567
原创 Hadoop01-入门&集群环境搭建
大数据概述 大数据: 就是对海量数据进行分析处理，得到一些有价值的信息，然后帮助企业做出判断和决策. 处理流程: 1:获取数据 2:处理数据 3:展示结果1：Hadoop介绍Hadoop是一个分布式系基础框架,它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理.它主要解决两个问题 大数据存储问题： HDFS 大数据计算问题：MapReduce问题一:
2020-08-19 19:23:08
60806
原创 Hadoop 02 核心介绍
HDFSHDFS（Hadoop Distributed File System） 是一个 Apache Software Foundation 项目, 是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储文件, 并且提供统一的访问接口, 像是访问一个普通文件系统一样使用分布式文件系统. HDFS 对数据文件的访问通过流的方式进行处理, 这意味着通过命令和 MapRedu.
2020-08-19 17:35:44
10301
原创 Nginx学习心得总结第一章
1.基本概念与Apache软件类似，Nginx（“engine x”）是一个开源的、支持高性能、高并发的WWW服务和代理服务软件。1.1 基本特性重要特性·可针对静态资源高速高并发访问及缓存。·可使用反向代理加速，并且可进行数据缓存。·具有较完善的负载均衡、节点健康检查和容错功能。·支持远程FastCGI服务的缓存加速。·支持FastCGI、Uwsgi、SCGI、and Memcached Servers的加速和缓存。·支持SSL、TLS、SNI。·具有模块化的架构：过滤器包括gzip压
2020-08-15 23:26:13
65316
1
原创 ELK架构设计
逻辑架构图部署架构图部署规划ELK部署第二章 部署ELK部署ES配置解析修改hostsvim /etc/hosts添加解析192.168.1.55 node55192.168.1.56 node56192.168.1.57 node57192.168.1.55 www.kun.com bbs.kun.com blog.kun.com192.168.1.56 www.peng.com bbs.peng.com blog.peng.com同步到其他服务器scp
2020-08-15 23:21:50
14541
1
原创 npm install安装失败install: `node install.js`处理方法
由于node下载第三方依赖包是从国外服务器下载，虽然没有被墙，但是下载的速度是非常的缓慢且有可能会出现异常。1使用阿里定制的cnpm命令行工具代替默认的npm，输入以下代码$ npm install -g cnpm --registry=https://registry.npm.taobao.org检测是否安装成功$ cnpm -v安装成功之后，以后安装依赖包的方式和npm的是一样的，只是npm的命令换成是cnpm就可以了我是这样就安装成功了，之前用的是下面这个失败了 哪个大佬能
2020-08-12 10:22:08
62488
原创 lucene学习心得归纳总结（超详细）
一、什么是全文检索1、数据的分类 1)结构化数据 格式固定、长度固定、数据类型固定。 例如数据库中的数据 2)非结构化数据 word文档、pdf文档、邮件、html、txt 格式不固定、长度不固定、数据类型不固定。2、数据的查询 1）结构化数据的查询 SQL语句，查询结构化数据的方法。简单、速度快。 2）非结构化数据的查询 从文本文件中找出包含spring单词的文件。 ...
2020-08-11 14:01:28
45111
原创 VMwaree服务器架设和部分基础命令
操作系统有哪些 windows-personal windows-server android ios macos lunix unix 系统对比windows VS lunix 安全性能 闭源/低 开源/高 操作方式 图形化界面+事件 命令行 应用场景 个人电脑 服务器 服务器系统 Windows Server Lunix Unix lunix 版本 redhat centos-7-64 debian ubuntu lu
2020-08-07 17:35:39
42756
原创 linux的概述
一、linux的目录结构二、切换目录命令cdcd app 切换到app目录cd.. 切换到上一层目录cd / 切换到系统根目录cd~ 切换到用户主目录cd - 切换到上一个所在目录三、列出文件列表ls(list)是一个非常有用的命令，用来显示当前目录下的内容。配合参数的使用，能以不同的方式显示目录内容。格式：ls[参数] [路径或文件名]常用：在linux中以 . 开头的文件都是隐藏的文件* ls* ls -a 显示所有文件或目录（包含隐藏的...
2020-08-07 15:21:20
755
原创 IDEA遇到项目包后面出现% classes，% lines covered有效解决方法
出现这种问题的原因：就是你点运行项目的时候，点错了按钮。不是run，也不是debug，而是那个 coverage解决方法：第一种（找到覆盖率的选项，删除）（第一种方法的快捷键）ctrl +alt +F6...
2020-07-31 12:23:24
59582
原创 Call to ‘this()‘ must be first statement in constructor body异常解决和原因分析
this()和super()为构造方法，作用是在JVM堆中构建出一个对象。因为避免多次创建对象，所以一个方法只能调用一次this()或super()。this()和super()的调用只能写在第一行，避免操作对象时对象还未构建成功。而且this()和super()不能同时出现。...
2020-07-30 17:38:44
66899
原创 idea已有类选择不到只能打全没法快速输入
有时已存在一个java类，但是IDEA提示没有找到，打了一个字母之后无法选择，只能自己打全解决方案这个是因为缓存的原因，清理缓存，重启即可，点击如下选项 File —> Invalidate Caches/Restart…...
2020-07-30 12:07:59
42788
原创 Address localhost:1099 is already in use解决方法
问题是端口被占了win+rcmd打开dos命令行输入netstat -ano | find "1099"找出占用端口的进程如图是10736然后关闭占用该端口的进程:taskkill -f -pid 10736然后重启tomcat就行了
2020-07-28 19:22:28
44208
原创 简单说明数据库设计的三大范式
第一范式：原子性第二范式：一张表只描述一件事（单表单事件）第三范式：表中所有非主键字段，必须直接依赖主键，不可以传递依赖数据结构：在数据库中大部分采用了平衡树的数据结构/hash功能：聚族索引（约束实现primarykey）唯一索引（uniquekey）普通索引组合索引全文索引操作索引：show int from TABLENAME;create index INDEX_NAME on TABLE_NAME(FIELDS…);dropindex IN...
2020-07-20 19:03:41
654
原创 深入了解Tomcat的流程和概念
Tomcat概念及原理Servlet(server applet 服务端小程序)是一种国际组织的协议、约定.Tomcat只是针对Servlet协议的规范做了封装，其他这样的软件还有jetty等.Tomcat 最重要的是两个组件是：Connector（连接器） 和 Container（容器/集装箱），Connector 组件是可以被替换，这样可以提供给服务器设计者更多的选择，因为这个组件是如此重要，不仅跟服务器的设计的本身，而且和不同的应用场景也十分相关，所以一个 Container 可以选择对应多
2020-07-16 20:07:26
624
原创 介绍几种导jar包的方法
两种打jar包的方法普通jar包1) project structure =>Artfacts => + 选择jar=>2) Builder => builder Artfacts => build/rebuild=> 在工程根目录下新增out目录中查看有xxx.jarmeavenjar包通过Mavenprojects =>package => 右键run=>在target根目录下有xxx-1.0.jar 配置maven的环境...
2020-07-16 19:01:17
942
原创 js基本属性
js:java scriptJs:基于对象，解释执行Java:面向对象，编译执行html引入js方式内部js:body的最后一行<script>...</script>外部js:<script src=”path”></script>控制台的输入输出console.log(内容)；js变量和数据类型①变量声明var varName; Let varName;②赋值的时候确定变量的类型（值类型决定变量的类型）；变
2020-07-06 00:17:30
932
原创 虚拟机中数据库操作
#数据库 database#按照数据结构来组织、存储和管理数据的仓库。#自定义：库>表>(表结构+表数据+索引(数据结构:查)+自定义函数+存储过程)#表结构：数据结构#存储引擎:innodb/事务transaction（lock/unlock:增删改）#系统函数:字符串函数，数学函数，日期函数，聚合函数，其他#自定义函数，存储过程的语法定义#系统库：mysql:user/操作记录 syslogins.../schema...#建库show databases; ...
2020-07-05 23:55:03
1673
原创 虚拟机下安装mysql
#----------tar jdk 安装------------#解压 jdk-8u111-linux-x64.tar.gztar -zxvf jdk-8u111-linux-x64.tar.gz -C ../bigdata#配置环境变量vi /etc/profile在done后添加export JAVAHOME=/opt/bigdata/jdk180export PATH=$JAVAHOME/bin:$PATHexport CLASSPATH=.:$JAVAHOME/lib/dt.ja
2020-07-05 23:30:41
969
原创 Mysql中的常用函数
length：获取字节个数（utf-8 一个汉字为3个字节，gbk为2个字节）concat：拼接字符串upper：将字母变成大写lower：将字母变成小写substr/substring：裁剪字符串instr：返回子串第一次出现的索引，如果没有则返回0trim：字符串去字符lpad：用指定字符实现左填充replace：替换round：四舍五入cell：向上取整floor：向下取整truncate：小数部分截断mod：取余now：返回日期＋时间cur
2020-07-05 23:19:36
705
原创 java程序基础调试方法
调试 功能：排错 错误类型：1异常:java 高级特性中会有一章Java异常2错误：运行结果和预期结果不一致操作步骤1根据经验判定代码出错范围2在可能出错的代码段的首航设置断点：单击行首，切换断点根据经验，如需在调试中跳段，在需要停顿的地方设置多个断点，否则默认为逐行调试3启动调试：debug4单步执行跳过：F6快捷键 跳入：F5 跳到下一个断点：F85观察三个区域，找到问题点控制台：如果单布执行代码行存在输出行为 ...
2020-06-22 00:00:15
1693
原创 css层叠样式表基础知识整理
CSS概念：Cacading Style Sheet 层叠样式表 动静分离（独立的js文件） 内容和表现分离（独立的css文件） HTML页面中嵌入CSS样式的方式行内样式 <tag style=””></tag>（不推荐使用）内部样式 <head>< style></ style></head>（也不推荐使用）外部样式 创建独立的css文件 xxx.css 与html页面同名<head>
2020-06-21 23:55:03
846
原创 HTML中的基础标签整理
HTML基础标签1HTML：HyperText Markup language 超文本标记语言2html语言编辑的文件：Xxx.html(网页：在浏览器中打开html文件）3项目模型①C/S Client/Server TCP/UTP 传递数据 有状态协议②B/S Browser/Server HTTP(S) 传递超文本 无状态协议4HTMLⅠ标签: 1自闭合<tad tag1=”val1”attr2 = “val2”.../>2对标签<tad tag1=”v
2020-06-21 23:49:39
694
原创 虚拟机linux刚安装完学习基础操作
设置别名hostanmectl set-hostanme xxxx查看别名hostname编辑IP配置文件vi /etc/sysconfig/network-scripts/ifcfg-enp0s3BOOTPROTO=staticONBOOT=yesIPADDR=192.168.XXX.XXX按esc退出编辑：wq！保存并强制退出：q！强制退出不保存重启网络服务systemctl restart network防火墙设置：systemctl status firew..
2020-06-21 22:31:52
832
原创 写一个方法来封装实现了Closeable接口的资源
写一个通用的方法来简化代码中实现了Closeable接口的资源 public static void close(Closeable...closes){ for(Closeable close:closes){ if(null!=close){ try{ close.close(); }catch (IOException e){
2020-06-11 17:25:13
856
原创 virtualbox安装虚拟机遇到内核错误kernel panic - not syncing
请下载最新版本6.1.8即可。 6.0的版本有问题
2020-06-01 19:52:52
5281
5
原创 什么是泛型
以前对object的应用进行向上类型转换或向下类型准换时某些强制类型转换的错误不会被编译器捕捉，而是在运行后出现异常，所以我们把类型明确的工作推迟到创建对象或调用方法的时候才去明确，把类型当作是参数一样传递。...
2020-06-01 00:39:48
568
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人