- 博客(56)
- 收藏
- 关注
RSS订阅原创 基于WSL的Docker安装Superset
基于WSL的Docker安装Superset拉取镜像docker pull amancevice/superset创建容器并且启动主机名端口号自己指定，也可以指定端口映射，不顾哦这里我没有指定docker run --name="node05" --dns 8.8.8.8 -h "node05" --ip 172.20.0.5 amancevice/superset当完成这一步，superset已经可以跑起来了，可以通过 172.20.0.5:8088 查看到UI界面设置sup
2022-05-18 21:26:41
374
原创 Mysql导入sql语句报错 [ERR] 1418
原因用的8.0的mysql导入5.0之前的建表语句，然后报错。错误选定数据库运行建库脚本之后：[ERR] 1418 - This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA in its declaration and binary logging is enabled (you *might* want to use the less safe log_bin_trust_function_creators varia
2022-04-16 18:00:06
707
原创 ssh远程执行命令而找不到环境变量
问题Docker Ubuntu：我对应的java环境变量，在每台机器上都已经配置完成，并且每台机器上独自运行java命令没有问题。但是通过ssh远程调用命令就会出现问题，如下root@node02:/# ssh node02 jpsbash: jps: command not foundroot@node02:/# jps352 NameNode3969 Kafka1428 QuorumPeerMain452 DataNode759 NodeManager6253 Jps但是如果
2022-04-11 22:17:54
1884
原创 Ubuntu 20.04 安装 LZO
跑MR程序的时候，导入了lzo的jar包，但是由于本机没装依赖所以跑不出来。下载http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz解压并编译# 解压tar -xzvf lzo-2.10.tar.gz# 然后进入目录编译cd lzo-2.10./configure --enable-sharedmake && make install拷贝文件cp /usr/local/lib/*lzo*
2022-04-03 13:19:48
1427
原创 Mysql远程连接报错的坑
有关Mysql远程连接报错的坑服务未启动服务已经启动， 本机可登入，其他机器均不可在其他机器上可以ssh/ping通，但是telnet ip port失败有可能是配置文件的原因/etc/mysql/mysql.conf.d/mysqld.cnf# Instead of skip-networking the default is now to listen only on# localhost which is more compatible and is not less secur
2021-12-10 21:20:37
828
原创 Docker容器内不能使用Systemctl等命令的解决方法
有关Docker容器内不能使用Systemctl等命令的解决方法systemctl start mysqlSystem has not been booted with systemd as init system (PID 1). Can't operate解决方法使用service代替systemctlservice mysql start赋予特权并在init中启动docker run -it --privileged=true -h node02 --ip 172.18.0.
2021-12-10 21:18:06
7834
1
原创 win10主机无法与Docker容器通讯的坑
win10主机无法与Docker容器通讯的坑问题win10系统，上面装了个WSL（Ubuntu），在Ubuntu上装了个Docker。Docker容器运行后，发现Ubuntu可以与Docker通讯（ping），但是win10不可以与Docker通讯。解决配置路由思路是直接加一条路由，主机上发往Docker容器的请求直接发给Ubuntu，让Ubuntu传递。win10中以管理员身份打开cmdroute add 172.18.0.0 mask 255.255.0.0 172.17.162.23
2021-12-10 21:13:36
3666
1
原创 equal_range()的使用
equal_range()的使用1. 作用给出一段大区间和一个数字，返回这个大区间中的一个小区间，这个小区间中所有的元素值都为这个数字。前提： 大区间有序2. 参数说明pair<_ForwardIterator, _ForwardIterator>equal_range(_ForwardIterator __first, _ForwardIterator __last, const _Tp& __val) { // concept requirement
2021-07-17 09:25:59
515
原创 HA运行WC程序踩的坑
HA运行WC程序踩的坑报错信息root@node01:/opt/bigdata/hadoop-3.3.0/share/hadoop/mapreduce# hadoop jar hadoop-mapreduce-examples-3.3.0.jar wordcount /data/wc/input /data/wc/output2021-03-28 10:34:35,763 INFO client.ConfiguredRMFailoverProxyProvider: Failing over to rm
2021-03-28 10:56:19
645
原创 MapReduce调度原理
MapReduce调度原理简介Map:以一条记录为单位做映射(变换、过滤)Reduce:以一组为单位做计算(分解、缩小、归纳)Map就是把一坨数据一条条的分开映射成键值对（如下图左半部分）Reduce就是把Map处理后的具有相同的键的记录整合起来（如下图右半部分）并行度(map–>切片数量)(reduce–>手动决定)数据恢复Split/Block分隔符（以一条记录为单位）计算向数据移动：将数据处理逻辑发到不同的机器上，对应的机器“就地取材”，这样节省了大量成本计算框架
2021-03-06 19:24:40
741
原创 Docker常用命令
Docker 常用命令镜像显示镜像文件docker images-a 显示所有-q 只显示id--format 自定义显示格式| Placeholder | Description || --------------- | ---------------------------------------- || `.ID` | Image ID
2021-02-11 10:08:15
111
原创 Hadoop学习笔记-HDFS常用API
HDFS-APIMaven依赖<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>3.3.0</version> </dependency> <de
2021-02-07 23:38:22
292
原创 Hadoop搭建HA遇到的坑
Hadoop搭建HA遇到的坑重要报错信息Zookeeper日志Cannot open channel to 2 at election address node03/172.17.0.4:3888java.net.ConnectException: Connection refused (Connection refused)Hadoop日志2021-01-30 19:44:04,310 ERROR org.apache.hadoop.ha.NodeFencer: Unable to fe
2021-01-30 20:29:54
1046
原创 Trie 前缀树/字典树
Trie 前缀树/字典树何为前缀树简单来说，是一种存储字符串的数据结构。其灵魂思想可简述为不同字符串的相同字符复用。（前缀复用）正因如此，可以节省存储空间以及查询时间。构造前缀树插入一个字符串 XXXXXAB (其中5个X可以为任意字符) ，我们依次插入每一个字符，假定我们现在已经将前面五个 X 插入完毕，我们现在插入字符 A , 我们要先判断以前缀 XXXXX 开头的字符串中有没有第六位为 A 的字符串，如果有，则无需插入，否则在 XXXXX 的后面插入 A 。然后我们按照相同方法插入字符 B
2021-01-29 19:57:32
127
原创 Hadoop学习笔记 - HA验证
Hadoop学习笔记-HA验证集群规划HOSTNNNNJNNDNZKFCZKnode01***node02*****node03****node04**配置文件hdfs-site.xml由于是多个NameNode节点，所以不能单独直接配置NameNode对应的地址，相应的要配置一个映射集dfs.nameservices - the logical name for this new nam
2021-01-29 19:56:50
198
原创 Hadoop学习笔记 - HA
Hadoop学习笔记 - HAHA概述为了保证集群的稳定性，保证业务连续性（即集群中某些节点故障时，有对应的策略使得集群继续运行而不崩溃），于是有了HA模式（Highly Available 高可用性）。HA原理图NameNode存储元数据：其中的NN为NameNode，为了避免一个NN的压力过大，在1.x版本中可以设置NameNode和SecondaryNameNode，后面2.x 3.x版本可以支持多个NameNode，将元数据分布式存储。只能有一个NameNode处于Active状态
2021-01-29 19:56:13
112
原创 Java 反射
Java 反射正常的类加载过程当执行new xxx();语句时，JVM会被触发加载.class文件JVM从本地文件找到class文件并且加载到内存中JVM自动创建一个class对象 （一个类只产生一个class对象）将Java的二进制代码合并到JVM的运行状态之中验证： 确保类的信息符合JVM规范，没有安全问题准备： 正式为类变量分配内存并设置默认初始值（都在方法区进行分配）解析： 虚拟机常量池内的符号引用（常量名）替换为直接引用（地址）的过程初始化JAVA内存分析堆存
2021-01-29 19:55:44
135
原创 Hadoop学习笔记 -伪分布式
伪分布式ps：写在前面的话 这是个人的学习笔记，仅用于自己归纳，其中可能会有些莫名其妙的东西准备工作环境设置 IP 和 主机名关闭防火墙和 selinux设置 hosts 映射HadoopJAVA环境ssh免密登录ssh遇到的问题root账户无法连接：修改/etc/ssh/sshd_config文件将PermitRootLogin Prohibit-password 修改为：PermitRootLogin yes重启ssh服务免密登录：
2021-01-29 19:55:08
173
原创 SSH 连接报错总结
SSH连接报错总结服务未开启ssh: connect to host localhost port 22: Connection refused其中这个原因是因为没有开启ssh服务解决方法: 开启服务即可 (下面两种任选) service sshd start 或 systemctl start ssh sudo /etc/init.d/ssh start默认不允许远程使用Root登录Permission denied, please try again.当输入
2021-01-29 19:54:23
8170
原创 Hadoop学习笔记 - HDFS 概述
Hadoop存储模型文件线性按字节切割成块，具有offset，id文件和文件的块的大小可以不一样一个文件除了最后一个块，其他块的大小都一样块的大小应该一句硬件的 I/O 特性调整块被分散存放在集群的节点中，具有location块具有副本，没有主从概念，副本不可能出现在同一个节点副本是满足可靠性和性能的关键文件上传可以指定lock大小和副本数量，上传之后只能修改副本数量一次写入多次读取，不支持修改支持追加数据架构设计HDFS是一个主从 (Master/Slaves) 架构由一
2021-01-29 19:53:29
139
原创 解数独(Leetcode-37 / HDU-1426)/回溯/状态压缩
解数独(Leetcode-37 / HDU-1426)/回溯/状态压缩问题描述编写一个程序，通过填充空格来解决数独问题。一个数独的解法需遵循如下规则：数字 1-9 在每一行只能出现一次。数字 1-9 在每一列只能出现一次。数字 1-9 在每一个以粗实线分隔的 3x3 宫内只能出现一次。空白格用 ‘.’ 表示。一个数独。答案被标成红色。提示：给定的数独序列只包含数字 1-9 和字符 ‘.’ 。你可以假设给定的数独只有唯一解。给定数独永远是 9x9 形式的。DFS+回
2021-01-28 20:10:06
176
原创 MyBatis 多表关联查询
MyBatis 多表关联查询目录单表查询多表查询多对一一对多sql样例表结构表样例sql语句create table student( id int not null primary key, name varchar(20) null, tid int not null);create table teacher( id int not null primary key, name varchar(20) not nu
2021-01-28 20:08:57
303
原创 Java设计模式---工厂模式学习笔记
Java设计模式—单例模式学习笔记工厂模式简介简单的来说就是在新建一个实例的时候，不使用new而是直接用工厂创建，使用工厂直接返回一个实例。使用工厂方法将创建实例的工作封装起来，这样在调用的时候无需关心复杂的实例化问题(直接拿来用就可以了)三种工厂模式简单工厂模式工厂方法模式抽象工厂模式其中各有各的优缺点这里直接拿造车举例(PS:没有专业的画图工具，UML图可能画得不好)简单工厂模式UML类图规范ICar: 车的规范接口public interface ICar {
2021-01-28 20:08:01
503
原创 MyBatis入门
MyBatis简介MyBatis 本是apache的一个开源项目iBatis, 是一个基于Java的Dao框架。MyBatis 避免了几乎所有的 JDBC 代码和手动设置参数以及获取结果集。(JDBC仅是规范)MyBatis 使用简单的 XML或注解用于配置和原始映射，将java普通对象映射为数据库的记录。(ORM—Object Relational Mapping)创建样本表作准备创建数据库(mysql)create database test(id int,name varchar(
2021-01-28 20:07:20
126
原创 Java设计模式---单例模式学习笔记
单例模式简介单例模式就是采取一定的方法保证在整个软件系统中，对某个类只能存在一个对象实例，并且该类只提供一个取得其对象实例的方法。单例模式保证了系统的内存中该类只有一个对象，节省了系统资源，对于一些需要频繁创建销毁的对象，使用单例模式可以提高系统性能当实例化一个单例类的时候，要使用相应的getInstance方法而不是new一个新的单例模式的总体步骤:构造器私有化类的内部创建对象向外暴露一个静态的公共方法代码实现单例模式的8种方式饿汉式饿汉式(静态常量)饿汉式(静态
2021-01-28 20:06:34
90
原创 Servlet request常用方法
Servlet request常用方法方法名作用req.getRemoteAddr获取客户端IP地址req.getLocalAddr()获取服务器IP地址req.getRemoteHost获取客户端的主机名req.getRemotePort获取客户端的端口号req.getLocalPort获取服务器的端口号req.getLocalName获取服务器主机名req.getContextPath获取ContextPathreq.getS
2021-01-28 20:05:46
482
原创 maven中导入jdbc的坑
连接时报错:java.sql.SQLException: The server time zone value ‘xxx’ is unrecognized or represents more than one time zone.检查后发现是时区问题在url中添加参数即可解决
2021-01-28 20:04:44
271
原创 Servlet生命周期
Servlet 生命周期总述1. 调用init()方法 初始化Servlet对象2. 调用service()方法 处理用户请求3. 调用destory()方法 销毁Servlet对象,释放资源生命周期测试(IDEA内)创建新的project和module[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qcjzL1dB-1611835370680)(https://images.cnblogs.com/cnblogs_com/xun-/1744798/o
2021-01-28 20:03:15
83
原创 JQuery选择器
JQuery选择器基本选择器id选择:$("#id")类选择:$(".class")元素名选择:$(“元素名”)选择所有元素:$("*")以上选择可以叠加,中间用逗号隔开:$(“div,#one”) 选择所有div元素,然后从中选择id为one的元素层次选择器祖先 后代选择:$(“祖先A 后代B”) 选择以A为祖先 所有的B元素(A中的所有B)子元素选择$(“父A>子B”)
2021-01-28 18:44:26
85
原创 计蒜客 百度地图导航(Dijkstra&超级源点与超级汇点)
百度地图上有 n 个城市，城市编号依次为 1 到 n。地图中有若干个城市群，编号依次为 1 到 m。每个城市群包含一个或多个城市；每个城市可能属于多个城市群，也可能不属于任何城市群。地图中有两类道路。第一类道路是 城市之间的快速路，两个城市 u,v 之间增加一条距离为 c 的边；第二类道路是 城市群之间的高速路，连接两个城市群 a,b，通过这条高速路，城市群 a 里的每个城市与城市群 b 里的每...
2020-01-23 10:26:58
341
原创 判断图中环的个数+记录所有环(dfs)
链式前向星+dfs即可因为是无向图,稍作修改就可以用有向图了#include<bits/stdc++.h>//直接万能头了using namespace std;const int maxn = 1e6;struct node{ int to,next; }e[maxn]; //边集int cnt; //计数int nums = 0;int head[maxn],v...
2019-12-09 01:08:32
4212
6
原创 Floyd算法+点权+字典序最小路径
#include<iostream>#include<cstring>using namespace std;const int maxn = 110;const int inf = 0x3f3f3f3f;int val[maxn]; //点权int cost[maxn][maxn]; //路径的花费int lowcost[maxn][m...
2019-11-10 12:09:03
474
原创 Floyd算法 + 路径记录
#include<iostream>#include<cstring>using namespace std;const int maxn = 100;const int inf = 0x3f3f3f3f;int cost[maxn][maxn];int lowcost[maxn][maxn];int path[maxn][maxn];void floyd(...
2019-11-09 23:56:56
750
原创 Dijkstra(邻接表+优先队列+堆优化)
#include<iostream>#include<cstring>#include<vector>#include<queue>using namespace std; const int INF = 0x3f3f3f3f; //无穷大const int MAXN = 1000010; //最大的点数目struct qNode ...
2019-11-06 10:45:08
434
原创 邻接矩阵实现三元组
#include<iostream>#include<cstdio>using namespace std;const int N = 4,MaxSize = 100;typedef int ElemType;typedef struct{ int r; int c; ElemType d;}TupNode;typedef struct{ int r...
2019-11-06 09:18:33
1738
原创 Dijkstra 邻接矩阵+双路径(同时考虑距离和花费)
#include<iostream>#include<cstring>using namespace std;const int maxn = 505;const int inf = 0x3f3f3f3f;int n,m;int lowdis[maxn]; //各点的最短路径int lowval[maxn]; //各点的最小花费int...
2019-11-02 17:15:46
321
原创 Dijkstra单源最短路(邻接矩阵存图+路径记录)
#include<iostream>using namespace std;const int maxn = 1010; //最大顶点数const int inf = 0x3f3f3f3f; //无穷大bool vis[maxn]; //标记当前点是否访问过int pre[maxn]; ...
2019-11-02 11:51:19
385
原创 字符串实现
用字符串实现string//sqstring.h#include<cstdio>#include<iostream>using namespace std;#define MaxSize 100typedef struct{ char data[MaxSize]; //字符串 int length; //字符串的长度} SqS...
2019-10-24 12:42:09
362
原创 线段树
#include<iostream>using namespace std;const int maxn = 1000; int n,m,a[maxn],ans[maxn<<2],tag[maxn<<2]; //子区间的数量不会超过4*maxninline void push_up(int p){ ...
2019-10-17 21:09:34
83
原创 Floyd算法
Dijkstra的堆优化(用前向星链式)可以很快求得单源最短路,但是不能存在负权边Bellman-Ford的优化可以处理负权边,还可以判断负环而如果要处理求得每两个点之间的最短路,可以用上面的两个方法跑n遍或者使用Floyd算法#include<iostream>#include<cstdio>#include<cstring>using name...
2019-10-17 11:24:38
101
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人