zytmaster的博客

转载 项目部署到tomcat出现js中文乱码解决方案

原文链接：https://blog.youkuaiyun.com/web15286201346/article/details/123843590。1.更改tomcat中conf文件夹里server.xml的配置，在Connector中添加 URIEncoding=“UTF-8”2.更改tomcat中bin文件夹里catalina.bat的配置，在@echo off下面添加。IDEA上运行项目没问题，但是部署到tomcat上之后就出现了js代码中文乱码的情况；然后重启tomcat。

原创 判断一颗二叉树是否是平衡二叉树

【代码】判断一颗二叉树是否是平衡二叉树。

原创 判断一个二叉树是不是满二叉树

【代码】判断一个二叉树是不是满二叉树。

原创 二叉树的先序、中序、后序遍历

分别可以用递归的方式和非递归的方式实现。

原创 数组中逆序对总对数

leetcode原题：https://leetcode.cn/problems/shu-zu-zhong-de-ni-xu-dui-lcof/在一个数组中，左边的数如果比右边的数大，则这两个数构成一个逆序对，请计算该数组中能够构成多少对逆序对。

原创 求一个数组的小和

求小和的逆向思维，举例来说：小和的算法等价于找出1右边比1大的数的个数是4，则整个数组的小和增加1*4；3的右边有2个数比3大，则整个数组的小和增加3*2；4的右边比4大的有1个数，则整个数的小和增加4*1；2的右边比2大的数有1个，则小和增加2*1，5的右边没有比5大的数。在一个数组中，每一个数左边比当前数小的数累加起来，叫做这个数组的小和。* 采用递归的方式，在归并的过程中，一边排序，一边计算小和。所以小和为1 + 1+3 + 1 + 1+3+4+2=16。1左边比1小的数，没有；

原创 打印一个int型的数的32位二进制形式

打印一个int型的数的32位二进制形式。

原创 求数组中的最大值（用递归实现）

二分查找法不一定只能用在有序数组上，只要是可以通过某个标准将数组分为左右两部分，并在左右两部分中继续按照此标准划分的题都可以考虑二分查找法。用递归的方式实现获取数组中最大值的操作。

原创 找出唯一的出现奇数次的数

已知一个数组中只有一个数出现了奇数次，其他的都是出现了偶数次，打印出这个出现了奇数次的数。一个数组中，只有2个数出现了奇数次，其他数字都出现了偶数次，打印出出现了奇数次的2个数。

原创 Java基础思维导图

转载 Oracle视图与基表的区别、联系、作用

视图与基表的区别与联系1、视图是从一个或者多个基本表中导出的表，给用户使用的‘专用表’，是已经编译号的sql语句，而表不是；2、 视图没有实际的物理记录，不占用物理空间，而表相反。3、视图是查看表内容的窗口，是查看数据表的一种方法，视图可以不给用户接触表，使得用户不知道表结构，具有更大的安全性；4、视图只是逻辑概念的存在，只能由创建的语句来修改。而表可以随时对它进行修改。5、视图的建立和删除只影响视图本身，不影响对应的基本表。联系：视图（View）是在基本表之上建立的表，它的结构(即

原创 Storm项目08——storm与redis集成

原数据是一个字符串数组，将数组中的元素一个一个向下发送SimpleSpoutpackage com.xnmzdx.spout;import java.util.Map;import backtype.storm.spout.SpoutOutputCollector;import backtype.storm.task.TopologyContext;import backtype.storm.topology.OutputFieldsDeclarer;import backty..

原创 Storm项目02(2)——storm与MySQL的集成，WordCount单词统计，将结果写入MySQL数据库中（jdbcClient的操作）

原数据是一些以空格为分割的单词组成的句子WordSpoutpackage com.xnmzdx.storm.spout;import java.util.Map;import com.xnmzdx.storm.util.ThreadUitls;import backtype.storm.spout.SpoutOutputCollector;import backtype.storm.task.TopologyContext;import backtype.storm.topol.

原创 用Java API连接并操作redis数据库以及redis的一个使用实例：连续xx次登录时，限制在一定时间内无法继续登录

添加pom依赖<dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.9.0</version></dependency>Java代码包含两种连接方式：单机方式连接redis 和 连接池连接redis...

原创 用Java 实现Kafka的生产者和消费者

Kafka 的生产者package com.xnmzdx.kafka;import java.util.Properties;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerRecord;import kafka.producer.Producer;/** * kafka生产者 * @author Adminis.

转载 Kafka消费者详解

消费者和消费者组消费者负责定义kafka中的topic，并且从订阅的消息中拉取消息。消费者组是指把多个消费者逻辑上分配到一个组里，以组为单位进行消费数据。上图的含义指的是某个topic有4个分区，每个分区分布在不同的server上，有两个消费者组，ConsumerGroup A 和ConsumerGroup B, ConsumerGroup A 有两个消费者C1和C2,ConsumerGroup B有4个消费者C3、C4、C5和C6，两个消费者组是独立的，彼此不影响的，每个消费者组里的消费者

转载 kafka 消息队列中点对点与发布订阅区别

背景知识JMS一个在Java标准化组织（JCP）内开发的标准（代号JSR 914）。2001年6月25日，Java消息服务发布JMS 1.0.2b，2002年3月18日Java消息服务发布 1.1.Java消息服务（JavaMessage Service，JMS）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。点对点与发布订阅最初是由JMS定义的。这两种模式主要区别或解决的问题就是发送到队列的消息能否重复消费(多订..

原创 Storm项目06——storm与Kafka集成

使用Java API创建消息kafka的producer，向定义的topic中发送消息数据注意：模拟Kafka接收消息数据并将消息数据发送出去的整个过程，需先将此程序运行起来package com.xnmzdx.storm.kafka;import java.util.Properties;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.Pr

原创 Storm项目05——storm Trident

Trident Function的使用示例自定义Function需要继承BaseFunction类Function相当于storm topology中的bolt，只不过需要用each方法来连接spout与bolt、bolt和boltspout的创建方法有点不同于storm topology例子01：将一些字段中的某些字段相加，输出这些字段及相加的结果package com.xnmzdx.storm.trident.example;import backtype.storm.Co

原创 Storm项目04(2)——storm DRPC的一个实例应用场景：统计帖子（url）转发给粉丝的人数

实例场景：我们在微博、论坛进行转发帖子的时候，是对url进行转发，这个例子就是统计一下帖子（url）转发给粉丝的人数。主要使用storm的并行计算能力来进行的。分析：粉丝（关注我的人），每一个人的粉丝（关注者可能会有重复的情况）实现步骤如下：第一，获取当前转发帖子的人第二，获取当前人的粉丝（关注者）第三，进行粉丝去重第四，统计人数第五，最后使用drpc远程调用topology返回执行结果ReachTopologypackage com.xnmzd

原创 Storm项目04——storm DRPC的简单示例

首先编写实现DRPC Server的代码，需要将这个代码打成jar包，上传到storm集群上运行package com.xnmzdx.storm.drpc1.server;import backtype.storm.Config;import backtype.storm.LocalCluster;import backtype.storm.LocalDRPC;import backtype.storm.StormSubmitter;import backtype.storm.drpc.L

转载 Storm的消息确认ack机制原理详解

参考博客：https://www.cnblogs.com/Transkai/p/10909117.html加上个人理解消息不丢失机制ackack是什么ack 机制是storm整个技术体系中非常闪亮的一个创新点。通过Ack机制，spout发送出去的每一条消息，都可以确定是被成功处理或失败处理， 从而可以让开发者采取动作。比如在Meta中，成功被处理，即可更新偏移量，当失败时，重复发送数据。因此，通过Ack机制，很容易做到保证所有数据均被处理，一条都不漏。另外需要注意的...

原创 Storm项目03——体会消息确认机制，Spout的可靠性验证

Spout是Storm数据流的入口，在设计拓扑时，一件很重要的事情就是需要考虑消息的可靠性，如果消息不能被处理而丢失是很严重的问题。 通过此项目我们可得知，如果在第一个bolt处理的时候出现异常，我们可以让整个数据进行重发，但是如果在第二个bolt处理的时候出现了异常，那么我们也会让对应的spout里的数据重发，这样就会出现事务的问题，我们就需要进行判断或者是进行记录。 如果是数据入库的话，可以与原ID进行比对。 如果是事务的话在编写代码时，尽量就不要进行拆分tuple。 ...

原创 Storm项目02——WordCount 单词统计

拓扑结构如下：上面的示意图中有4个组件，分别为一个spout和3个bolt，当数据源spout取得数据（可以是一个句子，里面包含多个单词）以后，发送给SplitBolt进行切分，然后由CountBolt进行统计结果，最终由ReportBolt记录结果。WordSpoutpackage com.zyt.storm.spout;import java.util.Map;import com.zyt.storm.util.ThreadUtils;import backtype..

原创 安装Apache-Maven的步骤

原料：安装包apache-maven-3.2.1-bin.zip（官网下载:http://maven.apache.org/）步骤：1、解压安装包到D:\maven文件夹下（文件夹自行选择，单独新建maven文件夹方便管理）2、配置环境变量： 系统环境变量中新建 变量名：M2_HOME 变量值：D:\maven\apache-maven-3.2.1 环境变...

原创 docker的文件挂载小练习——Docker1

首先，我们来了解一下什么是docker?参考：https://blog.youkuaiyun.com/shnsuohaonan/article/details/80651439docker可以通过镜像来创建并运行容器，由于镜像是只读的，所以我们不能直接在docker启动的容器中写入内容的，但是如果我们想通过docker运行的容器来运行我们自己写的项目，就需要容器能获取到我们的项目，那么我们可以通过挂在文件来达到这个目的，接下来具体讲述一个用nginx（一个web项目的镜像）镜像启动的容器来运行我们自己编写的html

原创 python爬虫实战笔记——爬取图书信息（利用selenium库+chromedriver.exe插件）

准备：1、插件chromedriver.exe2、已经安装好谷歌浏览器Chrome编写代码from bs4 import BeautifulSoupfrom selenium import webdriverfrom selenium.webdriver.support.ui import Select,WebDriverWaitfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support im

原创 新建centos7的虚拟机安装docker后无法启动，报错：Failed to start docker.service: Unit not found

问题：最近在新建的Centos7的Linux的虚拟机上安装docker时遇到了无法启动docker的问题，报错如下：在网上寻找解决方案时没有找到相同报错，后来发现可能是是因为新建完虚拟机后没有关闭防火墙导致的。解决方案:查看防火墙状态firewall-cmd --state停止firewallsystemctl stop firewalld.service禁止firewall开机启动systemctl disable firewalld.service

转载 SparkSQL学习中SQL分析函数的使用

SparkSQL/Hive 提供了许多的分析函数，用于完成复杂统计分析。sum、avg、min、max，分别用于计算分组内相关统计信息。1、用SQL实现下面的操作测试数据：±-------±------------------±–+|cookieid| createtime| pv|±-------±------------------±–+| cookie1|2015-04-10...

转载 使用外置zookeeper安装hbase出现org.apache.hadoop.hbase.PleaseHoldException: Master is initializing错误解决

出现该问题的原因是因为重新安装hbase时，旧的元数据信息没有删除，使用zookeeper删除后hbase元数据后重启hbase即可。解决过程：1、打开zookeeper客户端，并连接到服务器2、输入命令：ls /可以看到hbase的目录，再输入ls /hbase命令查看内容mete-region-server就是需要删除的文件，执行删除命令：rmr /hbase/...

转载 机器学习——强化学习Q_learning算法

假设有这样的房间如果将房间表示成点，然后用房间之间的连通关系表示成线，如下图所示：这就是房间对应的图。我们首先将agent（机器人）处于任何一个位置，让他自己走动，直到走到5房间，表示成功。为了能够走出去，我们将每个节点之间设置一定的权重，能够直接到达5的边设置为100，其他不能的设置为0，这样网络的图为：Qlearning中，最重要的就是“状态”和“动作”，状态表示处于图...

转载 SparkContext、SparkConf和SparkSession之间的联系及其初始化

参考博客：https://blog.youkuaiyun.com/love666666shen/article/details/792609441、SparkConf和SparkContext每个Spark应用程序都需要一个Spark环境，这是Spark RDD API的主要入口点。Spark Shell提供了一个名为“sc”的预配置Spark环境和一个名为“spark”的预配置Spark会话。使用...

转载 node.js 安装详细步骤教程

1、下载安装包Node.js 官方网站下载：https://nodejs.org/en/选择操作系统对应的包：下载完成，安装包如下：2、安装打开安装，傻瓜式下一步即可：选择安装位置，我这里装在D盘下：安装成功，文件夹结构如下，并在上面安装过程中已自动配置了环境变量和安装好了npm包，此时可以执行 node -v 和 npm -v 分别查看...

转载 虚拟机CentOS安装KIBANA 6.2.2

1.下载登录官网下载页：https://www.elastic.co/downloads/kibana下载安装包上传到服务器，若服务器可以访问外网，直接只用命令下载[root@elk ~]# wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.2-linux-x86_64.tar.gz2.使用tar.gz ...

原创 Hive+mysql开发环境的搭建

Hive的三种安装模式（内嵌模式、本地模式、远程模式）一、内嵌模式1、准备镜像（apache-hive-2.3.5-bin.tar.gz，下载地址https://mirrors.tuna.tsinghua.edu.cn/apache/hive/stable-2/）2、配置环境2.1将镜像（apache-hive-2.3.5-bin.tar.gz）上传至Linux（可以用rz命令...

原创 内存计算spark——学习笔记

Spark是什么：Spark is a unified analytics engine for large-scale data processing.Spark是一个大规模的数据统一分析引擎Spark的核心（Spark core）是RDD（分布式弹性数据集）了解分区的概念（Spark的分区概述图的描述）：HDFS Input Splits(逻辑分区和物理分区，物理分区是每块默认12...

原创 大数据企业应用——学习笔记

三大数据处理的利器：ELK(Elasticsearch数据的清洗转储、Logstash数据的抓取、Kibana数据分析可视化)、solr、splunkflume是一个ETL工具，比如如何把web上的数据通过ETL转移到spark或者HDFS上大数据的采集，有几个ETL工具，sqoop（如何把HDFS上的数据转移到Mysql中，又如何把MySQL中的数据读取到HDFS中或者Hive中）...

转载 Hdfs的API出现问题Failed to locate the winutils binary in the hadoop binary path

出错的原因在于window本地无法获取hadoop的配置解决策略：1.http://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/ 下载到本地并解压D:\software\hadoop-2.6.02.下载https://github.com/srccodes/hadoop-common-2.2.0-bin到本地并解压比如D:\sof...

原创 用API实现对HDFS的操作（1）Hadoop集群的HDFS客户端环境准备

jar包准备： 1.解压 hadoop-2.7.6.tar.gz 到非中文目录 2.进入 share 文件夹，查找所有 jar 包，并把 jar 包拷贝到_lib 文件夹(新建的，可与解压出的hadoop-2.7.6.tar.gz放到同一个文件夹下，方便管理）下 3.在全部 jar 包中查找 sources.jar，并剪切到_source 文件夹(新建的，可与解压出的...

转载 数据库中的Token

一、我们先解释一下Token的含义1、Token的引入：Token是在客户端频繁向服务端请求数据，服务端频繁的去数据库查询用户名和密码并进行对比，判断用户名和密码正确与否，并作出相应提示，在这样的背景下，Token便应运而生。2、Token的定义：Token是服务端生成的一串字符串，以作客户端进行请求的一个令牌，当第一次登录后，服务器生成一个Token便将此Token返回给客户端，以后客户...