- 博客(29)
- 收藏
- 关注
RSS订阅转载 Spark 之 Structure Streaming
Part V. Streaming版本以2.2的Structured Streaming为主，部分也有后续新版本的说明。Stream Processing Fundamentals1.概念流处理就是不断地整合新数据计算新结果。批量处理是固定输入量计算一次。Structured Stream集合这两个功能并加上交互式查询。实时计算通常用于notifications/alerti...
2020-03-15 13:17:25
1434
转载 Flink SQL 如何实现数据流的 Join？
无论在 OLAP 还是 OLTP 领域，Join 都是业务常会涉及到且优化规则比较复杂的 SQL 语句。对于离线计算而言，经过数据库领域多年的积累，Join 语义以及实现已经十分成熟，然而对于近年来刚兴起的 Streaming SQL 来说 Join 却处于刚起步的状态。其中最为关键的问题在于 Join 的实现依赖于缓存整个数据集，而 Streaming SQL Join 的对象却是无限的数...
2020-03-13 14:40:16
422
转载 DML和DDL含义和区别
一、DML与DDL的含义：1、DML（Data Manipulation Language）数据操作语言-数据库的基本操作，SQL中处理数据等操作统称为数据操纵语言,简而言之就是实现了基本的“增删改查”操作。包括的关键字有：select、update、delete、insert、merge2、DDL（Data Definition Language）数据定义语言-用于定义和管理 SQL ...
2020-03-13 11:26:31
8103
原创 启动spring-boot报错：Application failed to start with classpath: unknown
application.yml文件配置有问题，仔细检查。
2020-03-07 10:12:09
11346
2
原创 sqoop原理
sqoop的产生：关系型数据库的数据与非关系型数据库中(Hadoop的hdfs)大量数据的迁移，sqoop是连接关系型数据库和hadoop的桥梁sqoop原理：sqoop的底层实现是mapreduce，所以sqoop依赖于hadoop，sqoop将导入或导出命令翻译成MapReduce程序来实现，在翻译出的MapReduce 中主要是对InputForma...
2020-03-05 22:01:52
2471
原创 Canal工作原理
canal的工作原理类似mysql主从同步原理先看下mysql主从同步的原理：分成三步：1、master将变更同步到二进制日志(binary log)文件中（这些记录叫做二进制日志事件，binary log events，可以通过show binlog events进行查看）；2、slave将master的binary log events拷贝到它的中继日志(rela...
2020-03-05 18:28:52
509
原创 Mybatis xml文件select等SQL标签未被引用
问题如上图展示，然后发现这里写错了，见下图：将config改成了mapper：引用成功。
2020-03-03 19:28:46
448
原创 401与403的区别
401未授权有一个问题，HTTP状态码验证错误。就是这样:它用于身份验证，而不是授权。收到401响应时，服务器会告诉您，“您没有经过身份验证——要么根本没有经过身份验证，要么验证不正确——但是请重新验证并重试。”为了帮助您，它将始终包含一个描述如何进行身份验证的WWW-Authenticate头。这通常是由web服务器而不是web应用程序返回的响应。这也是暂时的;服务器要求您再试一次。...
2020-03-01 12:21:42
7687
1
原创 spring-boot创建项目出现spring-boot-starter-parent版本报红问题
花了一下午折腾了环境问题，填坑…第一次创建springboot项目，然后搭建好了环境，pom.xml文件就报这个问题：version报红百度了很多方法，根据其中一个解决办法：勾选上图所示，仍然报错：没有找到setting.xml文件，我就创建了setting.xml文件，给了777的权限还是报错，如下：Error:(3) java: 程序包spring...
2020-02-28 00:19:48
14717
4
转载 Spring Cloud Eureka注册中心
https://www.cnblogs.com/knowledgesea/p/11208000.html
2020-02-26 00:16:24
209
原创 查看yarn队列使用的资源队列
新建离线任务后需要消耗资源，此时分配yarn资源队列，怎么知道该任务使用的是哪个资源队列，下面命令行：yarn application -status application_XXXapplication_XXX 是资源的application_idQueue的值就是正在使用的yarn资源队列...
2020-02-17 16:29:03
10187
1
原创 自动化框架设计
自动化框架设计的分层(类似于开发框架mvc的设计)：显示层(testNG+report)：测试报告，测试中间过程的结果呈现。哪些case执行成功，哪些case执行失败，报错等，测试报告都会体现。控制层(httpclient)：逻辑验证，有哪些请求，请求需要哪些参数，发送请求后，返回应是什么数据，验证预期结果与实际结果是否一致。case有很多情况，根据自己的需求设计不同的cas...
2019-12-26 18:53:16
641
原创 testNG参数化
testNG-xml文件参数化1、首先创建一个类ParameterTest ，方法ParamTest，然后通过注解@Parameters将形参传递到方法里，但是，真正的参数需要从xml文件里传递。2、新建一个xml文件右键运行xml文件就可以运行com.course.testng.parameter.PatameterTest这个类可以看到，参数传递过...
2019-12-23 15:49:52
358
原创 质数判断
这个问题可能太简单了，但是还是总结一下。质数即素数，即大于1的自然数中，除了1和它本身以外不再有其他因数的自然数，也就是说只有两个因子，1和这个数本身。正常的思路是将这个数模2取余，若为0，则定不是素数还有特殊情况就是，这个数需要大于1实现如下：public static boolean isSuShu(int x){ if (x<0){ ...
2019-12-18 17:30:01
271
原创 单链表反转-面试题之一
单链表反转单链表定义：链式存取的数据结构，用一组地址任意的存储单元存放线性表中的数据，数据以节点来表示，节点由数据和指针(指示后继元素存储位置)组成。如下图。现在要反转这个链表。输入: 1->2->3->4->5->NULL输出: 5->4->3->2->1->NULL具体执行过程见下图：(图引用自htt...
2019-12-16 16:19:19
185
原创 CCF 跳一跳 C语言 201803-1
原题链接：https://blog.youkuaiyun.com/tigerisland45/article/details/81638188总结题目后，提炼出几个重要的点如下： 玩家每次从当前方块跳到下一个方块，如果没有跳到下一个方块上则游戏结束。 如果跳到了方块上，但没有跳到方块的中心则获得1分； 跳到方块中心时，若上一次的得分为1分或这是本局游戏的第一次跳跃...
2019-12-13 20:27:24
208
原创 Kafka+Logstash+ElasticSearch+Kibana实现日志收集与监控、查询
Kafka高吞吐量的分布式消息队列，有生产者消费者功能，可处理动作流数据，收集业务日志(打点或者error日志)官网：http://kafka.apache.org/Logstash数据收集并根据需求过滤特定数据，发送到对应的存储库官网：https://www.elastic.co/cn/products/logstashElasticSearch 分布式的搜索和数据分析引擎，可进...
2019-12-13 20:24:54
754
原创 二分查找-面试题之二
二分查找过程：通过将有序的数组(注意是有序)折半，首先将目标元素与数组中间的数字做比较，如果目标元素值小于中间元素,则将数组前半部分进行折半查找，将前半部分的mid元素与目标元素做比较，如果目标元素小于mid元素，同理将数组再折半在前半部分(此时是数组的1/4部分)二分查找，以此类推；反之，若目标元素值大于数组中间元素，则向后半部分查找。（见下面动图1）线性查找（见动图2）二分查找(折半...
2019-12-13 20:23:48
404
原创 scanf 函数
scanf函数的功能：通过键盘输入字符给代码中的变量赋值(比指定i赋一个定值要灵活)原型：# include <stdio.h>int scanf(const char *format, ...)1、scanf("输入控制符"，输入参数)：举例:#include<stdio.h>int main(){int i ;printf("p...
2019-07-11 21:00:11
1490
原创 codeblocks for Mac环境安装填坑
1、安装codeblock起初装codeblock，如链接:①https://www.dummies.com/programming/cpp/how-to-install-c-codeblocks-in-macintosh/所示步骤。先安装Xcode(从苹果官网下载)，再安装the Command Line Tools from Apple Developer download...
2019-07-08 21:10:23
14882
4
原创 Jmeter的Linux单机压测
一：首先检查下Linux服务器是否装JDK :命令：java -version如果结果打印出 java version "1.6.0_17" ，说明安装好了JDK.（打印出JDK的版本估计有不同的）如果其他结果就是没安装JDK,请自行安装，这里不再赘述。二：安装Jmeter:在Linux服务器执行jmeter性能测试可以提高不少性能，因为是无图形化界面，所以一般执行大型数据量性
2016-12-27 19:13:51
1936
原创 jvisualvm java性能监控
jvisualvm，在本地以图形界面的方式远程监控 java运行程序的cpu、内存、线程使用情况，当然可以本地监控，主要用于远程监控tomcat.它是JDK自带的JAVA性能分析工具，在安装的JDK(需要jdk1.6以上的版本)的bin目录下,点击下jvisualvm.exe图标就能运行起来图形界面。=============================================
2016-12-22 13:09:45
644
原创 Jstack-线程监控
========================================================================================= 线程的五种状态 * 新建：new * 运行：runnable * 等待：waitting(无限期等待),timed waitting(限期等待) * 阻塞：blocked * 结束：te
2016-12-20 17:26:17
2097
转载 loadrunner脚本录制为空的解决方法
在玩Loadrunner时经常性的出现脚本录制为空的情况，下面是我总结出的解决办法：1.在用loadrunner录制脚本时发现脚本录制为空，查找原因，我首先看。 IE选项->连接->局域网设置：自动检测不能选2.然后发现 Recording Options->Network->PortMapping->Capture level:变成了Socket level data ,将其变换
2015-12-14 18:25:32
1119
转载 LoadRunner录制脚本常见问题
LoadRunner录制脚本常见问题 LR 脚本为空的解决方法1.去掉ie设置中的第三方支持取消掉2.在系统属性－高级－性能－数据执行保护中，添加loadrunner安装目录中的vugen.exe文件 遇到flight界面为空的解决的可能方法：1、如果安装了IE以外的浏览器，并且IE不是默认浏览器，则无法生成录制脚本2、如果录制脚本时IE不能 打开，则需
2015-12-14 17:51:53
6899
原创 tsung对openfire的压测
前些日子一直想写这篇blog，但是中间好多项目的涌进，致使现在靠仅剩的回忆写下这篇文章。。openfire采用开放的XMPP（Jabber）协议，并利用Web进行管理，构建高效率的即时通信服务器，单台服务器支持上万并发用户，那么问题来了，当要对上万用户做并发压测的时候，需要什么要的工具可以实现------tsung闪亮登场~没错，这篇文章的主角的确是tsung。当时在Linux服务器安
2015-12-08 14:18:36
1172
原创 monkeyrunner-自动化测试
前言 上周一周的时间加上周末在图书馆泡了一天，加上昨天一天的时间，终于搞得monkeyrunner有眉目了。*********************************************首先，我用的模拟器尝试了一下，结果模拟器的速度真是不能忍受。当然，模拟器只是小操练而已，实际测试工作中，还要用到真机去搞，于是，真机就搞上来了！ 1这里先简单讲下我做模拟器
2015-12-06 23:20:18
503
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人