- 博客(18)
- 收藏
- 关注

原创 Splash的安装中出现的问题的解决和基本使用介绍
Splash是一个JavaScript渲染服务,是一个带有HTTP API的轻量级浏览器,同时它对接了Python中的Twisted和QT库。利用它,我们同样可以实现动态渲染页面和抓取。功能介绍利用Splash,我们可以实现如下功能: 异步方式处理多个网页渲染过程; 获取渲染后的页面的源代码或截图; 通过关闭图片渲染或者使用Adblock规则来加快页面渲染速度; 可执行特定的Jav...
2018-07-24 16:09:55
7750
2
原创 一元多项式相加(基于链表的实现)
题干:求两个一元多项式 A(x) = a0+ a1x + a2x2+ … + anxn和 B(x) = b0+ b1x + b2x2+ … + bmxm的和基于三个链表的实现原理讲解:为一元多项式 A(x)=12+2x+3+3+6+7 B(x)=-3+4x+4+6+7+8这样就可以得到一个C(x)=9+6x+3+7+12+14+8用图形的表示方法如下所示:A,B,C链表有两个变量一个是系数,一个是指数,如果指数相同,...
2021-03-10 21:29:58
1381
原创 数据库概论之无损分解
概念无损分解指的是对关系模式分解时,原关系模型下任一合法的关系值在分解之后应能通过自然联接运算恢复起来。反之,则称为有损分解。设R是一个关系模式,F是R上的一个依赖集,R分解为关系模式的集合p={R1(U1),R2(U2),....,Rn(Un)}。如果对于R中满足F的每一个关系r,都有r=πR1(r)⋈πR2(r)⋈..πRn(r)则称分解相对于F是无损连接分解,否则有有损连接。怎么测试是否为无损连接构造一个k行n列的表格,每列对应一个属性Aj(j=1,2,..n),每行对应一个模式Ri(
2021-01-16 20:55:48
11125
5
原创 算法中时间复杂度和空间复杂度的理解
概念时间复杂度在计算机科学中,时间复杂性,又称时间复杂度,算法的时间复杂度是一个函数,它定性描述该算法的运行时间。这是一个代表算法输入值的字符串的长度的函数。时间复杂度常用大O符号表述,不包括这个函数的低阶项和首项系数。使用这种方式时,时间复杂度可被称为是渐近的,亦即考察输入值大小趋近无穷时的情况,时间复杂度表示的是一个算法的时间增长趋势,因为一个算法在不同机器上部署的时候,每个机器的性能大不相同,所以运算时间也不同,评估一个算法在运算时间上的性能,我们通常用时间复杂度来评估一个算法的时间运算概念。
2020-11-30 18:26:19
718
原创 flink对接各种sink
1.flink接入kafka Sink引入pom文件 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka-0.11_2.11</artifactId> <version>1.7.2</version>
2020-09-12 20:47:32
631
原创 centos7下安装flink1.7集群
环境准备centos 5.7jdk1.8flink1.7前期准备首先要把centos7系统自带的openjdk卸载干净rpm -qa | grep javarpm -e --nodeps java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64然后,安装jdk1.8配置环境变量把三个ip地址配置的hosts文件中配置flink修改flink/conf/flink-conf.yaml(3台都需要修改,修改为主机的ip地址
2020-09-11 14:47:12
350
原创 JAVA远程调用服务器的shell脚本
1.利用Linux Shell写了两个脚本,一个是重启进程,一个是关闭进程代码如下:#!/bin/bashpid=$(ps -ef | grep "test" | grep -v grep | awk '{print $2}')#echo "$pid"if [ -z "$pid" ];then echo "没有此进程" exit 1fifor id in $piddo kill -9 $id echo "$id"“已经被杀死”donenohup jav
2020-08-06 09:52:19
1176
原创 python爬虫模拟登陆之滑块登陆
环境python 3seleniumrequestSelenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。这个工具的主要功能包括:测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和..
2020-07-27 21:58:17
2415
原创 java实现创建通用创建Excel
本人使用的是maven源管理jar包,所以第一步导入所需要的jar包,在pom.xml文件中添加 <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi-scratchpad</artifactId> <version>3.11-beta2</version> </dependency> <dependen
2020-07-22 08:54:52
1244
原创 centos7下Nifi1.7的安装
1.Nifi介绍Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统,用于自动化管理系统间的数据流。 它支持高度可配置的指示图的数据路由、转换和系统中介逻辑,支持从多种数据源动态拉取数据。 NiFi原来是NSA(National Security Agency [美国国家安全局])的一个项目,目前已经代码开源,是Apache基金会的顶级项目之一 NiFi基于Web方式工作,后台在服务器上进行调度。 用户可以为数据处理定义为一个流程,然后进行处理,后台具有数据处理
2020-07-15 14:51:12
531
2
原创 centos7下安装CDH5.12集群
一、环境准备:需要的小伙伴联系博主,私信邮箱1556554374@qq.com1.本人集群搭建的ip地址三台分别为192.168.1.171~173(三台机器都要执行)分别修改主机名为cdh1、cdh2、cdh3(如vim没有安装,自行使用命令 yum install vim)vim /etc/hostname分别修改hosts文件vim /etc/hosts编辑完之后分别重启三台机器2.卸载OpenJDK(所有机器都要执行)输入命令查看是否有...
2020-07-07 09:55:44
397
原创 JAVA springboot框架与activeMq的简单应用
ActiveMq的简介ActiveMQ 是Apache出品,最流行的,能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现,尽管JMS规范出台已经是很久的事情了,但是JMS在当今的J2EE应用中间仍然扮演着特殊的地位。主要特点: 多种语言和协议编写客户端。语言: Java, C, C++, C#, Ruby, Perl, Python, PHP。应用协议: OpenWire,Stomp REST,WS Notification,
2020-05-29 09:58:43
235
原创 websocket的简单应用
WebSocket协议Websocket协议具有生命周期,在生命周期由Websocket协议进行支撑。例如,在Servlet技术中,底层协议仅仅定义了简单的请求/响应交互,此交互完全独立于下一次交互。事实上,在大部分情况下携带交互数据的底层网络连接将被完全弱化。一些技术必须请求/响应交互模型之上构建会话,这有助于开发人员创建比单一的隔离的交互生存时间更长的应用。Websocket协议定义了客户端和服务器间长时间存活的专用的TCP连接的正因为如此,在定义更长时间的生命周期方面,它比传统的Web请求/响
2020-05-18 22:47:52
233
原创 springboot+shiro实现权限管理
springboot框架简介Spring的诞生是 Java 企业版(Java Enterprise Edition,JEE,也称 J2EE)的轻量级代替品。无需开发重量级的 Enterprise JavaBean(EJB),Spring 为企业级Java 开发提供了一种相对简单的方法,通过依赖注入和面向切面编程,用简单的Java 对象(Plain Old Java Object,POJ...
2020-04-03 20:48:45
272
原创 mysql主从复制,双击热备
1.主从复制:mysql数据库提供了一种主从备份的机制,其实就是把主数据库的所有的数据同时写到备份的数据库中。实现mysql数据库的热备份。要想实现双机的热备,首先要了解主从数据库服务器的版本的需求。要实现热备mysql的版本都高于3.2。还有一个基本的原则就是作为从数据库的数据版本可以高于主服务器数据库的版本,但是不可以低于主服务器的数据库版本。当然要实现mysql双机热备,除了my...
2019-10-22 17:13:44
445
原创 使用centos7安装Ambari
Ambari简介Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sq...
2019-09-27 11:43:14
657
5
原创 SSM下使用fileupload上传视频文件
FileUpload 是 Apache commons下面的一个子项目,用来实现Java环境下面的文件上传功能,与常见的SmartUpload齐名上传的文件要求包括一个根据RFC 1867(在HTML中基于表单的文件)编码的选项列表清单。组件FileUpload可以解析这个请求,并给你的应用程序提供一份独立上传的项目清单。无论每个项目背后如何执行都实现了FileItem接口。这里将描述组件...
2019-07-21 11:19:22
1065
4
原创 用JAVA写数字金字塔
今年的蓝桥杯中我遇到了一道题是关于数字金字塔的,那时候在比赛时可能是各方面的因素有思路但是没有实现,直到今天回过头来看,其实只要思路正确了题目就会迎刃而解了,其实数字金字塔的的解题思路就是把金字塔分成两个直角三角形如下所示: 1 12 1 123 21 1234 321 12345 4321123456 54321左边的是6行的直角三角形,他的规律就是每行的最大数就等...
2018-07-11 10:04:20
15013
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人