- 博客(26)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 Flink Table Api & SQL 初体验,Blink的使用
概述Flink具有Table API和SQL-用于统一流和批处理。Table API是用于Scala和Java的语言集成查询API，它允许以非常直观的方式组合来自关系运算符（例如选择，过滤和联接）的查询。Flink的SQL支持基于实现SQL标准的Apache Calcite。无论输入是批处理输入（DataSet）还是流输入（DataStream），在两个接口中指定的查询都具有相同的语义并指定相同的结果。Table API和SQL尚未完成所有功能，正在积极开发中，支持程度需查看 官方文档使用多
2020-06-20 11:46:47
919
2
原创 Flink 如何分流数据
场景分流方式如何分流使用Filter分流使用Split分流使用Side Output分流场景获取流数据的时候,通常需要根据所需把流拆分出其他多个流,根据不同的流再去作相应的处理。举个例子:创建一个商品实时流,商品有季节标签,需要对不同标签的商品做统计处理,这个时候就需要把商品数据流根据季节标签分流。分流方式使用Filter分流使用Split分流使用Side Output分流如何分流先模拟一个实时的数据流import lombok.Data;@Datapub..
2020-06-11 18:08:53
1966
1
原创 详解 Flink DataStream中min(),minBy(),max(),max()之间的区别
解释官方文档中:The difference between min and minBy is that min returns the minimum value, whereas minBy returns the element that has the minimum value in this field (same for max and maxBy).翻译:min和minBy之间的区别是min返回最小值，而minBy返回在此字段中具有最小值的元素（与max和maxBy相同）。
2020-06-10 11:47:56
1408
2
原创 https 请求绕过证书认证 Get或Post（证书过期，忽略证书）
javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certificatio...
2018-10-16 14:24:11
12403
6
原创 大数据———Flume与Kafka整合
环境配置 名称 版本 下载地址 Centos 7.0 64x 百度 Flume 1.8.0 http://flume.apache.org/download.html Kafka 2.11 http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz
2018-01-18 15:31:21
2208
原创 什么是kafka？Kafka如何使用？（大数据-卡夫卡）
什么是卡夫卡官网介绍： - ApacheKafka®是一个分布式流媒体平台。这到底是什么意思呢？我们认为流媒体平台具有三个关键功能： 1. 它可以让你发布和订阅记录流。在这方面，它类似于消息队列或企业消息传递系统。 2. 它允许您以容错方式存储记录流。 3. 它可以让您在发生记录时处理记录流。几个概念：Kafka作为一个或多个服务器上的集群运行。Kafka集群以称为主题的类别存储记
2018-01-18 14:04:48
10629
原创 Java List和Map遍历的方法,forEach()的使用
注意:不要在foreach循环里进行元素的remove/add操作。remove元素请使用Iterator方式，如果并发操作，需要对Iterator对象加锁。Java 8之前List // List List<String> list = new ArrayList<>(6); list.add("1"); list.add("2"); for (Iterator<String> iterator = list.iterator(
2020-07-15 17:43:26
1561
原创 Flink 集群搭建,Standalone,集群部署,HA高可用部署
基础环境准备3台虚拟机配置无密码登录配置方法:https://ipooli.com/2020/04/linux_host/并且做好主机映射。下载Flinkhttps://www.apache.org/dyn/closer.lua/flink/flink-1.10.1/flink-1.10.1-bin-scala_2.11.tgz并解压缩部署Standalone Cluster 单机模式启动进入flink-1.10.1 文件夹内直接执行:./bin/start-cluster.s.
2020-06-22 17:31:05
963
转载 kafka是什么？主要用在什么场景
1、kafka是什么？Kafka是由LinkedIn开发的一个分布式基于发布/订阅的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。2、产生背景Kafka是一个消息系统，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页...
2020-04-25 14:00:08
10811
原创 linux 集群免密登录，双向免密，详细
linux 集群免密登录配置第一种方法我这边准备三台主机 分别为bigdata1,bigdata2,bigdata3在bigdata1上生成秘钥对ssh-keygen -t rsa之后根据提示,回车进入.ssh目录会看见id_rsa(私钥) 和 id_rsa.pub (公钥)两个文件。将公钥文件拷贝到另外两台主机使用 ssh-copy-id 命令#拷贝到bigdata2...
2020-04-25 10:46:23
1936
2
原创 mybatis-plus 配置多数据源，无法读取全局配置文件的配置（记一bug）
mybatis-plus 配置多数据源，无法读取全局配置文件的配置至于 如何配置多数据源 我就不多说了，网上很多示例自行百度重点我用mybatis-plus 配置的多数据源，并且用了它的代码生成器生成了Bean，Mapper，Xml等。生成的时候去掉了表名的前缀但是在配置文件中指定表名前缀时，并不生效； 配置如下:mybatis-plus.global-config.db...
2019-09-04 17:52:05
6042
7
原创 java算法学习，排序算法
插入排序算法 插入排序的基本思想是在遍历数组的过程中，假设在序号 i 之前的元素即 [0..i-1] 都已经排好序， 本趟需要找到 i 对应的元素 x 的正确位置 k ，并且在寻找这个位置 k 的过程中逐个将比较过的元素往后移一位， 为元素 x “腾位置”，最后将 k 对应的元素值赋为 x 一般情况下，插入排序的时间复杂度和空间复杂度分别为 O(n2 ) 和 O(1)public...
2018-02-27 16:38:50
253
原创 大数据———Flume使用
1.什么是FlumeFLUME 是HADOOP生态圈中的一个组件。主要应用于实时数据的流处理，比如一旦有某事件触发(如本地交易引起的数据改动)可以将实时的日志数据发向HADOOP文件系统HDFS中FLUME 可以将数量庞大的数据从各项数据资源中集中起来存储的工具/服务，或者数集中机制。所以它还有较强的缓存作用.Flume具有较高的容错性。例如当收集数据的速度超过将写入数据的时候，即超过了
2018-01-16 15:07:11
2377
2
转载 Hive 配置详细说明
hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） truehive.exec.mode.local.auto.inputbytes.max 如果 hive.exec.mode.local.auto 为 true，当输入文件大小小于此阈值时可以自动在本地模式运行，默认是 128兆。
2018-01-08 21:13:04
1108
原创 Hive 学习 安装与使用，基础
1.Hive安装与配置Hive官网：https://hive.apache.org/ 1. 下载安装文件 从Apache官网下载安装文件（apache-hive-2.3.2-bin.tar.gz） 还有我选择mysql作为元数据存储，所以还需下载jdbc驱动包。（mysql-connector-java-5.1.45.tar） 下载地址：https://dev.mysql.com/do
2018-01-08 21:11:18
378
原创 Linux下安装Mysql（CentOS7 64位，MySQL5.7）详细！！！
1.配置mysql源在MySQL官网中下载YUM源rpm安装包：https://dev.mysql.com/downloads/repo/yum/ 点击downloads下载 点击红框里字体 2. 传到虚拟机里安装 命令：yum localinstall mysql57-community-release-el7-8.noarch.rpm 非root用户下安装命令前
2018-01-04 17:25:23
1077
原创 Djongo页面文件上传，调用静态文件资源
文件上传 form.FileField() #用于手动编写 model.FileFileld(upload_to ='' )#用在自动保存上传文件首先进行上传路径的设置 settings.py:MEDIA_ROOT = os.path.join(BASE_DIR, 'upload') #文件路径不是绝对路径是项目路径MEDIA_URL = '/upload/' 配置urls.py：u
2017-11-15 18:10:14
565
原创 Python学习 Socket 网络编程
Socket简介： Socket是进程通讯的一种方式，即调用这个网络库的一些API函数实现分布在不同主机的相关进程之间的数据交换。Socket又称"套接字"，应用程序通常通过"套接字"向网络发出请求或者应答网络请求，使主机间或者一台计算机上的进程间可以通讯。IP地址：即依照TCP/IP协议分配给本地主机的网络地址，两个进程要通讯，任一进程首先要知道通讯对方的位置，即对方的IP。
2017-11-03 21:18:31
263
原创 Python基础编程 多线程学习使用
线程线程基本概念什么是线程？ 了解线程之前先说下进程。 进程：一个线程是进程的一个顺序执行流，进程是独立的所有子任务的集合， 线程是应用程序中工作的最小单元。线程：进程中的每个子任务，不能独立存在线程，进程:目的都是想同时完成任务各自的特点 进程的特点:独立(内存独立，cpu使用独立)启动进程开销大(速率低)，进程之间很难共享数据，和数据通信，数据安全高。线程的特
2017-10-11 18:25:45
230
原创 Python语言基础学习（数据类型，迭代器及生成器）
python基础数据类型 python中变量不需要声明，每个变量使用前必须赋值，赋值以后变量才会被创建。 name = "张三" age = 18 python允许为多个变量赋值 a=b=c=1 python有六种基本数据类型Number（数字）python3支持int、float、bool、complex（复数） a=10 b=5.5 c=tru
2017-10-09 14:30:39
283
原创 关于python文件 I/O 操作 与异常
打开或关闭文件open()函数必须先用 open()函数打开一个文件，创建一个file对象代码：fo = open("D:/foo.txt", "wb")关于参数：第一个参数为你要访问的文件的名称的字符串值，第二个参数决定了打开文件的模式，具体模式为下：r以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。rb以二进制格式打开一个文件用于只读。文件指针将
2017-09-24 17:44:15
968
原创 关于python 排序(与java排序)
Python list内置sort()方法用来排序，也可以用python内置的全局sorted()方法来对可迭代的序列排序生成新的序列。1）排序基础a. 简单的升序排序是非常容易的。只需要调用sorted()方法。它返回一个新的list，新的list的元素基于小于运算符(__lt__)来排序>>> sorted([5, 2, 3, 1, 4])[1, 2, 3, 4
2017-09-22 16:22:27
442
原创 python函数学习与变量作用域
学习函数 规则： 函数代码块以def关键词开头，后接函数标识符名称和圆括号（）。 任何入参数和自变量必须放在圆括号里，圆括号之间可以用于定义参数 return [表达式] 结束函数，选择性地返回一个值给调用方。不带表达式的return相当于返回 None 语法： def 函数名称(参数): 函数体 调用： 函数名称（） 示例：
2017-09-14 18:33:41
288
原创 python基础学习 字符串操作
python语言字符串和列表的操作 n = 1 print(str(n)+"10") print(n.__str__()+"15") #转换为字符串 str = "我爱中国aaa"--------------------常用的 print('爱' in str) #判断 爱 是否在字符串中 print(str.index('爱')) #找不到会报错 print(str.r
2017-09-09 18:42:53
507
原创 python3怎么学习？？
声明定义：变量，类，方法。。。命令操作：所以类型语句都可以独立写数据类型：type(n)获取数据类型 id()获取内存地址Python是强类型语言吗？强类型！！！变量定义：定义变量是不需要指定数据类型。 String类型定义： 1）单引号
2017-09-09 08:28:09
410
Spring boot 集成 redis （解决String类型乱码） 缓存用redis
2019-06-22
Office Excel 能用的MD5 加密宏
2018-12-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人