
flink
文章平均质量分 72
@可能
职场小菜鸟
展开
-
Flink数据类型&&序列化&&序列化器
背景:在Java和大数据生态圈中,已有不少序列化工具,比如:1、Java自带的序列化工具、Kryo等。2、一些RPC框架也提供序列化功能,比如:(1)最初用于Hadoop的【Apache Avro】(2)Facebook开发的【Apache Thrift】(3)Google开发的【Protobuf】这些工具在速度和压缩比等方面与JSON相比有一定的优势。但是Flink依然选择了重新开发了自己的序列化框架,因为序列化和反序列化将关乎整个流处理框架个方便的性能,对数据类型了解越多,可以更早地完.原创 2021-01-18 12:36:35 · 1558 阅读 · 0 评论 -
flink开发遇到的问题总结
flink开发遇到的问题总结问题1:Exception in thread "main" org.apache.flink.table.api.NoMatchingTableFactoryException: Could not find a suitable table factory for 'org.apache.flink.table.factories.TableSinkFactory' in the classpath.org.apache.flink.table.factories.原创 2021-01-04 12:20:39 · 1100 阅读 · 0 评论 -
集群启动脚本
jps集群启动脚本:jpsall.sh#!/bin/bash for ip in flink01 flink02 flink03do echo "------------------------------[ jps $ip ]-------------------------" ssh root@$ip "source /etc/profile;jps"donezookeeper集群启动脚本:zk.sh#!/bin/bashcase $1 in"start"){原创 2020-10-21 11:04:39 · 469 阅读 · 0 评论 -
flink standalone模式部署【高可用】
Common【普通】------------------------------------------------------jobmanager.rpc.address: localhostjobmanager.rpc.port: 6123jobmanager.memory.process.size: 1600mtaskmanager.memory.process.size: 1728mtaskmanager.numberOfTaskSlots: 1parallelism.default:原创 2020-10-21 10:10:16 · 1830 阅读 · 0 评论 -
flink流处理测试程序
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/mav原创 2020-10-12 10:59:18 · 796 阅读 · 0 评论