大数据集群数据传输

简单的服务器间的通信示例

netcat，简写为 nc，是 unix 系统下一个强大的命令行网络通信工具，用于在两台主机之间建立 TCP 或者 UDP 连接，并提供丰富的命令进行数据通信。nc 在网络参考模型属于应用层。使用 nc 可以做很多事情：建立连接，发送数据包，监听端口，扫描端口，处理 ip4 和 ip6，和 telnet 不同，nc 会区分错误输出和标准输出，telnet 则都是标准输出。

启动服务端 nc -l 端口号

nc -l 6666

启动客户端

nc 服务端IP 6666

Kafka 类似，但更加强大，下面是一个Kafka 生产者生产数据到topic ，消费者(flink)在topic中消费到数据，将数据落地为文件的案例：

第一步：创建一个topic 

1、topic名称带有明显来源和业务的单词，例如：t_jif_tgcdr

2、topic备份数量小于等于kafka节点数；

3、topic分区数应是备份数的倍数关系；

4、检查topic是否已经存在，如果存在&