flink输出中文乱码

于 2024-06-26 15:44:59 发布
阅读量697 收藏
点赞数 1
分类专栏： flink 文章标签： flink flink中文乱码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_37759590/article/details/139991128
版权

flink输出中文乱码

在这里插入图片描述
（1）首先在/etc/profile.d/my_env.sh中加入下面这行数据

export LANG=zh_CN.UTF-8

（2）其次在flink配置文件中指定编码

[xxx@hadoop102 flink-1.13.6]$ vim conf/flink-conf.yaml

加入下面这行数据

env.java.opts: "-Dfile.encoding=UTF-8"

效果：
在这里插入图片描述

Hive/Spark 整库导出/导入脚本
Laurence的技术博客
08-21 651
1. 整库导出为一个SQL文件 database="<your-database-name>" cat << EOF > $database.sql drop database if exists $database cascade; create database if not exists $database; use $database; EOF for table in $(beeline -n hadoop -u jdbc:hive2:// --showHeade
【Flink】Flink on yarn 日志乱码问题
九师兄
12-19 1073
然后我们有次将这个注释掉，就不乱码了。但是在后面又换了环境，发现这个环境乱码。开始我们的提交脚本是这样的,这样在我们的环境是不乱码的，但是在其他环境乱码。后来又修改如下，修改flink.conf文件，新增如下内容。最近在适配一个环境，然后发现下载的日志乱码。后面发现在提交命令加入如下参数。
Flink和Spark中文乱码问题
IT_xhf的专栏
06-08 1837
近期开发Flink CDC 读取mysql数据写入到HDFS，发现写入中文乱码，排查了数据库编码和文件编码都没有问题，后来网上查了一些资料，修改flink.conf文件，新增如下内容 Spark中文乱码 也排查了数据库编码和文件编码没有问题，在程序启动参数中新增–conf spark.executor.extraJavaOptions=“-Dfile.encoding=UTF-8” --conf spark.driver.extraJavaOptions=“-Dfile.encoding=UTF-8” 完整
flink web页面中文乱码解决
仙道Bob的专栏
10-29 2816
flink on yarn运行，web页面task managers logs和stdout中文显示均乱码(全都问号)，解决办法如下： 修改flink-1.11.0/conf/flink-conf.yaml 增加一行： env.java.opts: "-Dfile.encoding=UTF-8" 重启flink程序即可
flink on yarn任务中文乱码问题解决记录
09-11 934
flink任务中文乱码问题解决
mysql中文正常，Flink SQL乱码怎么处理
Wine_95的博客
12-13 791
mysql读取中文是正常的，但是flink SQL 读就是乱码，是什么原因呢
flink写入HDFS中文乱码
songjifei的专栏
03-25 2280
客户端埋点日志进行解析时需要获取地区编码和名称，程序是通过flink分布式缓存将地区编码和名称数据传到每个task节点进行读取。本地测试时没有问题，但是部署到集群数据写入hdfs后发现中文乱码，代码如下： //设置分布式缓存文件地址 StreamExecutionEnvironment bsEnv = StreamExecutionEnvironment.getExecutionEnv...
Flink 日志中文乱码
weixin_53803675的博客
04-08 1719
通过Web界面查看Flink日志，在Log打印出现中文乱码， 这种情况下可以在flink.conf. yaml加上 env.java.opts: “-Dfile.encoding=UTF-8”
【Flink】Flink web UI 界面作业命令乱码
九师兄
05-03 427
注意可能读取不到，请注意看看实际有没有读取到。
Flink 集成 Debezium Confluent Avro ( format=debezium-avro-confluent )
Laurence的技术博客
01-26 709
本文介绍的场景是：使用 Kafka Connect 的 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据 （Avro 格式）接入到 Kafka 之后，通过 Flink 读取并解析这些 CDC 数据，其中，数据是以 Confluent 的 Avro 格式存储的，也就是说，Avro 格式的数据在写入到 Kafka 以及从 Kafka 读取时，都需要和 Confluent Schema Registry 进行交互，从而获取 Schema 信息，本文讨论的就是在这一场
Java输出语句中显示乱码问题的解决方法
TechWhizZ的博客
09-24 1440
如果输出设备使用的字符编码与Java的默认字符编码不匹配，那么输出的内容就会显示为乱码。通过使用正确的字符编码、设置控制台字符编码、使用合适的字体以及检查源代码文件的字符编码，我们可以解决这个问题并正确地显示所期望的输出内容。这时，可以尝试更改输出设备的字体设置。您可以将源代码文件的字符编码转换为与源代码文件中实际使用的字符编码匹配的编码格式，从而确保输出时不会出现乱码。如果您仍然遇到输出语句中显示乱码的问题，建议您进一步检查输入的内容是否包含非ASCII字符，并确保使用了正确的字符编码进行处理。
Flink on YARN 日志编码问题解决方案
2301_79366435的博客
09-15 266
本文将介绍如何解决 Flink on YARN 的日志编码问题，并提供相应的源代码示例。在 Flink on YARN 中，Flink 应用程序的日志通常被记录在 YARN 的日志聚合器中。通过确保 Flink 应用程序和 YARN 的字符编码设置一致，我们可以解决 Flink on YARN 的日志乱码问题。要解决 Flink on YARN 的日志乱码问题，需要确保 Flink 应用程序和 YARN 的字符编码设置保持一致。在启动 Flink 作业之前，确保设置了正确的字符编码。在这个示例中，我们将。
android编译后出现乱码,AndroidStudio运行Build Output乱码问题解决
weixin_39811150的博客
05-26 1414
AndroidStudio运行Build Output乱码问题解决AndroidStudio运行Build Output乱码问题解决AndroidStudio运行Build Output乱码问题解决问题如下图：解决步骤：1、打开文件(操作路径如下图所示)：studio64.exe.vmoptions(32位系统为studio32.exe.vmoption)，如果没有该文件会提示你创建该文件，新建完...
CDH环境下 Flink On Yarn 任务中文乱码问题解决
weixin_42900056的博客
07-19 3249
Flink On Yarn 任务中文乱码问题解决问题描述问题解决1. Linux的环境变量设置字符集2. 修改MapReduce的环境变量3 CM界面,修改Yarn配置(mapred-site.xml)4 非CDH环境解决参考 问题描述 在Flink通过kudu-client方式插入CDH上的Kudu表数据中，包含中文数据，本地idea执行是正常的，但是服务器上执行就乱码。进一步排查发现，使用Flink的StandaloneCluster模式运行该程序写入数据正常，使用PerJobOnYarn模式则乱码，初
导入文件中文乱码问题_flink的ParameterTool获取中文乱码问题
weixin_32673065的博客
01-13 544
在用ParameterTool获取参数时，会出现中文乱码的问题。如下获取ParameterTool的方法getParameterTool：/** * 获取配置信息 * @param filePath 配置文件路径 * @return ParameterTool */ public static ParameterTool getParameterTo...
解决中文乱码
沉默许久
07-11 1040
         这是我在做的第一个项目(环境为:jdk1.6+mysql5.0.27+struts)中碰到的中文乱码问题,现总结出来供需要的人学习.如有不对的地方还请高手赐教!1:做一个filter过滤器.代码如下:package com.cmesn.struts.filter;import java.io.IOException;import javax.servlet.http.
java sql 写入万条数据_Flink教程-flink 1.11 使用sql将流式数据写入文件系统
weixin_39624461的博客
11-29 300
滚动策略分区提交完整示例flink提供了一个file system connector，可以使用DDL创建一个table，然后使用sql的方法写入数据，支持的写入格式包括json、csv、avro、parquet、orc。一个最简单的DDL如下：CREATETABLEfs_table(user_idSTRING,order_amountDOUBLE,dtSTRING,h...
kafka消费中文乱码问题
热门推荐
xiao_bai111的博客
11-23 1万+
kafka生产者发送中文（采用UTF-8编码）到消息队列，在本地IDEA运行调试正常。将软件打包成jar,在dos窗口运行jar包，发现发送中文数据时是乱码，消费者消费中文时也是乱码。 可能原因 放到服务器的dos运行jar包 ， dos窗口的默认编码为GBK，将经过utf-8编码之后的数据再进行gbk解码-编码，所以此时消息会出现乱码。 解决方法 代码中进行的utf-8编码不进行改动，运行jar包时，使用命令 java -Dfile.encoding=utf-8 -jar jar包名，此时将dos窗口默
flink sql 13.2 读取与写入数据库的报错（踩坑）
a123147abc的博客
09-10 1022
flink sql读取与写入数据库的报错
kafka乱码
最新发布
03-13
### 解决Kafka消息传输中的字符编码乱码问题 #### 1. 理解字符编码原因 当使用不匹配的字符集进行编解码时，可能会导致中文乱码现象。例如，在某些情况下，如果采用 ISO-8859-1 对汉字进行转换并尝试将其还原，则由于该字符集仅占用一字节空间而无法完全表示复杂的汉字结构，从而造成部分数据丢失进而引发显示异常[^3]。 #### 2. 修改生产者端配置 为了确保发送到 Kafka 的消息能够被正确解读，可以在生产者的 `properties` 文件里设置合适的序列化类以及指定正确的字符编码方式。对于中文环境来说，默认使用的 `DefaultEncoder` 可能不足以满足需求；建议改为支持多字节字符集（如 UTF-8）的实现： ```java props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); // 或者更具体地指明编码格式为UTF-8 System.setProperty("file.encoding","UTF-8"); ``` 以上代码片段展示了如何通过 Java 属性来设定全局文件编码为 UTF-8，这有助于保证所有涉及字符串的操作都遵循统一的标准[^1]。 #### 3. 调整消费者端逻辑 同样地，在消费侧也需要做相应的调整以适应新的编码规则。可以利用 Spring Boot 提供的功能简化这一过程，比如下面这段基于注解风格的服务定义就很好地示范了这一点： ```java @Service public class KafkaConsumerService { @KafkaListener(topics = "${topic.name}", groupId = "${group.id}") public void listen(String message) throws Exception { // 假设服务启动参数已经包含了正确的编码信息 System.out.println(new String(message.getBytes(StandardCharsets.ISO_8859_1), StandardCharsets.UTF_8)); } } ``` 这里的关键在于接收到来自 Kafka 主题的消息之后立即将其按照原始编码重新解释一遍再转为目标编码输出，以此规避潜在的乱码风险[^2]。 #### 4. 统一整个系统的字符编码策略 除了上述两端之外，还应该考虑在整个应用程序乃至集群范围内推行一致性的字符编码标准。特别是在像 Flink 这样的分布式计算框架中工作时更是如此——可以通过编辑相应组件的配置文件来进行全局范围内的修改[^5]。 最后值得注意的是，虽然上面提到的例子主要围绕着 JVM 生态展开讨论，但对于其他编程语言构建的应用程序而言，原理也是相通的：即始终要保持从源头到最后呈现环节的一致性和准确性[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ysksolution

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值