使用iconv进行shift-JIS->UTF-8的出现的问题

最新推荐文章于 2024-06-02 00:47:17 发布
原创 最新推荐文章于 2024-06-02 00:47:17 发布 · 1.7k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #语言 #shell #class #编程 #file

本文详细介绍了在Linux环境下将包含特殊字符（如①）的Shift-JIS编码文本转换为UTF-8编码时遇到的错误（LINUXERRNO84、Invalid or incomplete multibyte or wide character），并提供了解决方案，即使用SHIFT_JISX0213进行转码后再转换为UTF-8。同时，文章还分享了如何在遇到特定字符无法转换的情况下，通过设置iconv_t为IGNORE来解决这一问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、有些特殊的字符（比如①）进行shift-JIS->UTF-8会出现错误：LINUX ERRNO 84、Invalid or incomplete multibyte orwide character。需要用SHIFT_JISX0213进行->UTF-8的转码

2、仍然有些字符无法进行转码，需要调用在调用iconv_t iconv_open(const char *tocode, const char *fromcode)时设置为：tocode//IGNORE：

 

Linux:命令：iconv，将文本做字符间转换； gcc finput-charset=charset
mzhan017的博客
05-25 681
这个iconv为gcc提供字符转换的支持。其实这个命令也是glibc提供的。有命令上的支持，也有功能库的支持。iconv库，方便gcc使用。
linux中文变成日文,linux nkf 日文编码转换命令[转载]
weixin_32450633的博客
05-11 648
对于日语的编码 windows :Shift-JIS Linux :2.4内核使用EUC编码,2.6内核中使用UTF8编码 检查文件编码 nkf -g filename 通常处理字符编码都使用iconv这个命令,但是iconv命令只能用来处理文件名,但对于文本内容的编码就无法处理了, 要想对文本内容的字符编码进行转换,就要用到nkf了 -j : 转换为 JIS 编码(ISO-2022-JP)...
关于shift-jis编码转换utf-8
weixin_43671743的博客
08-31 8767
工作中遇到了一个日本客户的文件编码为shift-jis的文件,客户系统的文件要与本地的一些文件做比较,由于数据量比较大需要用对比工具进行比较,操作系统被系统部设置成了半英文半日文形式(不要太酸爽),采用winMarge工具对比问题来了.文件本身编码格式不一致尽管数据拿眼一看就知道无差异但是仍然出现了不一致. 这时候需要文件的编码一致,同事教我将.txt文件另存为一个文件然然后选择指定的编码格式,然后进行比较就没问题了,但是…他电脑是日文系统,跟我这个杂合系统有差异,他是把本地系统文件转为客户编码文件,然后对
shift-jis 转 utf-8 c++
osummertime的博客
08-29 3854
#include "stdafx.h" #include "shift_jisTo_utf_8.h" #include #include using namespace std; wchar_t* sjisToUnicode(char* src); char* unicodeToUtf8(wchar_t* wText); void main(){ char *srcText = new ch
java字节转码，Shift_JIS转UTF8
卡奥斯道的博客
10-30 4153
public static void read(String path,String path1){ File file = new File(path); File file1 = new File(path1); int rownum = 1; String row; try { Buff...
常用编码：Shift_JIS, GBK,EUCKR,Big5,UTF8,CP1252
热门推荐
hellofeiya的专栏
12-27 3万+
(1) Shift_JIS Shift_JIS是一个日本电脑系统常用的编码表。它能容纳全角及半角拉丁字母、平假名、片假名、符号及日语汉字。 它被命名为Shift_JIS的原因，是它在放置全角字符时，要避开原本在0xA1-0xDF放置的半角假名字符。 在微软及IBM的日语电脑系统中，即使用了这个编码表。这个编码表称为CP932。 目录  [隐藏]  1字节结构2S
ShiftJis码->UTF-8, EUC码->JIS码
编程之路
09-25 2572
CString MCR_COMMFUN::SjisToUtf8(CString szSrc) {  CString szDes = _T("");  int nlen = MultiByteToWideChar( CP_ACP, 0, (LPCSTR)szSrc, -1,
unzipgbk:在 UTF-8 环境中解压 GBK、BIG5 或 SHIFT-JIS 编码的 zip 文件
06-03
在 UTF-8 环境中解压 UTF-8、GBK、BIG5 或 SHIFT-JIS 编码的 zip 文件。 自动检测zip文件中文件名的编解码器，或者您可以使用-c指定特定的编解码器，但强制错误的编解码器将无法提取文件。 参考iconv --list以获取...
【POSIX】使用iconv库将UTF-8字符串转换为UTF-16字符串
最新发布
Taozi825232603的博客
06-02 733
使用来进行字符串编码的转换
Ruby 中关于日文转UTF-8及半角全角转换的技巧
01-02
1.日文转UTF-8 Iconv.new(‘cp932’, ‘utf-8’)与Iconv.new(‘shift_jis’, ‘utf-8’)的区别 Iconv.new(‘shift_jis’, ‘utf-8’)不支持以下的格式: 課№001-18 XXXXXXX 而只能把字符窜中的№换成No.才行 但是...
iconv::rocket:纯正的Golang工具
05-17
UTF-8 GBK GB-18030 GB2312 大5 ISO-8859-1 EUC-JP Shift_JIS 更多即将推出 用法 import ( github . com / mushroomsir / iconv ) 转换字符串值 可以使用两种方法来转换字符串。 首先，有iconv.Convert...
invalid or incomplete multibyte or wide character报错
weixin_43965571的博客
04-20 2436
方法二：g++ -std=c++11 Test.cpp -o a.out -finput-charset=GBK。办法一：更改保存格式为UTF-8；
converting to execution character set: Invalid or incomplete multibyte or wide character
xiaxiazls的博客
01-13 8614
在linux下编译源码的过程中往往会遇到这个错误： converting to execution character set: Invalid or incomplete multibyte or wide character 这说明当前*.c或*.cpp文件里面有GBK编码格式，这时需要把当前的c或cpp转为linux所熟悉的utf-8格式，可以考虑采用如下两种方法来实现：
简体 “” iconv("GBK", "UTF-8") 失败
shixinwenwu的专栏
01-06 2307
1.首先总结几个概念： Unicode是全球最全的字符格式。iconv 源代码里面所有转化都是先将原格式转成”UCS-4”（用四个字节来表达UNICODE的格式），然后在转成目标格式。 绝大多数字符的UNICODE码都是2字节的，UCS-2就够了，iconv为了作为中间格式选择为4字节，不足4字节的高位都是0。下面是iconv的定义代码： /* Our own notion of wide char
ANSI、GBK、Unicode等等iconv转换详解一文搞定
嵌入式软件实战派
01-26 6090
本文首发于公众号“嵌入式软件实战派”，关注后获得更多精品干货。 > 网页上的编码 也许你会问，自从有了互联网，全世界都近在咫尺，那么网页上的编码时什么，是怎么做到不同语言文字国家的浏览器都可以显示正确的文字字符呢？ 下面举个例子，用古老的IE浏览器打开度娘主页，就长这样，如果是欧美国家打开应该也是这样，不是说字符编码不一样的吗？ 其实，窍门在这，在网页右键，选择“编码”，然后可以看到子菜单的选择 将其改成“简体中文（GB2312）”会怎样呢？ 呵呵，乱码了…… 在..
Shift_JIS
03-03 8104
Shift_JIS是一个日本电脑系统常用的编码表。它能容纳全形及半形拉丁字母、平假名、片假名、符号及日语汉字。它被命名为Shift_JIS的原因，是它在放置全形字符时，要避开原本在0xA1-0xDF放置的半角假名字符。在微软及IBM的日语电脑系统中，即使用了这个编码表。这个编码表称为CP932。 字节结构以下字元在Shift_JIS使用一个字节来表示。ASCII字符 (0x
Linux(iconv)和windows(MultiByteToWideChar)下的字符转换
guolisong的专栏
12-09 1381
Linux版本： iconv指令： iconv -f 原始字符集 -t 目标字符集 原始文件 -o 目标文件 比如将日文SHIFT-JIS文件转为简体中文： iconv -f SHIFT-JIS -t GB18030 url.txt -o test18030.txt 在notepad中，默认情况下，使用的编码是utf-8编码，测试时，如果要测试中文，建议首先将字符集改为chinese->gb2312，然后再在页面上输入。右下角如下所示： 日文编码查询网站： https://ww.
iconv 文件编码转换
随笔记录-分享&记忆
06-18 1823
linux shell 配置文件中默认的字符集编码为UTF－8 。UTF－8是unicode的一种表达方式，gb2312是和unicode都是字符的编码方式，所以说gb2312跟utf－8的概念应该不是一个层次上的。在LINUX上进行编码转换时,可以利用iconv命令实现,这是针对文件的,即将指定文件从一种编码转换为另一种编码。  查了下iconv命令用法如下： iconv [选项...] [
掌握gulp编码转换利器：gulp-convert-encoding插件
iconv-lite支持的编码类型非常多，从常见的UTF-8、UTF-16、ISO-8859-1到一些特定地区的编码，如Big5（繁体中文编码）、Shift_JIS（日文编码）等。 ### 注意事项 在使用gulp-convert-encoding时，有几点需要注意： ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值