去掉Adodb.Stream输出UTF-8的BOM

最新推荐文章于 2025-05-18 15:45:58 发布
最新推荐文章于 2025-05-18 15:45:58 发布
阅读量7.4k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 未分类 文章标签： stream function xhtml input output html
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/CaiKanXP/article/details/5614901
本文介绍如何利用Adodb.Stream在写入UTF-8文本时避免产生BOM头。通过调整写入字符的顺序和转换流的类型，可以避免Adodb.Stream自动添加BOM。详细的方法包括先写入第一个字符，然后切换到二进制模式跳过BOM，再转换回文本模式写入剩余字符。最后，保存文件前需将流转为二进制模式以防止Adodb.Stream在输出时添加BOM。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

通过Adodb.Stream，可以很方便的读写二进制及及文本流，可读写文件，并可指定文本流的字符集编码。
可是Adodb.Stream输出UTF-8编码的文本流时，会在流的最前端加上BOM。
BOM是什么：Byte Order Mark, UTF-8编码特有的标记，在文件流的开始中占用3个字节“EF BB BF”。
BOM有什么用处：这里不做讨论，这里要讨论的是如何在Adodb.Stream(以下简化为stream或“流”)中去掉这3个字节的BOM，因为很多时候我们都不希望输出的文件开头包含这3个字节。

 

最直接简单的做法可以这样：
我们已经知道BOM占用3个字节，那么我们可以在stream中写入UTF-8字符串之后，将stream转换为二进制类型，然后跳过头3个字节，并将剩下的字节用CopyTo()方法拷贝到一个新的stream中去。
不过这样好像有潜在的很严重的性能问题，如果这个文本流比较大，会不会因为处理这个流而耗费双倍的资源？

 

那我们将上面的方案优化一下。
经过测试发现，stream在“UTF-8”编码的Text方式下首次调用WriteText()方法时，会自动在stream的最开始加入3个字节。
更严格的说，在以下状态下(JS code)：
stream.Position = 0; // 流的位置在最开始时
stream.Type = 2; // adTypeText
stream.Charset = 'UTF-8';
调用stream.WriteText()方法时，stream会自动先在流的最开始插入3个字节的BOM。

 

而stream.Position在任何非0值的情况下，调用WriteText()方法都不会再插入BOM了，可以利用这一点来避免自动插入BOM。
假如我们需要朝stream中写入10个UTF-8字符，我们先按照通常方式在一个刚创建的stream中只写入第一个UTF-8字符。
之后将stream转换为二进制类型(adTypeBinary)，跳过stream开始的3个BOM字节，并读出剩余的字节（这些字节应该只包含刚刚一个字符的数据，不含其它杂质）。
再回到流的开始，将刚刚读出的字节重新写入流，写完后立即调用SetEOS()方法将当前位置设为流末尾。
然后将stream重新转换回文本类型(adTypeText)，并将流当前位置移到流末尾。
此时继续写入剩余的9个UTF-8字符，stream会将其编码后的字节数据直接添加到尾部，而不会再插入BOM了。
此后若需要继续往stream中写入文本，直接调用WriteText()方法即可。

 

通过测试可以发现，如上方式写入的UTF-8字符串通过ReadText()方法也能正常读出，但是stream.Size却比传统方式直接写入UTF-8的stream小3，很明显就是少了那3个“多余”的BOM字节。

 

问

最低0.47元/天 解锁文章

200万优质内容无限畅学
VBScript将字符串保存为UTF-8编码不带BOM的文本文件
dgiij的博客
03-06 807
后来看到有网友推荐了一个高级玩法，说前面的处理方式是要将整个字符串编码写入两个流，当字符串很长时，有空间和性能的较多开销，可以在文本流中仅写入一个字符，然后Copy到二进制流，然后在二进制流中进行以下操作：设置结尾标识，计算下流长度，然后重新定位到起始位置，更改流类型为文本流，UTF-8编码，然后再定位到第一个字符编码位置后，写入原字符串后面的所有字符信息，然后再定位到起始位置，更改流类型为二进制流，然后写入文件，这样也可以一个得到没有BOM的UTF-8的文本文件了。没有毛病，我也是这样处理的。
VBA 格式化输出XML(UTF-8无BOM编码)
河畔芦白
08-28 1万+
VBA可以使用MSXML2.Document来创建xml Dom树，先看个简单的例子： Function CreateXml(xmlFile As String) Dim xDoc As Object Dim rootNode As Object Dim header As Object Dim newNode As Object Dim tNode
asp用adodb.stream保存utf-8文件时去掉bom头
fengwusan的专栏
11-15 1588
function putTextContent(path, data, chrs) { chrs = (chrs || "utf-8").toLowerCase(); var com = new ActiveXObject("ADODB.Stream"), utf8 = "utf-8" === chrs; com.Type = 2, com.Mode = 3, com.Charset =
【Excel 读取TXT 】VBA 工作中之灵活强大的通用方法 - “ADODB.Stream“
qq_33764107的博客
05-18 541
本文介绍了使用 ADODB.Stream 对象处理文本文件的灵活性和强大功能。通过 Stream，用户可以自定义字符集编码，避免乱码问题，并支持读取二进制文件。在处理大文件时，Stream 可以分段读取，避免内存溢出，提升性能。此外，Stream 允许在读取过程中进行数据拦截和处理，实现自动化数据清理。文章提供了两个代码示例，分别展示了如何一次性读取文本文件内容以及如何自定义读取字符数量，并详细列出了 ADODB.Stream 的常用属性和方法，如 Open、Close、ReadText 等。
利用AdoDb.Stream对象来读取UTF-8格式的文本文件
01-20
代码如下:‘函数名称:ReadTextFile     ‘作用:利用AdoDb.Stream对象来读取UTF-8格式的文本文件     ‘—————————————————-     Function ReadFromTextFile (FileUrl,CharSet)         If FileUrl = “” OR IsNull(FileUrl) Then             ReadFromTextFile = “”             Exit Function         End If         If Not FLib.IsReallyPath(FileUrl)
Adodb.Stream读取和写入UTF-8编码的文件
weixin_30699443的博客
03-18 660
<%'函数名称：ReadTextFile'作用：利用Adodb.Stream对象来读取UTF-8编码的文件'示例：ReadFromTextFile("File/FileName.htm",UTF-8)FunctionReadFromTextFile(FileUrl,CharSet)dimstrsetstm=server.CreateObject("adodb.stream")st...
VBS处理UTF-8文本之ADODB.stream
12-15 7926
文章目录1、ADODB.stream对象2、ADODB.stream对象的方法2.1、open2.2、close2.3、Write 方法2.4、WriteText 方法2.5、Read 方法2.6、ReadText 方法2.7、Flush 方法2.8、CopyTo 方法2.9、SkipLine 方法2.10、LineSeparator 属性2.11、EOS 属性2.12、SetEOS 方法2.13...
VB、VBS 、ASP、VBA 利用ADODB.Stream实现GB2312和UTF8编码转换
业余编程
05-25 4069
先前说到，想用ADODB.Stream 实现GB2312和UTF8编码转换 未果，找了下，找到个文章：《利用ADO STREAM实现GB2312和UTF8编码转换》，试了下，在VB和VBA都没问题，但是在 ASP 和 VBS 下面就不成了，原因就是我一直纠结的，adoStream.Write bytes 失败！ 于是又专门找了一下 VBS 下 Byte 数组的定义方法（https://www.jb51.net/article/33247.htm），将上面的《利用ADO STREAM实现G...
StreamWriter结合UTF-8编码使用不当，会造成BOM（Byte Order Mark ）问题生成乱码（转载）...
05-08 643
问： I was using HttpWebRequest to try a rest api in ASP.NET Core MVC.Here is my HttpWebRequest client code: HttpWebRequest req = (HttpWebRequest)WebRequest.Create("http://localhost:55161/...
vba判断文件编码格式_VBA-向文本文件写入编码为UTF-8的数据(无BOM)
weixin_33678821的博客
12-31 1667
'直接用下面代码调用即可'Str 为文本，Filepath 为文本文件的路径例：call ToUtf8("AA","d:\abc.txt")代码Private Sub ToUtf8(Str$, Filepath$)Dim OutSt As Object, BinSt As ObjectSet OutSt = CreateObject("ADODB.Stream")Set BinSt = Crea...
下面这段asp 代码是生成vcf文件用的，但是生成的vcf文件格式是 utf-8 缺总是带着bom ，这怎么解决 ？ Sub WriteToTextFile (FileUrl,byval Str,CharSet) dim stm set stm=server.CreateObject("adodb.stream") stm.Type=2 '以本模式读取 stm.mode=3 stm.charset=CharSet stm.open stm.WriteText str stm.SaveToFile server.MapPath(FileUrl),2 stm.flush stm.Close set stm=nothing End Sub
03-19
好的，我现在需要解决用户在ASP中使用ADODB.Stream生成UTF-8编码的VCF文件时出现BOM的问题。根据用户提供的引用资料，我需要分析这些引用中的方法，找到合适的解决方案。 首先，用户提供的引用[1]展示了基本的ADODB...
生成不带BOM头的UTF-8文件
热门推荐
wang_cel的专栏
06-08 1万+
UTF-8（带BOM）：writer = New StreamWriter(FilePathName, True, System.Text.UTF8Encoding.UTF8) UTF-8（不带BOM）：writer =New StreamWriter(FilePathName, True, New UTF8Encoding(False))
ADO:Stream 对象
随风飞翔
11-29 2794
Stream 对象 表示二进制数据或文本的流。 说明 在诸如文件系统或电子邮件系统这样的树状分级结构中，Record 可能有一个与之相关联的位的默认二进制流，其中包含文件或电子邮件的内容。Stream 对象可用于对包含这些数据流的字段或记录进行操作。可以通过下列方式获取 Stream 对象： 通过指向包含二进制或文本数据的对象（通常是文件）的 URL。此对象可以是简单的文档、表示结构化文档的 Re
PB9利用ADODB.Stream和ToUniCode()及ToAnsi()两个函数实现UTF-8及GB2312的转换
hwhone的专栏
06-15 6639
PB9利用ADODB.Stream和ToUniCode()及ToAnsi()两个函数实现UTF-8及GB2312的转换 下面的列子是将ANSI的文本文件转换成UTF-8的文本文件 integer li_rtn ,li_filenum  long flen,i,loops long bytes_read  blob     lblb_text,b   string ls_xmlsrin
用VBA生成UTF-8无BOM格式的文件
ChenMengAngZhi_的博客
05-11 4480
这两天在做一个用vba生成sql文件的工具类，要求编码格式为UTF-8.最后生成的文件是UTF-8带BOM的，在MySQL数据库运行时会报1064错误，查阅了好多文档，最终得以解决。
避免Adodb.Stream输出UTF-8时自动写入的BOM（asp）
vbangle的专栏
07-28 3843
asp生成html如果采用utf8编码方式，多数采用的是Adodb.Stream组件，因为fso并不能支持Utf-8         最近在写一个生成HTML页面的程序，模板是一个UTF-8的HTML文件，在这个文件里已经去除了BOM。现在用ADODB.STREAM读取模板，添加内容，然后输出为UTF-8的HTML网页。但我检查这个HTML时发现被自动加上了BOM。导致申明错误，从而使d
yyjson读取UTF-8 with BOM
最新发布
07-05
<think>我们正在处理yyjson库读取带有BOM的UTF-8文件的问题。根据引用[3]和[4]，我们知道BOM（Byte Order Mark）在文件开头，可能会干扰解析器，导致第一行出现乱码（如问号）。yyjson是一个高性能的JSON库，但默认可能不处理BOM。 参考引用[3]的解决方案：使用Python时，可以用`utf-8-sig`编码打开文件，它会自动去除BOM。同样，在Java中，也有方法去除BOM（如使用UnicodeReader）。那么，在yyjson中，我们可能需要手动处理BOM。 步骤： 1. 读取文件的前几个字节（最多3个），检查是否是BOM（即0xEF,0xBB,0xBF）。 2. 如果是BOM，则跳过这三个字节，将剩余内容作为JSON字符串传递给yyjson解析。 3. 如果没有BOM，则直接解析。 注意：yyjson提供了从文件、内存和字符串读取JSON的接口。我们可以使用内存读取方式，先读取整个文件内容，然后检查并跳过BOM。 例如，使用C语言： ```c #include <yyjson.h> #include <stdio.h> #include <stdlib.h> yyjson_doc *read_json_with_bom(const char *filename) { FILE *fp = fopen(filename, "rb"); if (!fp) return NULL; // 获取文件大小 fseek(fp, 0, SEEK_END); long size = ftell(fp); fseek(fp, 0, SEEK_SET); // 分配内存 char *data = (char *)malloc(size); if (!data) { fclose(fp); return NULL; } // 读取文件内容 fread(data, 1, size, fp); fclose(fp); // 检查BOM if (size >= 3 && (unsigned char)data[0] == 0xEF && (unsigned char)data[1] == 0xBB && (unsigned char)data[2] == 0xBF) { // 跳过BOM，解析剩余部分 return yyjson_read(data + 3, size - 3, 0); } else { // 直接解析 return yyjson_read(data, size, 0); } } ``` 注意：上述代码没有错误处理，实际使用中应添加。另外，解析完成后需要释放分配的内存和文档。 另一种方法：使用yyjson提供的文件读取接口，但需要先跳过BOM。然而，yyjson的文件读取函数（如`yyjson_read_file`）可能不会自动处理BOM，因此我们需要以二进制模式打开文件，读取并跳过BOM，然后将文件指针传递给yyjson。但是，yyjson的文件读取函数要求文件路径，而不是文件指针。所以，我们可以使用内存映射或者上述方法。 如果文件很大，使用内存映射可能更高效，但上述方法已经足够通用。 另外，引用[5]提到在ASP中用ADODB.Stream保存UTF-8文件时去掉BOM，这提示我们可以在写入文件时避免使用BOM，这样读取时就不需要处理了。但如果是第三方文件，我们无法控制，则必须处理。 总结：在读取文件时，先检查并跳过BOM，然后将剩余内容作为JSON解析。 相关问题： 1. 如何检测UTF-8文件是否包含BOM？ 2. 除了BOM，还有哪些常见的编码问题会影响JSON解析？ 3. yyjson库在解析JSON时还有哪些注意事项？</think>### yyjson 读取 UTF-8 with BOM 文件的正确解析方法 yyjson 默认不自动处理 UTF-8 BOM 头，需要手动处理。以下是解决方案： #### 方法一：手动跳过 BOM（推荐） ```c #include <yyjson.h> #include <stdio.h> yyjson_doc* read_json_with_bom(const char *path) { FILE *fp = fopen(path, "rb"); if (!fp) return NULL; // 检测并跳过 BOM (3字节: 0xEF,0xBB,0xBF) unsigned char bom[3]; if (fread(bom, 1, 3, fp) == 3 && bom[0] == 0xEF && bom[1] == 0xBB && bom[2] == 0xBF) { // BOM 已跳过 } else { // 无 BOM，重置文件指针 fseek(fp, 0, SEEK_SET); } // 读取剩余内容 fseek(fp, 0, SEEK_END); long size = ftell(fp); fseek(fp, bom[0] == 0xEF ? 3 : 0, SEEK_SET); char *data = malloc(size); size_t len = fread(data, 1, size, fp); fclose(fp); // 用 yyjson 解析 yyjson_doc *doc = yyjson_read_opts(data, len, YYJSON_READ_ALLOW_COMMENTS | YYJSON_READ_ALLOW_TRAILING_COMMAS, NULL, NULL); free(data); return doc; } ``` #### 方法二：预处理文件（适用于可控文件） 1. 将文件转换为无 BOM 的 UTF-8 格式： ```python # Python 转换示例 with open("input.json", "r", encoding="utf-8-sig") as f: # 自动去除BOM content = f.read() with open("output.json", "w", encoding="utf-8") as f: # 无BOM写入 f.write(content) ``` 然后使用 yyjson 直接读取 `output.json`[^3] #### 关键说明： 1. **BOM 结构**：UTF-8 BOM 是固定的 3 字节序列 `0xEF 0xBB 0xBF` 2. **检测逻辑**：读取文件头 3 字节判断是否为 BOM 3. **内存处理**：跳过 BOM 后需调整文件指针和缓冲区偏移 4. **性能考虑**：yyjson 支持原地解析（`YYJSON_READ_INSITU`），但需确保 BOM 已移除[^3][^4] > **注意**：Web 场景下 UTF-8 BOM 可能导致问题，建议在数据源端消除 BOM[^1][^5]。QT/C++ 等环境也需特别注意带 BOM 文件的编译问题[^2]。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值