delphi解析TFDJsonDataSets生成的TJsonObject对象时提示存在于多字节代码页中的Unicode字符没有映射

Delphi 建立JSON 数据之 TJSONObject RAD Studio 10.2.3 测试√ procedure TForm1.Button_SetJSONDataClick(Sender: TObject); var // uses System.JSON; mJSON, mTempJSON: TJSONObject; mJSONArray: TJSONArray; begin mJSON := TJSONObject.Create; mJSONArray := TJSONArray.Create; try mJSON 阅读详情

delphi解析TFDJsonDataSets生成的TJsonObject对象时提示

存在于多字节代码页中的Unicode字符没有映射

一、问题的提出:  

服务器端需要返回Json对象:        function getTablesStruct :TJSonObject;

  LFDJsonDatasets := TFDJsonDatasets.Create;
  LFDJSONInterceptor:=TFDJSONInterceptor.Create;
  Result:=TJSonObject.Create;

// 生成LFDJsonDatasets :

          ProduceAbigTFDJSONDataSets(LFDJsonDatasets,
            LDatasTab1Key,LDatasTab1Sql,
            LDatasTab2Key,LDatasTab2Sql,
            LDatasTab3Key,LDatasTab3Sql );

// 返回TJSonObject对象 :

          ifFinished:=LFDJSONInterceptor.DataSetsToJSONObject(
            LFDJsonDatasets,
            Result );

现在如果:客户器端不用TDSRestConnection的delphi客户端连接来反序列化ATFDJSONDataSets: 

    TFDJSONInterceptor.JSONObjectToDataSets( ATJSONObject, ATFDJSONDataSets );

        FDAdaptedDataSet := TFDJSONDataSetsReader.GetListValueByName(
          ATFDJSONDataSets ,'取物品资料表');

而采用Rest办法:自然就需要解析服务器端返回的TJSonObject,而该Json对象中,包含类似这样的“乱码”:

Json解析出对值“乱码”:直接Base64解码后,UTF8编码还原时,会提示:

'No mapping for the Unicode character exists in the target multi-byte code page'.

即:存在于多字节代码页中的Unicode字符没有映射。

二、分析

1、这样的“乱码”是什么码,怎么来的

    这样的“乱码”是“压缩流的二进制编码”的字符串,而压缩流的字符串是Base64对二进制格式适配数据集的内存流的编码的字符串,编码过程的源代码的流程如下:

--->从TFDJSONDataSets中获取需要返回客户端的TJSONObject

class function TFDJSONInterceptor.DataSetsToJSONObject(
  const ADataSets: TFDJSONDataSetsBase;
  const AJSONObject: TJSONObject): Boolean;

  Result := ItemListToJSONObject(ADataSets.FDataSets, AJSONObject);

--->TFDJSONDataSets从其TItemList列表获取各项适配数据集的值

class function TFDJSONInterceptor.ItemListToJSONObject(
  const AList: TItemList; const AJSONObject: TJSONObject): Boolean;

var
  LPair: TFDJSONDataSets.TItemPair;
  LActive: Boolean;
  LJSONDataSet: TJSONValue;
  LDataSet: TFDAdaptedDataSet;

    for LPair in  TFDJSONDataSets.TItemList(AList) do
    begin
      Result := True;
      LDataSet := LPair.Value;
      LActive := LDataSet.Active;
      if not LActive then
        LDataSet.Active := True;
      try
        LJSONDataSet := DataSetToJSONValue(LDataSet);
        // Use AddPair overload that will accept blank key
        AJSONObject.AddPair(TJSONPair.Create(LPair.Key, LJSONDataSet))
      finally
        if not LActive then
          LDataSet.Active := False;
      end;
    end;

--->TFDJSONDataSets的TItemList列表中的各项适配数据集获取TJSONValue字符串:

function DataSetToJSONValue(const ADataSet: TFDAdaptedDataSet): TJSONValue;
var
  S: string;
begin
  S := DataSetToString(ADataSet);
  Result := TJSONString.Create(S);
end;

--->TFDJSONDataSets的TItemList列表中的各项适配数据集获取什么格式的字符串:

    --->:经压缩后的内存流中的被Base64编码的二进制字符串:

function DataSetToString(const ADataSet: TFDAdaptedDataSet): string;
var
  LBinary64: string;
  LMemoryStream: TMemoryStream;
  LStringStream: TStringStream;
  LDstStream: TMemoryStream;
  Zipper: TZCompressionStream;
begin
  LDstStream := TMemoryStream.Create;  //:TNetEncoding.Base64.Encode编入TStringStream的目标内存流
  try
    LMemoryStream := TMemoryStream.Create;  //:适配数据集保存入的二进制内存流
    try
      ADataSet.SaveToStream(LMemoryStream, TFDStorageFormat.sfBinary);   //:将适配数据集保存入上面的二进制内存流
      LMemoryStream.Seek(0, TSeekOrigin.soBeginning);
      Zipper := TZCompressionStream.Create(clDefault, LDstStream);  //:产生1个将上面的Base64目标内存流进行压缩的压缩流
      try
        Zipper.CopyFrom(LMemoryStream, LMemoryStream.Size); //:将上面适配数据集的二进制内存流压缩入Base64目标内存流
      finally
        Zipper.Free;
      end;
    finally
      LMemoryStream.Free;
    end;
    LDstStream.Seek(0, TSeekOrigin.soBeginning);

    LStringStream := TStringStream.Create;  //:产生1个字符串流
    try
      TNetEncoding.Base64.Encode(LDstStream, LStringStream); //:将上面经压缩后目标内存流用Base64编码入字符串流
      LBinary64 := LStringStream.DataString;  //:返回列表各项适配数据集经压缩后的用Base64编码的字符串流中的字符串
    finally
      LStringStream.Free;
    end;
  finally
    LDstStream.Free;
  end;
  Result := LBinary64;
end;

2、这样的“乱码”是什么?

    这样的“乱码”是经压缩后的内存流中的被Base64编码的二进制字符串。

    这样的“乱码”被封装成Json对象的TPair对的TJsonValue值,每个TJsonValue值,对应了原始TFDJsonDataSets中封装的各个数据集对象,每个TPair对的TJsonString属性,对应这些数据集对象的对象名。

3、结论:为何会:显示“乱码”,提示“存在于多字节代码页中的Unicode字符没有映射”?

    'No mapping for the Unicode character exists in the target multi-byte code page'.

    即:存在于多字节代码页中的Unicode字符没有映射。

2.3.1、因为你base64解码后的数据中包含压缩字节

2.3.2、这些压缩字节或被解压,其中的数据是二进制的字节

三、解析“乱码”的思路

3.1、思路分析

    如上分析,解析过程应当是上述编码过程的逆向流程。

3.2、解析流程

3.2.1、解析出Json对象中的各个数据集对象的TJsonValue值,得到该数据集对象的经压缩后的内存流中的被Base64编码的二进制字符串,即其对应的“乱码”。

    LJsonObj := TJSONObject.ParseJSONValue(
      TEncoding.UTF8.GetBytes(LResult), 0, True) as TJSONObject;

      LDescribe:='开始Json原生解析BJson_Base64解码,CtL00001的数据集:';
      LResult:=(LJsonObj.P['result'].A[0].P['CtL00001'] as TJsonValue).Value;
        //:解析时要注意Json路径格式,这个很重要
        //:看看什么结果:
        //WebBrowserGet(WebBrowser1,LResult);

3.2.2、对TStringStream进行Base64解码。

            LTStreamofBase64Decode:=TMemoryStream.Create;
            try
              TNetEncoding.Base64.Decode(LStringStream,LTStreamofBase64Decode);
              LTStreamofBase64Decode.Seek(0,TSeekOrigin.soBeginning);

            finally
            end;

3.2.3、对Base64解码后的TZCompressionStream压缩流进行解压缩TZDecompressionStream成myTStream。

            try
              LDeZipper:=TZDecompressionStream.Create(LTStreamofBase64Decode);
            finally
              LDisticMemoryStream:=TMemoryStream.Create;
              try
                LDisticMemoryStream.CopyFrom(LDeZipper, LDeZipper.Size);
              finally
                LDeZipper.Free; //:注意:解压缩流,必须得到释放后,才能获取到解压后的内存流
              end;
            end;

3.2.4、还原数据:使用内存表(即将二进制的内存流还原成适配的数据集TFDAdaptedDataSet)或下面两种方案

              LDisticMemoryStream.Seek(0, TSeekOrigin.soBeginning);
              LMemTable := TFDMemTable.Create(nil);
              try
                LMemTable.LoadFromStream(LDisticMemoryStream,TFDStorageFormat.sfBinary);
                LMemTable.SaveToFile(FAppASubPath+'解压后的二进制流被LMemTable输出的JSON字符串.json',TFDStorageFormat.sfJSON);

                LStrings.LoadFromFile(FAppASubPath+'解压后的二进制流被LMemTable输出的JSON字符串.json',TEncoding.UTF8);
                LResult:=LStrings.Text;
              finally
                LDisticMemoryStream.Free;
                LMemTable.Free;
              end;
              LTStreamofBase64Decode.Free;

3.2.4.1、方案1:目标数据集从解压后的流中加载原始二进制格式的流:

    myDataSet.LoadFromStream(myTStream,, TFDStorageFormat.sfBinary)

3.2.4.2、方案2(其它开发语言的参考方案):解压后的二进制格式的流(BSon)进行转化(JSon):

到此,开始1个分水岭,也就是delphi与其它语言的资源共享问题:

        上述这个解码并解压后的内存流LDisticMemoryStream,其字节数组中,流对应的 TJsonPair的JsonValue可以解开,但JsonString对应键值,似乎都进行了加密,如下步骤3.2.4.2.1所示。

因此好的方案是:

        在服务器端做这个事情,而不要把它放在客户端留给资源的调用方,在服务器方法中,将TFDJsonDatasets的TJsonObject封装,转变为用内存表对各个数据集CopyDatasets后转存.json兵对其加载的TJsonObject封装,先行用内存表对base64解码解压后的流处理的

uses Data.FireDACJSONReflect;

function DataSetToString(const ADataSet: TFDAdaptedDataSet): string;     

    LDataSetBinaryCompressionStreamBase64DataString

        :=DataSetToString(myFDAdaptedDataSet); 

      //:加密、压缩、Base64Encode编码

function MemTableFromString(const AValue: string): TFDMemTable;

    FMemTable:=  

        MemTableFromString(LDataSetBinaryCompressionStreamBase64DataString);

      //:解密、解压、Base64Decode解码的二进制格式内存流,把它存为Json格式文件:

    FMemTable.SaveToFile('myFDAdaptedDataSetJson.json',sfJSON);

    LStrings:=TStringList.Create;

    LStrings.LoadFromFile('myFDAdaptedDataSetJson.json',sfJSON);

      //:内存流从二进制格式还原成Json格式:

    Result := TJSONObject.ParseJSONValue(
        TEncoding.UTF8.GetBytes(LStrings.Text), 0, True) as TJSONObject;

        //:LJsonObj重新封装用内存表解码解压后的UTF8格式的TJSONObject

        //:回调给客户端

3.2.4.2.1、从解压后的二进制流中获取字节数组TBytes

  var LJsonStr :string ;  LJsonObject : TJsonObject ;

  LJsonObject := TJsonObject.Create ;

  try

        LDisticMemoryStream.Seek( 0, TSeekOrigin.soBeginning );

        LDisticMemoryStream.ReadBuffer(ATBytes , 0 , myTStream.size);

            //: TMemoryStream.ReadBuffer (var Buffer: TBytes; Offset, Count: NativeInt);  //:将流中数据逐个字节读入字节数组ATBytes

////////////////////二进制字节数组Buffer转16进制

        LJsonStr :=TConverters.Bson2Json( ATBytes , [ExtendedMode, Indented]  );

            //: Converters:搜索路径:D:\PulledupO2O\myPublic\RTL\RTLSamples\Json;

            //: 或:C:\Users\Public\Documents\Embarcadero\Studio\20.0\Samples\Object Pascal\RTL\Json

        LJsonObject := TJSONObject.ParseJSONValue(
            TEncoding.UTF8.GetBytes(LJsonStr), 0, True) as TJSONObject;

  finally

        LJsonObject.Free;

  end ;

////////////////////:或:二进制字节数组Buffer直接还原为字符串

喜欢的话,就在下面点个赞、收藏就好了,方便看下次的分享:

delphi tjsonobject 不是我分要的多,我上传的几乎都是我自己学习,并写出完整代码而且几乎没有多余的低质量代码,这个也是要学习成本和时间成本的。 代码非常精减,里面有遍历JSON代码,并且,注意,并且可以分别得到JSON的键名和值,这个很重要。里面还要对JSON数组的操作。 立即下载

相关推荐

TJSONObject 一个完整的json文件的解析

用delphi原生的TJSONObject 类解析json文件。

【delphi】 JSON 操作详解(TJSONObject)

Delphi官方提供的对于JSON操作的单元是:system.JSON,delphi将JSON元素都定义为对象,注意是对象,既然是对象就需要创建,需要释放。具体如下: Delphi JSON 常用对象 编号 对象 说明 1 TJSONValue 所有JSON类的祖先,包括以下锁有对象 2 TJSONObject 一个JSON对象,对应一段JSON字符串 3 TJSONPair 代表一个Key-Value的JSON对,包括josnString和j

sensor_WU 博客 1万+

delphi中的json和dataset互转

有还在用delphi7的同志们没,d7没有提供json和dataset的互转, 该方法是网上其他大神写的,我转发,只是原来的代码有几个缺陷,我进行了修改:1.原来不能识别字段类型;2.原来的转换是把所有字段长度都设置为字符型100的长度,现在修改成多大的都可以设置;3,原来的转换当字段值中有逗号括弧这些就替换掉了,已修改

Delphi使用JSON

最近碰到一个问题,一个函数要返回多个值,本来是Boolean,现在我改成了TJSONObject。delphi将JSON元素都定义为对象,注意是对象,既然是对象就需要创建,需要释放。delphi使用JSON要引入一个System.JSON。每一个方法里面使用都要先进行变量的声明。

weixin_43487532的博客 2408

深入解析DDR5 RFM机制:从JESD79-5标准到硬件实现

本文深入解析了DDR5内存标准中的关键机制——RFM(Refresh Management)。文章从JESD79-5标准出发,详细阐述了RFM如何通过RAA计数器实现从被动定时到主动响应的智能刷新管理,并探讨了其硬件实现细节、命令调度挑战及系统级设计考量,为芯片设计工程师优化DDR5内存子系统性能与可靠性提供了实践指导。

fff88的博客 494

深入解析TI C2000 ePWM模块:峰值电流模式Buck与LLC谐振变换器实战配置

脉宽调制(PWM)技术是电力电子与数字电源控制的核心,它通过调节开关信号的占空比或频率,实现对功率变换器输出电压、电流的精确控制。其基本原理是利用微控制器内部的定时器和比较器,生成具有特定时序的方波信号,驱动功率开关器件。这项技术的核心价值在于将复杂的模拟控制环路数字化,从而提升系统的可控性、灵活性和可靠性。在电机驱动、不间断电源(UPS)、服务器电源和新能源逆变器等广泛应用场景中,PWM技术都是实现高效能量转换的基石。本文聚焦于德州仪器(TI)C2000系列微控制器中功能强大的增强型PWM(ePWM)模块

weixin_30410119的博客 348

Delphi出现 No mapping for the Unicode character exists in the target multi-byte code page 处理方法

当调用 TStrings.LoadFromFile(html_file_name, TEncoding.UTF8); 出现 No mapping for the Unicode character exists in the target multi-byte code page错误。 这种错误在调用非UTF8编码的文件时会出错。 处理方法如下 try tmpS...

编程资料收集与共享交流 2257

【工程师一次性讲明白系列】什么是电压驻波比 (VSWR)

电压驻波比(VSWR)是电信号传输过程中非常重要的指标,控制VSWR的大小可以提高信号传输效率和系统稳定性。通过优化阻抗匹配,可以有效地减少反射信号,提升通信质量!🚀📡。

weixin_43199439的博客 1302

delphi TEncoding

#include <tchar.h> #include <memory> //For STL auto_ptr class //--------------------------------------------------------------------------- #pragma argsused int _tmain(int a...

weixin_33825683的博客 1674

如何程序化的将 Wire 文件转换成 STEP、CATIA、DWG、NX、FBX 等格式

Wire 文件是专有格式,只有 Autodesk Alias 软件能够直接打开和编辑。 虽然可以在 Alias 软件中手动打开文件并导出为 STEP,但在实际工作中,经常会遇到需要转换数十甚至数百个文件的场景。如果每次都手动操作软件进行转换,不仅效率低下,还容易出错,批量场景下会非常麻烦。因此,程序化、自动化的转换方案变得至关重要。

weixin_44211633的博客 455

【深度学习】Progressive Distillation for Fast Sampling of Diffusion Models

这种方法通过迭代地将一个需要较多步骤的模型(称为教师模型)蒸馏成一个需要较少步骤的学生模型,每次迭代都将采样步骤减半,直到达到所需的采样步骤数量。通过渐进式蒸馏,论文将原始需要8192步采样的模型成功蒸馏为只需4步采样就能取得接近的生成质量的新模型,大幅提高了扩散模型的推理效率。这篇论文提出了一种"渐进式蒸馏"(Progressive Distillation)的方法,来大幅降低用于生成对抗网络(GAN)的扩散模型(Diffusion Model)在推理阶段的采样步数,从而提高其推理效率。

q742971636的博客 1790

Delphi读取文本文件出现 No mapping for the Unicode character exists in the target multi-byte code page

TStringList.LoadFromFile时会出现 No mapping for the Unicode character exists in the target multi-byte code page提示 如下代码 var tmpStrs : TStrings; begin tmpStrs := TStringList.Create; tmpStrs.LoadFromFi

正己的专栏 3685

Android 14.0 系统开机屏幕设置默认横屏显示

在14.0的系统ROM产品定制化开发中,对于产品需求来说,由于是宽屏设备所以产品需要开机默认横屏显示,开机横屏显示这就需要从 两部分来实现,一部分是系统开机动画横屏显示,另一部分是系统屏幕显示横屏显示,从这两方面就可以做到开机默认横屏显示了

安卓兼职framework和app工程师的博客 2152

FIREDAC的TFDJSONDataSets和TFDJSONDeltas查询和提交数据

服务端代码: uses Data.FireDACJSONReflect, FireDAC.Stan.Storage, FireDAC.Stan.StorageBin, FireDAC.Stan.StorageJSON, FireDAC.Stan.StorageXML; 1)查询 function TServerMethods1.QuerySql2(const accountNo...

weixin_30708329的博客 328

AgentScope实战训练营-Java开发HITL人机协作AI应用完整指南

本文手把手带你从零搭建一个基于 Spring Boot WebFlux + AgentScope + 通义千问的人机协作(HITL)AI 聊天应用。项目涵盖流式对话、工具调用、高危操作确认、对话中断、动态 MCP 工具接入、中英文双语界面等完整功能。文章从环境准备、pom.xml 配置、DTO 数据模型、Hook 机制、AgentService 核心服务、ChatController 接口到前端 HTML/CSS/JS 实现,逐一讲解每行代码的设计意图,并附带 REST API 接口说明、测试场景、常见问题

program哲学 713

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

使用TFDJSONDataSets

一、服务器端(DataSnap  REST  Application) 1、放入FDQuery1、FDConnection1、FDGUIxWaitCursor1、FDStanStorageBinLink1、FDStanStorageJSONLink1、FDSchemaAdapter1。 2、FDQuery1的SchemaAdapter属性设置为FDSchemaAdapter1     FDC...

ghostking8的专栏 1574

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

No mapping for the Unicode character exists in the target multi-byte code page

按成功后的方法倒推,不要用字符串去处理,按byte去处理。如有delphi aes解密,base64解码问题。当出现这个报错时,你有可能想砸键盘。有时候base64解码也会报,这是utf8字符赋值时报的,,请联系我,可付费帮你解决。

全粘工程师 1284

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

遍历TJSONObject对象的key与value

获取TJSONObject对象中的key与value。

生命练习生 1443

关于TDataSet和TFDJsonDataSets在处理数据库字段的字符集和执行效率方面的比较

关于TDataSet和TFDJsonDataSets 在处理数据库字段的字符集和执行效率方面的比较 一、TDataSet和TFDJsonDataSets内部处理字符集的转化 1、TDataSet 1.1、是delphi最底层的处理数据库相关数据集的组件:DB.Data.pas ,再往上->TComponent :System.Classes.pas 1.2...

pulledup的博客 1167

delphi 读写JSON 格式

superobject 文件 (* * Super Object Toolkit * * Usage allowed under the restrictions of the Lesser GNU General Public License * or alternatively the restrictions of the Mozilla Public License 1.1 * * Software distributed under

Listest的博客 1131

OLEVARIANT的替代——FIREDAC的TFDJSONDataSets和TFDJSONDeltas

OLEVARIANT——这个COM的序列格式,也是DATASNAP已使用了20年的序列格式, 在20年以后的今天,终于有了它的替代者:FIREDAC的TFDJSONDataSets和TFDJSONDeltas,XE5 UPDATE2以上版本的DATASNAP的远程方法定义里面已经增加了这2种类型的支持。 FIREDAC的TFDCONNECTION尚没有“GENERATE DATASNAP CLIENT CLASSES”的项,感觉不方便,笔者测试的时候使用TSQLCONNECTION生成的客户端代理类, 易.

GuoGuoABC 386

JSON数据的几种解析方式

对于简单的json字符串或者数组数据,可以用:JsonObject和JsonArray。使用以上两种方式解析json均需要依赖json-lib.jar开发包使用依赖包。1、如果只是一条简单的json数据,可以直接用JsonObject即可使用JsonObject解析只有一条数据的json是非常方便的例如:"{\"name\":\"zhangsan\",\"password\":\"zhangsan...

学海无涯的专栏 1万+
上一篇: ssl证书绑定windows服务器端口及SSL配置命令详解
下一篇: 大家都要好好学习delphi XE线程同步对象单元System.SyncObjs
专讲冷知识
博客等级 码龄15年 568粉丝 292原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

专讲冷知识

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值