编码 -- python2

AMD MI355X与NVIDIA B200在GLM5.2大模型推理性能与成本对比分析 在 AI 推理硬件选型中,成本与性能的平衡一直是技术决策的核心难点。AMD 最新发布的 CDNA 4 架构 MI355X 加速卡与 NVIDIA Blackwell 架构的 B200 在 GLM5.2 这类千亿参数大模型上的表现,直接关系到企业部署私有化模型或提供推理服务的经济性。实际测试数据显示,在 32 tok/s/user 的交互性设定下,单张 MI355X 能够达到 1369 tok/s 的吞吐量,虽然略低于 B200 的 1756 tok/s,但每百万 token 成本仅为 0.30 美元,比 B 阅读详情

机器码到字符(中文字符、英文字符...)的转换关系

ASCII

  • ASCII(American Standard Code for Information Interchange):单字节编码,而单字节可以表示256个不同的字符,但是ASCII只用了一半,即0-127,(\x80一下)

MBCS(multiple byte character set):多字节字符集

  • 因为ASCII编码只用到了\x80以下,并且不能表示中文,所以引入了一种编码机制,如果一个字节是\x80以下,使用ASCII编码。但是如果在\x80及其以上,就配合第二个字节合起来表示一个字符(至少两个字节)

  • 这时,IBM创造一个Code Page的东西,来存放所有国家的编码(就是个统一的编码表),中国的GBK在第936页,所以页可以用CP936表示GBK
    微软的ASNI就是MBCS,根据默认区域来设置默认的编码

  • MBCS是这些编码的统称,也可以称为DBCS(double byte character set),因为基本上都使用两个字节

Unicode

融合所有编码、统一编码

  • UCS-2,两个字节(256*256)表示一个字符,后面发现会出现2个字节也有点不够,就引入UCS-4,四个字节表示一个字符,但是通常还是使用UCS-2

UCS(Unicode Charater Set),是一张编码表,字符如果传输、存储由UTF(UCS Transformation Format)来负责
所以,最开始直接使用UCS的码位来保存,这就是UTF-16,比如,"汉"直接使用\x6C\x49保存(UTF-16-BE),或是倒过来使用\x49\x6C保存(UTF-16-LE)。

  • 如果大家遵循这个标准的话,美国人不乐意了,因为他们日常编码(机器码-->英文字符)只需要一字节就够了,但是大家都用的话,美国人不用就会被局限,所以他们也得用,用的话就会造成多余的内存消耗 ...于是UTF-8现世(变长的Unicode编码)

前提知识:当你打开一个文件的时候,你首先需要指定编码方式,然后系统会根据指定的编码来解码文件内容。之所以我们没有遇见,是因为系统会帮我们默认一种编码
打开notepad.exe-->点击文件-->打开

13671484-e8f1684021df0e2d.gif
GIF.gif

如果默认使用UTF-8编码保存数据,则会在文件加上BOM头
BOM_UTF8 '\xef\xbb\xbf'
BOM_UTF16_LE '\xff\xfe'
BOM_UTF16_BE '\xfe\xff'

  • BOM(Byte Order Mark),字节顺序标记,用来指定编码方式的。
举个栗子:为什么记事本保存'姹塧'后,打开文件会显示'汉a'?

1、首先明确我们的区域默认是GBK(也可以是:CP936),也就是ANSI使用的这个代码页编码


13671484-346c495bd8e51e44.png
2018-09-30_102324.png

13671484-fb883f7fec636f81.png
cmd命令行属性的选项列表

2、另存为ANSI编码的文件。


13671484-732da6234cf7e1a2.png
2018-09-30_102812.png

3、保存文件内容时,使用GBK(CP936)编码保存,输出显示使用GBK解码,没问题,正常解码(输出的内容默认是decode("GBK"),也就是去CP936页找到具体的中文字符来显示)


13671484-0f50ef953b74a57e.png
2018-09-30_103315.png

前提条件:微软虽然保存使用ANSI(中文版windows是:CP936)来保存,但是当他的记事本解码时,默认先用UTF-8测试,看是否可以使用UTF-8解码成功,如果成功就返回

就是这种解码策略,造成的这个bug

将gbk编码后的内容,使用"utf-8"解码,刚好是"汉a"的utf-8编码的内容


13671484-0b3f145a9a6c8ed9.png
2018-09-30_104743.png
  • 小结: 各国文字就是一种字符,使用不同的编码表,就转化成了不同长度的十六进制数

python2.x编码问题

python中有str类型,其实是字节串,是中文字符查询Unicode码表(编码)后的,再经过区域编码(中国是CP936)转换后的内容,这里我们就把字符串对应的Unicode码表后的内容理解为真正的字符串,str类型是区域编码后的内容

https://www.cnblogs.com/huxi/archive/2010/12/05/1897271.html

在 Linux 64 位上遭遇 Signal 7 与 ST22 SYSTEM_CORE_DUMPED:从 es/implementation=std 到 /dev/shm 的一套落地排查法 摘要: Linux 64位SAP系统出现SYSTEM_CORE_DUMPED和Signal 7(对应SIGBUS)错误时,核心问题是进程因共享内存资源异常被操作系统强制终止。主要诱因包括:1)/dev/shm的tmpfs默认容量不足(通常仅占物理内存50%);2)SAP内存管理参数es/implementation=map在64位场景下的敏感性。解决方案应双管齐下:在实例profile设置es/implementation=std以降低对tmpfs的依赖,同时按(RAM+Swap)*75%重新配置/dev/ 阅读详情

相关推荐

开源DIY | 打造会“听”会“走”的智能移动垃圾桶

本文详细介绍了如何利用Arduino和超声波传感器打造一款会“听”会“走”的智能移动垃圾桶。通过开源硬件和简单编程,实现声控移动和自动避障功能,适合创客爱好者和家庭DIY。项目成本控制在200元内,涵盖硬件搭建、电路连接和核心功能实现,是入门级机器人制作的理想选择。

weixin_33670713的博客 234

Python字符编码详解

本文简单介绍了各种常用的字符编码的特点,并介绍了在python2.x中如何与编码问题作战 :) 请注意本文关于Python的内容仅适用于2.x,3.x中str和unicode有翻天覆地的变化,请查阅其他相关文档。 尊重作者的劳动,转载请注明作者及原文地址 >.< 1. 字符编码简介 1.1. ASCII ASCII(American Standar...

weixin_30432007的博客 269

【现代信号处理】01 -概率论与随机过程回顾

概率论与随机过程回顾 文章目录概率论与随机过程回顾1. 统计模型的相关概念1.1 统计实验(不确定性)1.2 样本点1.3 样本空间Ω1.4 概率1.5.统计模型是先验的2. 概率和统计的差异2.1 联系2.2 差异2.3.1 概率和统计问题的三要素2.3.1.1 model-模型2.3.1.2 data-数据2.3.1.3 decision-决策2.3.2 关系图3. 样本空间的重要性3.1 贝朗特悖论3.1.1 解法一3.1.2 解法二3.1.3 解法三3.2 结论4.概率相关的概念4.1 随机变量4.

qq_41741344的博客 1412

字符集和编码

字符集和编码 今天被一个python编码问题折腾了半下午,编码问题一直是个让人比较纠结的问题,写这篇文章想简单的总结下python中一些常见的编码问题以及解决方案。这是第一篇,先总结下字符集和编码的一些基本概念和内容。在编程中常常可以见到各种字符集和编码,包括ASCII,MBCS,Unicode等字符集。确切的说,其实字符集和编码是两个不同概念,只是有些地方有重合罢了。对于ASCII,MBCS等字符集,基本上一个字符集方案只采用一种编码方案,而对于Unicode,字符集和编码方案是明确区分的。

__七把刀__ 2090

混合开关电容DCDC变换器技术解析与工程应用指南

在电源设计领域,传统DCDC变换器在高降压比或高升压比场景下,往往面临占空比过窄、开关应力大、效率偏低等瓶颈。开关电容变换器虽能实现固定比例的电压变换,却受限于调节能力。混合开关电容DCDC变换器通过“开关电容网络粗调变比+电感式DCDC细调输出”的策略,兼顾高效率、高功率密度与宽调压范围。本文梳理了其典型拓扑(如2:1/4:1 SC+Buck)、关键对比、控制策略(含软充电)及工程应用中的常见问题,帮助电源工程师在服务器供电、快充、车载电源等场景下快速选型与调试。

weixin_29164185的博客 318

全网首发:香橙派5MAX安装ubuntu20.04(换了官方桌面)及ros,运行LIVOX-mid360混合固态激光雷达,实际测试fastlio(只能说可以跑,还是有点吃力)

独家发布!!!香橙派5MAX安装ubuntu20.04(换了官方桌面)及ros,运行mid360混合固态激光雷达,测试fastlio(只能说可以跑,还是有点吃力),国货也算崛起了。

2402_82745259的博客 6005

python2默认编码_python2编码问题

看了以下两篇博文的基础上,感觉自己明白了点。记录下。http://www.cnblogs.com/yuanchenqi/articles/5938733.htmlhttp://www.cnblogs.com/yuanchenqi/articles/5956943.htmlpython2的编解码的几个问题:(1)两种数据类型unicode 和 str。unicode-->str 的过程是编码,可以用...

weixin_40001805的博客 613

OpenMontage:AI代理驱动的端到端视频生产系统实战指南

在当今内容创作领域,自动化视频生成技术正成为提升生产效率的关键。其核心原理在于通过智能体(Agent)架构,将复杂的视频制作流程拆解为可被AI理解和执行的标准化任务,从而实现从创意到成片的端到端自动化。这项技术的核心价值在于大幅降低了专业视频制作的门槛,使非专业用户也能快速产出具有一定专业度的内容。其典型应用场景包括社交媒体短片、产品演示、知识科普视频的批量生产。OpenMontage正是这一技术理念的杰出实践,它构建了一个完整的代理驱动视频生产系统,将AI编码助手转变为能自主规划并执行脚本撰写、素材检索、

weixin_35757191的博客 649

python2和python3的默认编码_Python 2和Python 3的编码问题

在Python2中,字符串无法完全地支持国际字符集和Unicode编码。为了解决这种限制,Python2对Unicode数据使用了单独的字符串类型。要输入Unicode字符串字面量,要在第一个引号前加上'u'。Python2中普通字符串实际上就是已经编码(非Unicode)的字节字符串。在Python3中,不必加入这个前缀字符,否则是语法错误,这是因为所有的字符串默认已经是Unicode编码了。#...

weixin_39675513的博客 219

二维otsu算法python_OpenCV-Python系列之OTSU算法

上一个教程中,我们谈到了关于图像二值化的两种方法,一种是固定阈值法,另一种是自适应阈值法,总的来说,自适应阈值法在某些方面要由于固定阈值法,但还没完,这次我们将隆重介绍我们的重量级选手,也就是OTSU算法(又称为大津算法和最大类间方差法)。最大类间方差法是1979年由日本学者大津提出的,是一种自适应阈值确定的方法,又叫大津法,简称OTSU,是一种基于全局的二值化算法,它是根据图像的灰度特性,将图像...

weixin_28834169的博客 1426

fastbin attack快速入门

0x01 fastbin简介 Fastbin包含0x20~0x80大小bin的数组指针,用于快速分配小堆块。fastbin按照单链表结构进行组织,相同大小的bin在同一个链表中,fd指向下一个bin,采用LIFO(Last In First Out)机制。在fastbin中,堆块的inuse标志都为1,处于占用状态,防止chunk释放时进行合并,加快小堆块的分配。 正常fastbin的使用 通过这个简单的案例来了解fastbin的单链表结构,malloc和free的过程。 #include<stdio

abelxu 1571

python2是什么编码_python2编码问题

https://www.cnblogs.com/litaozijin/p/6416133.htmlhttps://www.cnblogs.com/fnng/p/5008884.html一、python2的编码Python2.7中调用print打印var 变量时,操作系统会对var做一定的字符处理:如果var是str类型的变量,则直接将var变量交付给终端进行显示;如果var变量是unicode类型...

weixin_39878991的博客 310

阿里云 Docker 镜像加速收费后:这些免费替代方案值得收藏

阿里云Docker镜像加速服务收费后,国内开发者急需免费替代方案。本文推荐2025年仍可用的7个免费镜像源,包括轩辕镜像、DaoCloud、网易云等,并提供多源配置方案以提高稳定性。建议开发者在CI/CD环境中配置多个镜像源,避免构建失败。文章还提供了详细的配置步骤和使用建议,适合个人和团队开发者参考。

sg_knight的专栏 1934

python2编码问题解决了吗_Python2编码问题

以下内容说的都是 python 2.x 版本简介基本概念Python “帮”你做的事情推荐姿势1、基本概念我们看到的输入输出都是‘字符’(characters),计算机(程序)并不能直接处理,需要转化成字节数据(bytes),因为程序只能处理 bytes 数据。例如:文件、网络传输等,处理的都是 bytes 数据——二进制数字。1.1 ASCII / Unicode孤立的 byte 是毫无意义的,...

weixin_34025386的博客 105

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

python2与python3编码_python2和python3的编码问题

python2中有两种类型str字符串和unicode字符串python3则改成了bytes和str字符串在python2中‘xxx’和b‘xxx’都是str字符串,u‘xxx’是unicode字符串,即python3中的bytes在python2是不存在的,都归属于str字符串在python3中unicode是不存在的,被归并到str字符串里面的,即‘xxx’和u‘xxx’都是str字符串,b‘...

weixin_32836221的博客 360

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

python2和python3的编码_Python2和3字符编码区别

Python2和3字符编码的区别一、字符编码应用之PythonPython test.py(执行test.py的第一步,一定是先将文件内容从硬盘读入内存中)test.py文件内容以gbk格式保存的,内容为:阶段一:启动Python解释器阶段二:Python解释器此时就是一个文本编辑器,负责打开文件test.py,即从硬盘中读取test.py的内容到内存中此时,Python解释器会读取test.py...

weixin_39701834的博客 153

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

python2中编码问题

1 浏览器缓存属于私有缓存,代理服务器缓存属于公有缓存,可以给多个用户使用。 2 除了使用跳板机登录内部机器外,可以直接使用内部机器登录内部机器。

内容主要为前端技术 2918

理解和解决Python2中的编码问题

前言经常处理一些文本,处理英文语料没什么问题,但是到了中文这儿就让人抓狂了,稍微不注意就会窜出各种乱码错误,平时出现几个小错误试试调调也能过去,但是对于编码这个问题还是畏惧,这几天好好整理了一下python的编码问题,感谢万能的Google和万能的StackOverflow,算是解决了我当前对编码问题的一些困惑编码的前世今生从unicode说去在计算机中,所有的东西都是以字节形式储存的,但是字节对于

luchi007的专栏 2万+

python2默认编码

#!/usr/bin/env python # -*- coding: utf-8 -*- # Software: PyCharm # __author__ == "HAI" # FileName: python2调默认编码.py # Date : 2018/12/19 # Time : 19:45 # import sys # reload(sys) # # print(sys.getd...

Hai_peng_yu的博客 1170

python2编码问题解决了吗_[python]Python2编码问题

[python]Python2编码问题简介基本概念Python "帮" 你做的事情推荐姿势1、基本概念我们看到的输入输出都是'字符'(characters),计算机(程序)并不能直接处理,需要转化成字节数据(bytes),因为程序只能处理 bytes 数据。例如:文件、网络传输等,处理的都是 bytes 数据——二进制数字。1.1 ASCII / Unicode孤立的 byte 是毫无意义的,所以...

weixin_39718006的博客 106

Python2 设置系统默认编码

python2.x默认的编码是ascii,默认的defaultcoding:ascii是许多错误的原因,当程序中出现非ascii编码时,python的处理常常会报这样的错UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128),python没办法处理非asc

say_haha的博客 1万+

【编码】2 python3中编码转换的问题

前文【编码】1常见的字符编码基础https://blog.youkuaiyun.com/kongzhian/article/details/110186522 今天在回顾编码知识时,发现了python2和python3在处理编码转换时的不同之处,花了一点时间总结了一下python编码转换的问题 python2中的编码转换 把8个二进制一组称为一个byte,用16进制来表示。为的就是让人们看起来更可读。我们称之为bytes类型,即字节类型。在python2中,str=byte python2可直接将字符串用hex

kkza的博客 430

[python]Python2编码问题

以下内容说的都是 python 2.x 版本 简介 基本概念 Python “帮”你做的事情 推荐姿势 1、基本概念 我们看到的输入输出都是‘字符’(characters),计算机(程序)并不能直接处理,需要转化成字节数据(bytes),因为程序只能处理 bytes 数据。 例如:文件、网络传输等,处理的都是 bytes 数据——二进制数字。 1.1 ASCII / Unic

iai64824的博客 814

python2使用什么编码_python2中常见的几个编码现象

接触python这门语言,到现在,已经有很长的时间了。从最初的python2入手,到python3,再到现在,离python2放弃支持只有约两年的时间。作为一个非科班出生的IT从业人员,这一路上,磕磕绊绊很多,很多概念,用法,需要很长的使用才能理解,例如,python2中一直头疼的编码问题。python2的开发过程中,会遇到的编码设置,主要在这几个地方:1,文件保存时,采用utf-8编码;2,开发...

weixin_39823017的博客 242

python2编码的问题

1,python2的默认编码是ascii码。 2,python2中有2中数据模型来支持字符串这种数据类型,分别为str和unicode。 3,uncode转换为其他编码是encode,其他编码转换成unicode是decode(解码)。所以unicode是核心,比如你现在有个gbk的字符串,如果想要变成utf-8,那你需要先decode然后在encode才行。 ...

211

python2默认编码_解决Python2.x编码之殇

Python编码问题一直困扰了我许久,之前有过一些总结,但并不系统,比较凌乱。当然python2.x编码问题本身,便是剪不断理还乱。本篇将系统介绍python2.x编程中会遇到的一些编码问题,并给出解决方案。基于对编码问题的摸索了解,我也尝试写了一个编码转换模块Transcode,应该能解决绝大部分新手的疑难杂症。当然,python大神可以绕道而行,至于使用3.x的朋友,以后将会成文介绍。pyth...

weixin_39633452的博客 219
上一篇: 常用汇编
下一篇: De-obfuscation反混淆_解密字符串_ jeb script
Dr. 熊
博客等级 码龄10年 29粉丝 140原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值