案例研究:用 Unicode 处理数据库信息

如何在 Python 中处理 Unicode Unicode 是世界上大多数计算机的标准字符编码。它确保文本(包括字母、符号、表情符号,甚至控制字符)在不同设备、平台和数字文档中显示一致,无论使用的操作系统或软件是什么。它是互联网和计算机行业的重要组成部分,没有它,互联网将会更加混乱和难以使用。Unicode 本身不是编码,而更像是地球上几乎所有可能字符的数据库。Unicode 包含一个代码点,用于标识其数据库中的每个字符,其值范围从 0 到 110 万,这意味着它很可能不会很快用尽这些独特的代码点。Unicode 中的每个代码点都表示为U+n。 阅读详情
<script type="text/javascript" src="http://pagead2.googlesyndication.com/pagead/show_ads.js"> </script>

Unicode 相关的问题引人注目:代码集、数据存储、排序和往返转换保证。Trillium 支持 Unicode,它是一个由 Trillium Software Systems(Harte-Hanks Data Technologies 的一个部门)开发的“数据库清理”系统。

介绍
本文讨论 Trillium Software System 的数据清理产品 "Trillium" 支持 Unicode 的特殊案例,同时,探讨在用数据库处理软件中使用 Unicode 所涉及的一些常规问题。我们将讨论选择 Unicode 而不是其它选项的原因,以及在与 Unicode 相关的开发过程中出现的问题。

什么是数据清理?
基本来说,数据清理是将数据库精简以除去重复记录,并使剩余部分转换成标准可接收格式的过程。这对维护大型数据库的机构(例如长途电话公司、金融机构或零售商店)极有价值。这些公司经常需要将自己的数据与其它最新获得的数据库合并,或者将不同的数据输入源合并成一个数据库。数据清理的好处包括:使直邮成本最小化、增强测量和跟踪数据的能力、从自由格式文本字段中抽取埋藏的重要信息,以及减少数据存储所需的内存需求。

标准模型是将数据输入到数据清理处理器,通过一系列步骤“清理”数据,然后以期望的格式输出清理过的数据库。

清理过程的第一步是分析并调查所有数据类型,并将它们转换成标准、或“规范”的格式。这意味着查看数据字段并确定显示了哪些形式,哪个形式将是标准的,以及转换哪些不符合标准的数据。(术语规范和规范化在数据清理中经常用到。这里,我们将它们定义成将数据标准化成具有相同格式的结果和过程。这些格式可以是编码、数据类型和字符类型。

举一个简单例子,某零售目录公司有包含名称、地址和客户号码的大型数据库。然后,该公司收购了另一家目录公司,并希望合并数据库。清理过程的第一步将把第二个数据库的格式转换成与原始数据库的格式匹配。

原始:

数据库 A数据库 B
A00054322-344-984

转换后:

数据库 A数据库 B
A0005432B0004984

数据清理的下一步是检查数据库的字段,以标志记录之间可能匹配的数据。例如,Mary E. Smith、Mary Smith 和 M. E. Smith 都在名称字段中出现,并且地址地段中的数据相同,因此可能是重复记录。

客户号#名称地址
A0005432Mary E. Smith1313 Mockingbird Place
F0009954Mary Smith1313 Mockingbird Place
N0003111M. E. Smith1313 Mockingbird Place

最后一步是找到并除去匹配的记录。这需要自动或手工查看标记过的数据,以确定可能的匹配是否确实匹配,并除去重复记录。举例说明,将除去上例中的两个记录,因为它们显然是重复项。

还有一步是评估地址数据,并将它转换成国家邮政局正式批准的格式。这一步将地址数据转换成符合折扣邮费的格式。例如,如果零售目录公司有美国客户名称和地址的数据库,他们可能要将所有地址行转换成与美国邮政服务标准相匹配。在处理过的数据库中,所有街道名称标签(如 "Place" 或 "Avenue")将按美国邮政建议缩写成 "PL" 和 "AVE" 等。

原始格式邮政服务批准的格式
1313 Mockingbird Place1313 MOCKINGBIRD PL
2304 Elm Street, apt 512304 ELM ST 51
1237 - 184th Av.1237 184 AVE

Trillium 概述
Trillium 是由 Harte Hanks Data Technologies 的 Trillium Software Systems 部门创建的企业范围的数据清理软件。Trillium 用以下四个可调用引擎并通过以上四步处理:Converter、Parser、Matcher 和 "Geocoder"。这些引擎可以联机或以批处理方式运行。

Trillium 支持包括金融、保险、电信、大型软件厂商和零售连锁商店在内的各种行业。客户包括 American Express、MetLife、AT&T、IBM、Intel 和 JC Penney。

处理的常见类型数据包括名称、头衔、地址、电话号码、产品代码、身份证号码、自由文本等。典型的 Trillium 客户处理包含上百万个记录的庞大数据集。因此,处理过程必须高效、快速和精确。数据通常还来源于多个数据源,这要求 Trillium 接受以各种方式格式化和编码的数据。

Trillium ,一种独立于平台和可伸缩的产品,必须适合很多环境 -- 从运行在 MVS 或 AS/400 的大型系统到 Windows 或 Unix 上的小型数据库。

Trillium 的国际化需求
Trillium 已经“国际化”了几年,支持美国、加拿大、欧洲、南美、墨西哥、澳大利亚、马来西亚和其它使用基于拉丁文字的国家。支持这些国家数据的策略与北美模型没有多大不同。

但是,当日本有直接机会,并且中国香港、中国台湾、中国大陆和韩国可能有长期机会时,Trilliumw 认识到“完全国际化”的时机已到来,即在应用程序中支持所有国家语言,同时保留 Trillium 的最佳特性:平台无关性、高效和快速的数据处理以及灵活和可配置的处理。

实现

方法
Trillium Software 选择 Unicode 作为其“完全国际化”模型编码的内部编码模式。为了满足目前和计划中来自全球各国家的需求,需要对大量字符集提供支持。可能的实施方案是使用 MBCS(多字节字符集)抽象,其中,每个字符集可能需要它自己版本的源代码和有条件的运行时代码路径,以及允许对所有语言使用一个代码和运行时代码路径的 Unicode。Unicode 可以通过一种编码为所有语言提供设计简单性和可维护性,而不用支持多个源码或运行时代码路径,以基于语言环境管理不同编码,这使 Unicode 成为更好的选择。

在这种新模型中,Trillium 内部处理通过 UCS2 执行。因为很少有客户用 UCS2 编码数据库,所以需要有一个系统将数据转换到传统字符编码和从传统字符编码转换,以及转换到 UCS2 和从 UCS2 转换。Trillium 选择 Basis Technology 的 Rosette 这种 Unicode 开发平台来执行这种任务。Rosette 允许程序员快速向产品中添加 Unicode 2.1 兼容性。Rosette 丰富的 C 类和与 ISO-C 兼容的众多字符运行时库,支持在 Unicode 和众多广泛使用且特定于语言的传统编码之间灵活转换。

有了这些转换例程,Trillium 可以接受世界上任何数量的字符编码模式,在内部使用 Unicode 处理数据,并以原始编码或任何其它期望的编码返回数据。

这种模型特别适合 Trillium。Trillium 的一个关键组件是 "DDL"(数据定义语言)层,它可以使应用程序对以各种方式表示的数据文件字段进行统一访问。Trillium 描述字段属性的语言已用于各种数值、日期和货币格式,以及 EBCDIC 或 ASCII 编码。将 DDL 扩展成包含所有 Rosette 支持的编码,以及将 DDL 层的职责扩展成表示到数据清理应用程序的一致 Unicode 接口,是 Trillium 体系结构自然而强大的结果。

问题
虽然 Trillium 正计划发展国际市场,但他们目前的需要来自日本,因此,国际产品的开发围绕日语案例进行。以下是在国际产品开发过程中出现的与 Unicode 有关的问题,但大多数例子指的是日语。这里讨论的一般问题对很多类型的数据库应用程序通用。

数据输入/输出

传统编码
传统编码是在 Unicode 出现之前正在使用的任何字符编码标准。传统编码包括国家、国际和厂商编码标准。

日语有几种常见传统编码模式,如 Shift-JIS、EUC-JP、Code Page 932(有少许重要不同的 Shift-JIS 的 Microsoft 衍生)和 ISO2022 编码的 JIS。Trillium 将清理以这些模式中的任何一个编码的数据库。另外,既然 Trillium 处理原来存储在大型机中的公司数据,所以还要考虑日本公司字符集编码,如 IBM-Kanji、NEC-Kanji、KEIS(日立)和 JEF(富士通)。

更多了解日语字符编码的极好参考大全是 Ken Lunde 所著、最新出版的(而且期待很久的)书 CJKV (Chinese, Japanese, Korean and Vietnamese) Information Processing (ISBN 1-56592-224-7)。

传统编码和 UCS2 之间来/自转换
要想使 Trillium 处理 UCS2 数据库,必须将数据库从原始编码转换到 UCS2,并在输出时执行相反转换,如上图所示。有几个代码库可以提供众多传统数据编码和 Unicode 之间的转换。Trillium 选择了 Rosette 库,因为它速度快,“足迹”(程序操作时需要的内存空间)小,以及可获得编码转换之外的标准特性和定制特性。

Rosette 库有可能使任何数量的传统编码(包括上面所列),与 UCS2(或任何通过 UCS2 支持的编码)互相转换。这个库利用优化的代码点映射表来将一种编码精确转换成另一种。

创建映射表
为了将一种传统编码转换成 Unicode,必须定义 Unicode 中的代码点和所有字符共有的传统编码之间的映射。为了此目的,Unicode 联盟提供了数百个映射表,来将传统字符编码中的代码点映射成 Unicode。以下是 Shift-JIS 到 Unicode 映射表的一小部分:

Shift-JIS
代码点(十六进制)
Unicode
代码点(十六进制)
Unicode 名称
(# 是注释标记)
0x82A90x304B# HIRAGANA LETTER KA
0x82AA0x304C# HIRAGANA LETTER GA
0x82AB0x304D# HIRAGANA LETTER KI
0x82AC0x304E# HIRAGANA LETTER GI
0x82AD0x304F# HIRAGANA LETTER KU
0x82AE0x3050# HIRAGANA LETTER GU

但是,Unicode 联盟提供的映射集中没有表示所有传统编码。在 Trillium 项目中,需要几种公司编码和 Unicode 之间的转换 -- 这些编码有 EBCDIK(包含日语 Kana 字符的 EBCDIC)、JEF(富士通编码)、KEIS(日立)、LETS-J (UNISYS)、IBM Kanji 和 NEC-Kanji。Unicode 2.0 中没有提供这些映射,也不能轻易从其它来源获得。在这种情况下,需要自己创建映射表。

要创建映射表,首先要研究每一种编码,并调查任何从它继承的“后续”编码:有时候,公司字符集将有多个版本,每个版本略有不同。例如,EBCDIK 编码有几个衍生版本,它们略有不同,例如 IBM 的 CCSID 290 和 CCSID 1027 -- 二者都叫作 "EBCDIK"。重要的是:文件编码的 EBCDIK 版本要与映射表相同,否则数据可能会丢失或毁坏。

在我们的研究中,试图找到定义编码标准的实际代码表。代码表列出编码中的每个字符,并显示它的分配值。找到旧的、不常用和非常专用的标准是困难的。如果没有代码表,就查找编码的描述,描述可能会略述不同的编码范围,并列出编码可能基于的其它厂商、国家或国际标准。例如,很多日语编码都在某些方面基于国家标准 JIS X 0208。

Lunde 的 CJKV Processing 是有关所有大型机和不常见编码信息的极好资源,它包含很多映射表(不一定是与 Unicode 之间的转换)。

当无法找到映射表时,创建映射表的一种方法是使用已知相关的其它表的一部分,然后手工做修改,以满足新映射表所需。例如,除了一些不同之外,NEC-Kanji 代码表直接从 JIS X 0208 生成。因此,使用了 JIS X 0208 到 Unicode 映射表作为 NEC-Kanji 表的基础,然后手工输入不同之处。

另一种定义映射表的方法是通过已经在链中存在的表映射来定义新映射。如果现有表将所需编码映射到任何其它编码,而其它编码有到 Unicode 的映射,则可以合并这两个表以生成新表。例如,在 CJKV Processing 中找到 EBCDIK 到 ASCII 的表,就可以通过合并这两个表定义的映射来生成 EBCDIK 到 Unicode 表。

测试表的最后一步是确认数据成功完成了“往返”转换。通过一个包含编码中所有字符的文件的帮助,很容易完成这一步。该文件可以转换到 Unicode,然后再转换回来。如果有任何不同点,则表不正确。

往返转换(“可转换性”)
Unicode 2.0 发行版中提供的 Unicode 映射表目的在于保证往返转换的正确性,大多数表都没有错误。由于有容易出错的字符对(例如 MACRON (U 00AF) 和 OVERLINE (U 203E)),确实有不明确和有问题的映射出现。只有少数用户才能遇到这些错误,但是这些错误值得注意。下面提供了存在这种问题的两个例子。

一个问题是在传统编码中的两个字符转换到 Unicode 中的同一个字符时出现的。这在转回传统编码时特别会出现问题,因为会产生二义性。

另一个问题在当一个编码正好是另一个的子集时出现,这样与期望会有一些不同。例如,Shift-JIS 表面上正好是 Microsoft Windows Code Page 932 的子集,并且是创建 CP932 的基础。但是,有一些映射点却不符合,如下所示:

Shift-JISUnicode
0x817C0x2212# MINUS SIGN
CP 932Unicode
0x817C0xFF0D# FULLWIDTH HYPHEN-MINUS

虽然有疑问的字符可以在往返转换中正确转换成同一个传统编码,但是如果在输出时将 Unicode 文件转换成相关编码,将产生不匹配字符。

下面即将讲到处理“正式”映射表中明显不一致的两种选项。可以改变映射表的本地副本以生成期望的结果。如果采用此策略,最好还要准备使用正式表,因为共享转换文件的其它进程可能会使用其它映射,从而导致文件和数据库中不一致。

当然,如果可以确定只有少数用户能遇到这些问题,也可以接受、忽略错误和“带错误”运行。

无论使用哪个策略,如果无法在 Unicode 标准手册中找到宣称的问题,建议您与 Unicode 联盟 (errata@unicode.org) 联系,以获得讨论和可能的报告。虽然映射表中明确定义了很多不一致,但经常它们由厂商出于正当理由建立,因此不可更改。

存储
因为处理数据库的应用程序要处理大量数据,所以最好使数据长度最小。虽然 16 位 Unicode 可能不总是存储数据的最佳节省空间选择,但如果数据可能以任何世界语言表示,那么它还是处理程序内部数据的最可靠技术。

UCS2 为每个字符保留单一“宽度”或“大小”(16 位)。很多传统编码,特别是日语传统编码,都是可变宽度,一些字符占 8 位,一些占 16 位或更多。例如,Shift-JIS 这种常见的日语编码标准包含 ASCII/JIS 罗马字符(8 位),半宽片假名字符(8 位)以及罗马字符和符号(16 位)。因此,假定有一个 200 个字符的文件 -- 100 个罗马 "ASCII" 字符和 100 个日语字符 -- 如果用 Shift-JIS 编码,则长度将比 Unicode 编码小 25%:

编码16 位字符8 位字符总位数
UCS220003200
Shift JIS1001002400

由于文件长度可能会增加,所以通常不希望以 UCS2 存储数据。但是,如果数据库当前包含(或将要包含)来自多个字符集的字符,尽管长度可能会增加,还是强烈建议使用 Unicode。

以 Trillium 为例,因为只在内部处理中使用 UCS2,而数据以原始编码返回,所以只影响到运行 Trillium 所需的临时数据存储空间。当然,除非最终用户在数据文件中选择使用 Unicode,永久存储空间不受影响。

UCS2 对比 UTF8
除了单一宽度 UCS2,Unicode 还支持可变宽格式 -- “UCS 变换格式 (UTF)”。这些格式设计成允许 Unicode 在未经修改的现有 8 位环境中(即 Internet 和文件系统)可靠传送,并更高效地将 ASCII 数据打包。UTF8 是最常见的 UTF,它是将字符分成 8 位“块”,每个字符有一到三块(8-24 位)的方案。"ASCII" 字符占 8 位,日语字符占 24 位,所以在上例中,UCS2 和 UTF8 将占相等空间,但实际并不总是这样:

编码24 位字符16 位字符8 位字符总位数
UTF810001003200
UCS2-20003200
Shift JIS-1001002400

虽然使用 UTF8 作为数据库的编码可能会根据主要字符类型而节省空间,但是以 UTF8 处理字符比 UCS2 更麻烦。因为 UTF8 是变宽编码,使编程变成变得困难和复杂,因为即使是最基本的字符处理函数也要分别检查每一字节,以分辨字符边界。这就降低了处理速度,并需要复杂、易错的代码。UTF8 提供了存储文件的空间优势和在因特网上发送数据的时间优势,但是特定应用的字符操作越复杂,UCS2 提供的优点也越多。

实际文件存储时最适合的数据编码选择取决于存储的数据类型。如果要存储的全部数据是 ASCII 或基于拉丁文的文本,则 ASCII 或 ISO-8859n 效率最高。如果所有数据是日文,则 Shift-JIS 提供最好的数据包装。但是如果数据表示多种语言的文本,则需要 Unicode 的一些衍生。非拉丁符号(其字符在 UTF8 中需要 3 字节表示)越多,UCS2 越比 UTF8 具有空间优势。

定长数据库子段
因为 UCS2 中的字符比 ASCII 或 ISO-8859n 需要更多空间,那些决定在数据库字段中输出 UCS2 的 Trillium 用户可能要将他们的数据库重新格式化为具有更大的字段(更多字节),以维持相同数量的字符。(当然,更改数据字段的编码是客户才有的选项,因为他们的文件编码不受其它应用程序的约束)。这是 Trillium 中的简单操作,因为文件格式转化是其最常用功能之一。

国际编码的使用在数据库格式的选择上带来一个新问题,即不允许存储部分(不完整)多字节字符。例如,定义成包含 UCS2 的字段不应该定义成包含奇数个字节,因为每个 UCS2 需要两字节。如果在存储到数据字段时,没有由实际的编码转换模块 (Rosette) 仔细管理,就可能会只存储半个(或其它部分)字符。如果不加思索地按字节来应用传统的“固定子段长度”数据处理中的字段截断,则将产生损坏的无效字符。

要解决 Trillium 或其它应用程序中的这种问题,其中,固定缓冲区可能需要截断多字节代码中字符串,我们向 Rosette 添加了一些特性(“字符下沉类”),如果缓冲区要从编码转换接受输出,这些功能只发送完整的字符表示,并向客户指明执行的操作(截断或未截断)和实际填充的字节数量。

整序/排序
直到最近,Unicode 标准还没有提供任何“文化适用”或“特定于语言环境”的整序或排序。因此,在开发 Trillium 时,不得不创建整序例程(可用做排序例程所用的比较谓词)。Unicode 手册中有对国际文本排序的指南,1998 年 12 月,Unicode 联盟发布了解决语言环境排序问题的草案技术报告 (#10)。但是,建议对日语剪裁 TR10 中的整序算法。

日语排序
TR10 中概述的算法使用 Unicode 十六进制数字作为汉字字符(在日语中也称为 "Kanji"*)整序的基础。Unicode 顺序通过基本笔划排序汉字字符。虽然认为这是整序汉语的可接受顺序,但是建议使用其它日语排序方法,这需要对 TR10 做一些剪裁。

真正的日语排序是困难的,因为需要“读”字(或发音)知识,对于以表意符号书写的字,这需要(这是幸运的)大量查阅字典。最糟糕的是,以专有名称为例,没有外部提示就无法进行。因为这种排序难以实现,所以,日语计算机用户已逐渐接受称为“JIS 排序”的方法,一种基于 JIS 标准中分配给字符的代码点值的排序方法。

Unicode 开发平台(如 Rosette)提供比较例程来进行语言环境的排序。为了支持 Trillium,我们向 Rosette 添加了一个例程,以 JIS 整序次序比较两个 Unicode 字符串,可以将它用于与标准 C/C 排序例程(如 qsort)一起使用的谓词。该 Rosette 谓词将数据转换成 EUC-JP,然后做二进制比较。我们选择 EUC-JP 而不是 Shift-JIS 或其它基于 JIS 的标准 ,是因为它包含 JIS-X-0201、JIS-X-0208 和 JIS-X-0212,因此尽可能多地包含了日语字符集。

Unicode 兼容性字符

在排序或搜索 Unicode 中的字符之前,通常建议将所有“兼容性字符”转换成它们的标准形式。兼容性字符是只在 Unicode 中存在的字符,用于支持在传统字符集中出现的字符变体。兼容性字符总有一个被认为是“标准”的类似表示。

例如,在 Shift-JIS 中,有一些片假名字符以“半宽”表示,还有一些以“全宽”表示,后者是标准形式,在 Unicode 中也认为是标准形式。但是,因为半宽表示在 Shift-JIS 中存在,而且 Unicode 保证与传统编码之间的往返转换,这些半宽字符也在 Unicode 中表示。

应该将兼容性字符转换成它们的标准形式,以便相似字符可以正确排序。例如,以下 UCS2 元素表示相同字符,但字型不同,排序时应该将它们组在一起:

KATAKANA LETTER KAU 30AB
HALFWIDTH KATAKANA LETTER KAU FF76

如果不规范兼容性字符,以半宽表示的数据在排序时将与以全宽表示的数据分开。在上例中,应该先将半宽 "ka" 转换成全宽等价字符,然后再比较。

TR10 中提供的“缺省 Unicode 整序元素表”正确处理了非标准日语字符表示。

结束语
使用 Unicode 作为 Trillium 数据库处理引擎的编码是自然选择,因为应用程序需要支持世界上许多字符集中的字符,可以想象,即使一个数据文件也是如此。Unicode 开发平台 Rosette 支持在输入和输出时转换编码的模型,它提供 Unicode 和大量传统编码之间互相转换的例程。将大量编码与一个标准内部编码互相转换的模型,自然地适合 Trillium 并作为其现有数据访问体系结构的扩展。

除了在开发过程中出现的问题之外,UCS2 也在以下几方面证明自己优于其它解决方案:提供出众的数据处理以及使编程更容易和可靠的定宽字符、处理所有现代字符集的能力、添加如整序/排序特性的灵活框架。简而言之,我们发现:Unicode 实现了其设计预想,并为不断变小的全球市场的信息处理提供了一种出色的解决方案。

pymysql处理Unicode 在写python爬虫的时候,听说处理Unicode字符串是比较痛苦的(但是我还没感受过!), 先把解决问题贴上来,以后肯定会遇到的: 解决的方法就是最好一开始就让你的数据库支持Unicode编码:ALTER DATABASE scraping CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci; ALTER TABLE pages CONVE 阅读详情

相关推荐

Sqlite数据库的Unicode排序

Sqlite数据库内建的排序序列(collating sequence)有三种: BINARY、NOCASE和RTRIM。 以下是Sqlite.Org对这三种排序方式的描述(原文地址:http://www.sqlite.org/datatype3.html): 6.0 Collating Sequences When SQLite compares two strings, it uses

Jason Song's Blog 3274

EBCDIK,EBCDIC,ASCII,shift JIS間の変換

http://itdoc.hitachi.co.jp/manuals/3020/3020759580/G5950334.HTM#ID01056 转载于:https://www.cnblogs.com/mochaMM/p/4766837.html

weixin_34319999的博客 503

Unicode编码

Unicode 是一种字符编码标准,旨在为世界上所有的字符(包括各种语言、符号和特殊字符)提供唯一的数字标识符。它的目标是统一字符的表示方式,以解决不同字符集和编码方案之间的兼容性问题。传统的字符编码方案(如 ASCII)只能表示有限的字符集,无法涵盖全球范围内的字符需求。为了解决这个问题,Unicode 出现了。Unicode 使用四个十六进制数字(通常使用 “U+” 前缀表示)来表示每个字符,例如 U+0041 表示字符 “A”。

Bruce__taotao的博客 1721

计算机编码与解码&编码表

电脑是由电路板组成,电路板里面集成了无数的电阻和电容,交流电经过电容的时候,电压比较低,记为,用0表示,交流电流过电阻的时候,电压比较高,记为,用1来表示;所以每一个1和0在计算机中被称为,也就是。然而,如果使用一个位来表示计算机中的最小存储单元,那么这个存储单元只能存储0或者1,存储的范围太小了,所以我们规定用8个bit为一组来表示计算机的最小存储单元。8个位每个位上能存储0或者1,则byte的存储范围则是00000000-11111111(换算成整数即0-255),这个最小存储单元就是byte字节。

杀神lwz的博客 6104

MySQL修改数据库:ALTER DATABASE用法简介

据库创建好后也是可以修改的,下面我们来介绍一下修改数据库的基本操作 基本语法 在 MySQL 中,可以使用 ALTER DATABASE 或 ALTER SCHEMA 语句来修改已经被创建或者存在的数据库的相关参数。修改数据库的语法格式为: ALTER DATABASE [数据库名] { [ DEFAULT ] CHARACTER SET <字符集名> | [ DE...

mysql安装教程 993

Python 标准库:: unicodedata---Unicode 数据库

unicodedata --- Unicode 数据库 此模块提供了对 Unicode Character Database (UCD) 的访问,其中定义了所有 Unicode 字符的字符属性。 此数据库中包含的数据编译自 UCD 版本 12.1.0。 该模块使用与 Unicode 标准附件 #44 “Unicode 字符数据库” 中所定义的相同名称和符号。 它定义了以下函数: unicodedata.lookup(name) 按名称查找字符。如果找到具有给定名称的字符,则返回相应的字符。 如果没有.

Simon112119的博客 1027

日语的文字编码

1、常用编码日语的文字编码主要是Shift_JIS、EUC-JP、ISO-2022-JP这三种。(1)Shift_JIS主要是Windows和Macintosh使用的文字编码。Shift_JIS的文字集合基本是按照JIS X 0208规定的。但实际上各个厂商各自进行扩展,包含了大量重复的、规格以外的文字。因此,Windows在本来的Shift_Jis的文字集合之外,又增加了NEC扩展、IB

SNIDEL LILYBROWN ANDROID JAVA POSTGRESQL STRUTS EC 9259

掌握OLE DB:处理Unicode与多游标策略

本文深入探讨了OLE DB在数据库编程中的重要概念,包括Unicode字符串的处理、不同类型的游标以及事务的使用。通过分析Unicode字符串的特点和转换机制,我们能够更好地理解和实现国际字符集的支持。同时,文章详细介绍了静态、KeySet和动态游标在数据导航和锁定中的应用,以及如何通过设置Rowset属性来调用这些游标。此外,文章还涵盖了事务对象的创建、提交和中止操作,以及如何使用索引对象来提高数据检索效率。

weixin_36019375的博客 946

CHARACTER SETS 字符集编码(转) 理解字符集编码

[url]http://scripts.sil.org/cms/scripts/page.php?site_id=nrsi&item_id=IWS-Chapter03[/url] [url]http://lachy.id.au/log/2005/10/char-refs[/url] [url]http://www.herongyang.com/unicode/[/url] [url]...

天天成长的博客 1721

深入理解Unicode字符数据库及其字符属性

本文详细探讨了Unicode字符数据库(UCD)的核心内容及其各种属性。Unicode标准不仅为字符分配数字,还提供了丰富的字符使用信息。UCD是标准中最活跃的部分,包含大量关于字符如何单独或组合使用的数据。文章还介绍了获取UCD的途径,以及如何在编程中使用这些数据,包括处理字符属性、方向性、分解、映射等。

weixin_31974443的博客 603

JIS X 0208 の文字コード表

JIS X 0208 の文字コード表 内有日文JIS SJIS EUC的16进制CODE

常用编码说明-其他地区编码

2.5.5 日语编码 2.5.5.1 Shift_JIS介绍 Shift_JIS是一个日本电脑系统常用的编码表。它能容纳全角及半角拉丁字母、平假名、片假名、符号及日语汉字。它被命名为Shift_JIS的原因,是它在放置全角字符时,要避开原本在0xA1-0xDF放置的半角假名字符。 2.5.5.2 Shift_JIS编码结构 以下字符在Shift_JIS使用一个字节来表示: ASCII字符 (0x20-0x7E),但“\”被“¥”取代。 ASCII控制字符(0x00-0x1F、0x7F)。 JIS X 020

weixin_43914798的博客 1539

生成式引擎优化(GEO):启动GEO优化的5个有效策略

随着生成式AI的普及,传统SEO正被GEO(生成式引擎优化)取代。本文提出GEO五大核心策略:用户意图解析、结构化内容设计、语义关键词优化、对话式内容创作和权威信源建设。研究表明,优化后的内容在AI答案中的引用率提升300%,点击率增长27%。文章还介绍了BERT模型、Schema标记等关键技术工具,并指出未来GEO将向多模态优化、实时数据更新方向发展。企业需避免简单堆砌关键词,应建立长期内容策略,通过结构化、权威性内容在AI时代保持竞争优势。

解锁AI流量新红利!🚀 GEO优化(生成引擎优化)助您掌控AI搜索,让AI成为您的品牌最佳代言人! 2787

python中Unicode 数据库访问(Unicode Character Database)

例如,字符 U+00C7 (带有 CEDILLA 的 LATIN CAPITAL LETTER C )也可以表示为序列 U+0043( LATIN CAPITAL LETTER C )U+0327( COMBINING CEDILLA )。正规形式C(NFC)首先应用规范分解,然后再次组合预组合字符。这是一个与整个模块具有相同方法的对象,但对于需要此特定版本的 Unicode 数据库(如 IDNA )的应用程序,则使用 Unicode 数据库版本 3.2。如果找到具有给定名称的字符,则返回相应的字符。

无极低码 1777

网络安全学习路线是怎样的?

为什么要学习安全? 近几年网络安全事件层出不穷,相信大家哪怕没遇到过,但也听过不少了吧。如服务器遭受入侵被黑,用户帐号被盗;被钓鱼、勒索病毒等,这些一旦发生,对企业而言都是不小的打击。因此,网络安全不容忽视,同时随着时代的不断发展,公司对于运维及网络工程师要求也越来越严格。未来越来越吃香的一定是技能方向广的复合型人才。网络安全可以说是一条非常好的发展道路。 今年两会期间,全国政协委员,360集团创始人、董事长周鸿祎提交了关于网络安全行业特殊人才的提案,为广大白帽子人员争取更好...

网安技术分享 8707

中国城市统计年鉴1991-2024面板数据真正无缺失值填补指标说明

大学普通高等中等职业教育成人中小学学前教育在校学生人数。大学普通高等中等职业教育成人中小学学前教育在校学生人数。大学普通高等中等职业教育成人中小学学前教育在校学生人数。大学普通高等中等职业教育成人中小学学前教育在校学生人数。大学普通高等中等职业教育成人中小学学前教育在校学生人数。大学普通高等中等职业教育成人中小学学前教育在校学生人数。大学普通高等中等职业教育成人中小学学前教育在校学生人数。大学普通高等中等职业教育成人中小学学前教育在校学生人数。大学普通高等中等职业教育成人中小学学前教育在校学生人数。

yushibing717的博客 930

关于Database Configuration for Unicode

原文:http://docs.openlinksw.com/mt/unicode.html 8.3. Database Configuration for UnicodeBelow are instructions on the configuration of the Unicode enabled drivers and databases for testing. Typically

遨游的专栏 1670

RK3566/RK3588 NPU性能实测:用mobilenet模型快速验证你的开发板NPU是否正常工作

本文提供了RK3566/RK3588开发板NPU性能实测指南,通过MobileNet模型快速验证NPU是否正常工作。详细介绍了环境搭建、测试资源获取、编译运行及结果分析的全流程,帮助开发者高效验证神经网络加速器功能,为后续AI应用部署奠定基础。

weixin_28826521的博客 450

unicodedata Unicode 数据库 查询Unicode信息 字符转换 特殊字符处理 示例 总结——《跟老吕学Python编程》

模块作为Python的Unicode数据库接口,为处理多语言文本提供了强大的支持。通过它,我们可以方便地查询Unicode字符的信息、进行字符转换和特殊字符处理。对于需要进行国际化开发的Python项目来说,模块是不可或缺的工具。👨‍💻博主Python老吕评论,您的举手之劳将对我提供了无限的写作动力!🤞🔥《跟老吕学Python编程》《Python游戏开发实战讲解》《Python Web开发实战》《Python网络爬虫实战》《Python APP开发实战》🌐《HTML》《CSS》《Vue》💻。

Python老吕的博客 1652

AI代码标注专家Prompt指令的最佳实践

AI代码标注专家 Prompt 可作为项目级别提示词使用,专门负责为 AI 生成的代码添加特定的注释标记,然后基于 Node 脚本可以初步统计出 AI 代码占比。

💻 Code:TypeScript / Engineering 🤖 AI:Prompt Optimization / Context Memory / Coding Agents 617

UDS诊断服务基础详解之七-31服务

本节内容主要是讲解诊断服务中的31服务,包含31服务的使用场景,请求报文格式,响应报文格式,以及举例对31服务进行相关的说明

车载网络小D的博客 5630

QUESTION 111- Database Migration Assistant for Unicode  (DMU)

Which three statements are true regarding the use of the Database Migration Assistant for Unicode (DMU)? (Choose three.) A. A DBA can check specific tables with the DMU B. The database to be migrated must be opened read-only. C. The release of the d.

jisen_huang的专栏 568

R语言 Chow Test

Chow 测试用于测试不同数据集上的两个不同回归模型中的系数是否相等。 该测试通常用于计量经济学领域,使用时间序列数据来确定数据在某个时间点是否存在结构性中断。 本教程提供了如何在 R 中执行 Chow 测试的分步示例 首先,我们将创建一些假数据: #create data data <- data.frame(x = c(1, 1, 2, 3, 4, 4, 5, 5, 6, 7, 7, 8, 8, 9, 10, 10, 11, 12, 12, 13,

Mrrunsen的博客 1948

Oracle 数据库下处理Unicode字符

某些情况下,使用PHP OCI8调用Oracle数据库,一些罕见的Unicode字符会被转码为?,即便你使用了AL32UTF8的连接字符集。一般这种情况可能是由于数据库自身的结构设置不对。为了解决这种情况,可以采用以下折衷办法:第一步,强制要求OCI将所有字符串返回为ASCII字符,非ASCII字符进行转码:SELECT ASCIISTR(NVCHAR2_FIELD) AS FIELD FROM ...

fundawang的博客 5240

华为OD机试 - 小火车最多人时所在园区站点(Java 2024 E卷 100分)

刷的越多,抽中的概率越大,私信哪吒,备注华为OD,加入华为OD刷题交流群,每一题都有详细的答题思路、详细的代码注释、发现新题目,随时更新,全天优快云在线答疑。

学Java,找哪吒 996

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

zhihu-spider数据库设计与SQL初始化:构建你的知乎数据仓库

想要构建一个强大的知乎数据仓库吗?zhihu-spider项目为你提供了完整的数据库设计和SQL初始化方案!这个开源爬虫工具不仅能抓取知乎的热门问题和话题数据,更重要的是它设计了一套高效的数据存储结构,让你可以轻松管理和分析海量知乎内容。 ## 📊 数据库架构设计:两大核心表结构 zhihu-spider的数据仓库采用简洁而高效的设计,主要包含两个核心表:问题表(QUESTION)和话题表(

gitblog_01130的博客 841

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

上一篇: 在已投产的J2EE应用服务器中,BEA稳居市场第一
下一篇: Java 国际认证日回执
java169
博客等级 码龄19年 27粉丝 2568原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值