python 对unicode字符进行normalized

参考：https://blog.csdn.net/weixin_42401159/article/details/112187778

　　https://cloud.tencent.com/developer/article/1406445

在处理一些自然语言文字的过程中，会遇到一些表面很奇怪的现象。 比如两个单词 人肉眼看着一模一样，但是在计算机中读取出来却表示两者不相等。当查看它们的的编码字符的时候，发现两者确实也不一样。

例如：

text_a = \"ज़म्पा\"
text_b = \"ज़म्पा\"

print(text_a == text_b)  # False
print(unicodedata.normalize(\"NFKD\", text_a) == text_b)  # True

事实上，在Unicode的编码中，经常会有一些特殊字符被编码成多种 Unicode 形式。例如： 字符 U+00C7 (LATIN CAPITAL LETTER C WITH CEDILLA) 也可以被表示为下面列个字符的组合： U+0043 (LATIN CAPITAL LETTER C) 和 字符U+0327 (COMBINING CEDILLA).

这种情况下多发于那些需要包含音调的字符体系中（例如印地语、德语、西班牙语等），如以下字符\"Ç\"。Unicode体系中，即可以用Compose(组合)的形式U+00C7来表示这个字符。 也可以使用Decompose(分离)分别存储字符(U+0043)本身和音调(U+0327)本身。

在上面的印地语中，出现问题的主要是因为字符\"ज़\"，该字符下有一个小点，表示印地语中的一些音调问题（具体参考 Nuqta）。该字符就拥有 Compose 和 Decompose 两种Unicode表示方法， 因此才会出现上文中字符不等的例子。

在Python中，我们可以利用 unicodedata.normalize 函数对字符进行标准化。标准化分为两个方式：

unicodedata.normalize(\"NFKC\", text): Normal form Composition: 将所有的文本标准化为 Compose 形式。
unicodedata.normalize(\"NFKD\", text): Normal form Decomposition: 将所有的文本标准化为 Decompose 形式。

更标准的写法，应该为

import unicodedata
def strip_accents(s):
return \'\'.join(c for c in unicodedata.normalize(\'NFD\', s)
if unicodedata.category(c) != \'Mn\')

来源：https://www.cnblogs.com/shaosks/p/17109589.html
本站部分图文来源于网络，如有侵权请联系删除。