为什么 Unicode 文本看起来相同却不相等?
Unicode 可以用不同码点序列表示相同的可见文本。NFC 和 NFD 处理规范组合与分解,NFKC 和 NFKD 还会折叠全角字母、连字和带圈数字等兼容形式。与此同时,西里尔、希腊等文字系统中的字符可能与拉丁标识符非常相似。本工具完全在浏览器中显示规范化差异和安全相关码点,同时不会把视觉相似本身误称为恶意证据。
如何检查 Unicode 规范化与形近字符
- 1粘贴需要精确核对码点的主机名、账号、源代码标识符、文件名或普通文本。
- 2按需输入可信对照文本,同时检查精确、NFC、NFKC 和常见形近字符骨架是否匹配。
- 3先查看混合文字系统和双向控制符等高风险发现,再处理规范化差异等提示。
- 4比较四种规范化结果,并复制数据库、协议、搜索索引或应用所需的形式。
- 5逐个检查码点、文字系统、UTF-8 字节、可见性和形近映射,再决定是否接受该标识符。
实用 Unicode 检查场景
调查形近域名或账号
把不可信标签与预期拼写比较,发现混入拉丁文本的西里尔或希腊字母。
排查字符串相等性异常
确认组合与分解重音是否在 NFC 后相等,以及原始码点序列为何不同。
发现源码或文件名中的不可见字符
显示可能让代码、路径或审查 diff 产生误导顺序的零宽字符和双向控制符。
选择存储规范化策略
在制定标识符、搜索、去重或数据库规则前预览规范形式与兼容形式。
常见问题
是否应该始终使用 NFKC 而不是 NFC?
不应该。NFKC 会有意移除兼容差异,因此可能改变全角字符、连字、样式字母、带圈数字等形式。它常用于受控标识符和搜索;需要保留兼容差异时,NFC 更稳妥。
形近字符骨架相同是否能证明存在仿冒?
不能。骨架只是需要人工复核的信号,不能证明意图或身份。本工具采用明确说明的常见字符启发式映射,并非完整 Unicode UTS #39 数据;不同字体还可能产生更多视觉相似。
为什么 emoji 连接符也会标记为不可见?
Emoji 序列可以合法使用零宽连接符,但同一码点在其他上下文中不可见且会改变含义,因此检查器会将它显示出来。应根据输入是自然文本、emoji、源码还是标识符解释结果。
文本会发送到服务器吗?
不会。JavaScript 规范化、文字系统分类、骨架生成和 UTF-8 检查都在浏览器本地运行。