Mozilla Bleach库中的链接识别与处理技术详解-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00198/article/details/148783942

Mozilla Bleach库中的链接识别与处理技术详解

bleach Bleach is an allowed-list-based HTML sanitizing library that escapes or strips markup and attributes 项目地址: https://gitcode.com/gh_mirrors/bl/bleach

什么是Bleach的链接识别功能

Mozilla Bleach库提供了一套强大的文本处理工具，其中linkify功能能够自动识别文本中的URL和电子邮件地址，并将其转换为HTML链接。这个功能特别适合在Web应用中处理用户输入的文本内容，自动为其中的网址和邮箱添加可点击的链接。

核心功能解析

基本使用方式

Bleach的linkify功能会解析文本中的HTML结构，构建文档树，确保最终输出的HTML是有效的。这种方式避免了直接在标签属性中识别URL可能导致的混乱情况。

from bleach import linkify

text = "访问我们的网站 http://example.com 或发邮件至 contact@example.com"
result = linkify(text, parse_email=True)

安全注意事项

开发者需要注意，默认情况下linkify不会保护用户免受以下类型的恶意链接：

指向恶意或欺骗性域名的链接
短链接或追踪链接
使用国际化域名(IDN)进行同形异义攻击的链接

建议开发者通过回调函数或其他控制手段来检查这些属性。

回调函数的高级应用

Bleach提供了强大的回调机制，允许开发者精细控制链接的生成和修改。

回调函数的基本结构

每个回调函数接收两个参数：

attrs: 包含链接属性的字典
new: 布尔值，指示链接是新创建的还是已存在的

回调函数必须返回修改后的属性字典或None（表示移除该链接）。

实用示例

添加标题属性

def add_title(attrs, new=False):
    attrs[(None, 'title')] = "用户提供的链接"
    return attrs

外部链接特殊处理

from urllib.parse import urlparse

def external_links(attrs, new=False):
    p = urlparse(attrs[(None, 'href')])
    if p.netloc not in ['my-domain.com']:
        attrs[(None, 'target')] = '_blank'
        attrs[(None, 'class')] = 'external'
    return attrs

移除特定属性

def remove_style(attrs, new=False):
    attrs.pop((None, 'style'), None)
    return attrs

限制链接文本长度

def shorten_text(attrs, new=False):
    if new and len(attrs['_text']) > 25:
        attrs['_text'] = attrs['_text'][:22] + '...'
    return attrs

特殊场景处理

跳过特定标签内容

可以通过skip_tags参数指定不进行链接识别的HTML标签，如pre、code等。

linkify(text, skip_tags=['pre', 'code'])

电子邮件地址处理

默认不处理电子邮件地址，需要显式启用：

linkify(text, parse_email=True)

高级配置：Linker类

对于需要频繁处理大量文本的场景，可以使用Linker类进行更灵活的配置。

from bleach.linkifier import Linker

linker = Linker(
    skip_tags={'pre'},
    callbacks=[external_links, shorten_text]
)
result = linker.linkify(text)

自定义URL识别规则

可以自定义识别哪些顶级域名(TLD)和协议：

from bleach.linkifier import build_url_re

# 只识别.fish顶级域名
url_re = build_url_re(tlds=['fish'])
linker = Linker(url_re=url_re)

# 只识别https协议
url_re = build_url_re(protocols=['https'])
linker = Linker(url_re=url_re)

与清理功能结合使用

Bleach允许在清理HTML的同时进行链接识别，这是最高效的方式：

from bleach import Cleaner
from bleach.linkifier import LinkifyFilter

cleaner = Cleaner(
    tags=['a', 'b', 'i'],
    filters=[LinkifyFilter]
)
clean_text = cleaner.clean(user_input)