scrubadub 项目教程

scrubadub 项目教程

scrubadubClean personally identifiable information from dirty dirty text.项目地址:https://gitcode.com/gh_mirrors/sc/scrubadub

1. 项目的目录结构及介绍

scrubadub 项目的目录结构如下：

scrubadub/
├── docs/
│   ├── conf.py
│   ├── index.rst
│   └── ...
├── scrubadub/
│   ├── __init__.py
│   ├── detectors/
│   │   ├── __init__.py
│   │   ├── address.py
│   │   ├── email.py
│   │   └── ...
│   ├── filth/
│   │   ├── __init__.py
│   │   ├── base.py
│   │   ├── email.py
│   │   └── ...
│   ├── post_processors/
│   │   ├── __init__.py
│   │   ├── base.py
│   │   ├── replace.py
│   │   └── ...
│   ├── comparison.py
│   ├── scrub.py
│   └── ...
├── tests/
│   ├── __init__.py
│   ├── test_scrub.py
│   └── ...
├── setup.py
├── README.md
└── ...

目录结构介绍

• docs/: 包含项目的文档文件，使用 Sphinx 生成文档。
  • conf.py: Sphinx 配置文件。
  • index.rst: 文档的主索引文件。
• scrubadub/: 项目的主要代码目录。
  • __init__.py: 初始化文件，定义了项目的包结构。
  • detectors/: 包含各种检测器（detectors）的实现，用于检测和处理不同的敏感信息。
  • filth/: 包含各种类型的敏感信息（filth）的定义和处理逻辑。
  • post_processors/: 包含各种后处理器（post_processors）的实现，用于对检测到的敏感信息进行进一步处理。
  • comparison.py: 包含用于比较不同检测器和后处理器的功能。
  • scrub.py: 项目的主文件，包含主要的 scrub 功能。
• tests/: 包含项目的测试代码。
  • test_scrub.py: 测试 scrub 功能的测试文件。
• setup.py: 项目的安装配置文件。
• README.md: 项目的介绍和使用说明。

2. 项目的启动文件介绍

项目的启动文件是 scrubadub/scrub.py。该文件包含了主要的 scrub 功能，用于清理文本中的敏感信息。

主要功能

• clean(text, **kwargs): 清理给定文本中的敏感信息，返回清理后的文本。
• Scrubber 类: 提供了更高级的配置选项，允许用户自定义检测器和后处理器。

使用示例

from scrubadub import clean

text = "My cat can be contacted on example@example.com or 1800 555-5555"
cleaned_text = clean(text)
print(cleaned_text)  # 输出: 'My cat can be contacted on [[EMAIL]] or [[PHONE]]'

3. 项目的配置文件介绍

项目的配置文件主要有两个：

1. setup.py: 用于项目的安装和分发配置。
2. docs/conf.py: 用于 Sphinx 文档生成工具的配置。

setup.py

setup.py 文件用于定义项目的元数据和依赖项，以及如何安装项目。

docs/conf.py

docs/conf.py 文件用于配置 Sphinx 文档生成工具，定义文档的结构、主题和其他相关设置。

使用示例

# setup.py 示例
from setuptools import setup, find_packages

setup(
    name='scrubadub',
    version='2.0.1',
    packages=find_packages(),
    install_requires=[
        'some-dependency',
    ],
    entry_points={
        'console_scripts': [
            'scrubadub=scrubadub.scrub:main',
        ],
    },
)

# docs/conf.py 示例
import sys
import os

sys.path.insert(0, os.path.abspath('..'))

project = 'scrubadub'
copyright = '2021, Dean Malmgren and Leap Beyond'
author = 'Dean Malmgren'

extensions = [
    'sphinx.ext.autodoc',
    'sphinx.ext.viewcode',
    'sphinx.ext.napoleon',
]

templates_path = ['_templates']
exclude_patterns = ['_build', 'Thumbs.db', '.DS_Store']

html_theme = 'alabaster'
html_static_path = ['_static']

通过以上配置文件，可以方便地安装和生成项目的文档。

scrubadubClean personally identifiable information from dirty dirty text.项目地址:https://gitcode.com/gh_mirrors/sc/scrubadub