内容安全审核系统的设计思路

从0到1:基于AI的内容审核系统搭建指南 在当今数字化时代,互联网上的内容如潮水般涌来。无论是社交媒体平台、电商网站还是新闻资讯类应用,每天都会产生海量的用户生成内容。这些内容包含了文字、图片、视频等多种形式,其中不乏一些违规、有害的信息,比如色情、暴力、虚假广告等。基于AI的内容审核系统的目的就是要高效、准确地识别这些不良内容,保障平台的内容安全和健康生态。本文的范围将涵盖从系统搭建的前期准备、核心技术原理、具体实现步骤,到实际应用和未来展望等方面,帮助读者全面了解如何从零开始搭建一个这样的系统。 阅读详情

今年负责的APP产品涉及到内容的审核,并且针对性的做了一套内容审核系统和账号安全体系。因此总结了一些经验。

内容审核基础逻辑:

  • 内容类型:文本、图片、视频、音频

  • 审核类型:涉黄、暴恐、涉政、广告、垃圾违禁、辱骂自定义;主要为这几类,其他的根据具体场景添加,比如文化宗教等。

审核模块:

  • 用户发送信息流程:用户登录——内容编辑——内容上传——内容展示

  • 用户接受信息流程:用户登录——内容展示——互动

通过简单的流程梳理,不难看出涉及的对象有:发送用户、接收用户、内容审核(人员、管理员等)等;那么考虑设计时,有两个方向去思考:一方面,单纯考虑针对某个对象,要做什么机制处理。另一个方面,将相关联对象串联起来,考虑产品设计。

一、对于发送用户

可以通过用户的账号进行处理,用户的所有行为都能说明用户想干什么,是什么样的用户。

针对用户可以建立一套账号基础信息、用户分值系统、用户风险监控系统。

用户基础信息可以有用户年龄、性别、地理位置、设备、ip地址、使用时长、交易信息、用户发布各类信息等。用户数据是对用户进行分析的基础,有些数据可以在一定程度上反应用户信用。

用户分值系统则是通过用户基础数据进行分析,并数值化,可以按权重累加、按总分值加总均可。

比如:发布过一个违规内容的用户,则分值降低等。仅分值系统可能不够,比如分值高的用户,但是还是有可能发布不好的内容。因此需要再通过其他策略处理,比如高中低风险用户制度、黑白名单制度等。

比如:一个用户发布了一个违规内容被检测出来后,和分值解耦的另外一个平台定义其为高风险用户,该用户后续内容将多次放到人工审核机制中。

二、内容的编辑、上传

内容上传后,就是常用的先跑系统审核流程——人工审核流程——及其他申述复审流程等。

常见可选择敏感词策略有:不同类型内容选择不同。

(1)关键词:禁止关键词,一旦识别立即拦截。疑似关键词:支持更多策略,可以设置阈值,处理的方式有:疑似送审、拦截不送审、拦截加黑名单。设置的阈值指的是:设置一定数,若检测出超过一定次数后,则对应处理。

(2)黑白名单:顾名思义,黑名单一律拦截、白名单一律不检测拦截。

(3)用户频次:主要针对用户发送的方式、次数等次数进行统计,形成用户频次统计数据。根据频次可对用户进行处理:疑似送审、直接拦截、拦截加黑。

(4)黑白指纹:指纹-唯一,对内容文件通过消息摘要算法生成MD5,配置入黑名单,一旦发现相同MD5则拦截。反之白名单一样。

1. 系统审核

(1)文本

主要是关键词过滤,关键词大可分为:禁止、需审核关键词。禁止关键词:自动禁止的关键词(色情、广告等);审核关键词:检测到比较模糊是否为违规关键词的需要进入人工审核流程。

关键词的类型分为不同类型进行检测,关键词的库做成可配置的方式,以供应对不同的场景。

(2)图片

图片的审核有几种类型:图片主体、图片动作、图片文字、图片质量、图片广告(二维码、水印等)。针对不同的检测内容,可自行配置图片审核策略。

(3)视频

视频审核和图片审核是一样的,不同的地方在于,视频的审核需要先进行截取视频某一帧画面然后再进行图片审核。不同于图片,视频还可进行音频审核。

(4)音频

音频审核最主要是两点:1.是关键词内容,音频转为文字,进行校验关键词。2.是音频动物、喘息声纹就监控,这个需要阈值管理,主要有三个区域:正常区域、疑似区域、违规区域。

(5)其他

限定符:设置字符间可忽略的字符数;例如:“黄色”为违规词,为了规避用户可能会用“黄1色”,因此在“黄色”中间加入限定符以检测。

还有正则表达式、乱码等。

2. 人工审核

(1)人工审核机制

内容给到人工进行审核主要有:各系统转发至人工审核(系统审核为疑似内容、检测为高危用户等)、随机抽样审核;

人工任务分配机制:

  1. 内容的分发一般来说,可以按某些类型分发给不同的审核人员。比如:内容类型(图片、文字),再比如某个类型涉黄的内容某些审核人员专门负责等等。

  2. 分配的时间:审核人员可能不能做到24h在线,那么未在线的时候,该类内容次日优先处理。对于某些发布者的内容,可以优先审核。

(2)人工审核系统

人工审核系统主要分为几块:

  1. 账号管理:超级管理员可以通过系统管理人工审核账号,包括开通、删除、权限管理等。

  2. 监管平台:对于人工审核的质量也需要监管。简单的监管,可以直接抽样观察+操作日志记录即可。复杂的可以深入设计,对于审核人员来说他们的KPI大都是在一定时间内完成一定数量审核。那么这样很容易忽略质量,因此交叉审核、复审是有必要的。内容被人工审核后随即一部分进入交叉审核或者给到专门做二审的部门(KPI不同),若两次审核结果不一致则需复审,复审由更高一级负责人完成。

  3. 人工审核平台:审核人员通过平台对图、文、音、视频进行审核。不同类型前端样式的设计也是不同的。and 许多配套功能,倍速浏览、自动播放功能等。

3. 投诉和复审

对于发布者来说,内容的审核有时候没办法做到百分百准确,那么用户可以通过申述方式进行处理。那么对于人工审核人员中,也需要有对应处理申述的后台。

三、内容展示

大家应该都懂:先展示后审核、先审核后展示,这是基础的。还有其他的展示逻辑:发布内容后先对少量用户展示,审核通过后再全量展示。而对于高敏感的内容,限制展示渠道和曝光的上限,减少影响范围。

四、对于接受者

对于接受内容的用户,可以通过他们的行为侧面分析出内容的情况。

1. 用户基础行为

观看、点评、点赞、转发等,主要关注的是点评/评论,对评论进行监控内容,若评论中有对内容的举报或其他关键词,则该内容需要进入人工审核流程关注该类内容。

转发也需要关注,大量的传播有时候可能不是好消息,一旦有一个违规内容被大量传播,很可能导致公关问题。对大量传播内容,需要高度关注。

2. 举报

用户通过举报,将内容进入人工检查阶段。

最后来一句:内容安全、审核,主要工作应该还是对内容识别,提升系统审核效率、准确度,提升人工审核效率。

题外话

初入计算机行业的人或者大学计算机相关专业毕业生,很多因缺少实战经验,就业处处碰壁。下面我们来看两组数据:

  • 2023届全国高校毕业生预计达到1158万人,就业形势严峻;

  • 国家网络安全宣传周公布的数据显示,到2027年我国网络安全人员缺口将达327万。

一方面是每年应届毕业生就业形势严峻,一方面是网络安全人才百万缺口。

6月9日,麦可思研究2023年版就业蓝皮书(包括《2023年中国本科生就业报告》《2023年中国高职生就业报告》)正式发布。

2022届大学毕业生月收入较高的前10个专业

本科计算机类、高职自动化类专业月收入较高。2022届本科计算机类、高职自动化类专业月收入分别为6863元、5339元。其中,本科计算机类专业起薪与2021届基本持平,高职自动化类月收入增长明显,2022届反超铁道运输类专业(5295元)排在第一位。

具体看专业,2022届本科月收入较高的专业是信息安全(7579元)。对比2018届,电子科学与技术、自动化等与人工智能相关的本科专业表现不俗,较五年前起薪涨幅均达到了19%。数据科学与大数据技术虽是近年新增专业但表现亮眼,已跻身2022届本科毕业生毕业半年后月收入较高专业前三。五年前唯一进入本科高薪榜前10的人文社科类专业——法语已退出前10之列。

“没有网络安全就没有国家安全”。当前,网络安全已被提升到国家战略的高度,成为影响国家安全、社会稳定至关重要的因素之一。

网络安全行业特点

1、就业薪资非常高,涨薪快 2021年猎聘网发布网络安全行业就业薪资行业最高人均33.77万!

2、人才缺口大,就业机会多

2019年9月18日《中华人民共和国中央人民政府》官方网站发表:我国网络空间安全人才 需求140万人,而全国各大学校每年培养的人员不到1.5W人。猎聘网《2021年上半年网络安全报告》预测2027年网安人才需求300W,现在从事网络安全行业的从业人员只有10W人。

行业发展空间大,岗位非常多

网络安全行业产业以来,随即新增加了几十个网络安全行业岗位︰网络安全专家、网络安全分析师、安全咨询师、网络安全工程师、安全架构师、安全运维工程师、渗透工程师、信息安全管理员、数据安全工程师、网络安全运营工程师、网络安全应急响应工程师、数据鉴定师、网络安全产品经理、网络安全服务工程师、网络安全培训师、网络安全审计员、威胁情报分析工程师、灾难恢复专业人员、实战攻防专业人员…

职业增值潜力大

网络安全专业具有很强的技术特性,尤其是掌握工作中的核心网络架构、安全技术,在职业发展上具有不可替代的竞争优势。

随着个人能力的不断提升,所从事工作的职业价值也会随着自身经验的丰富以及项目运作的成熟,升值空间一路看涨,这也是为什么受大家欢迎的主要原因。

从某种程度来讲,在网络安全领域,跟医生职业一样,越老越吃香,因为技术愈加成熟,自然工作会受到重视,升职加薪则是水到渠成之事。

为了帮助大家更好的学习网络安全,我给大家准备了一份网络安全入门/进阶学习资料,里面的内容都是适合零基础小白的笔记和资料,不懂编程也能听懂、看懂这些资料!

因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取

[2024最新优快云大礼包:《黑客&网络安全入门&进阶学习资源包》免费分享]


在这里插入图片描述

因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取

[2024最新优快云大礼包:《黑客&网络安全入门&进阶学习资源包》免费分享]
在这里插入图片描述
在这里插入图片描述

从零构建文本内容安全审核系统:架构、AI模型与工程实践全解析 在互联网应用中,内容安全是保障平台合规与用户体验的核心环节。其基本原理是通过自动化系统对用户生成文本进行实时检测,识别违规信息。技术价值在于构建多层次防御体系,融合规则引擎与AI模型,以应对不断演变的对抗手段。应用场景广泛覆盖社区、电商、社交等UGC平台。本文聚焦文本内容安全审核系统的工程化落地,深入探讨了基于预训练语言模型微调的智能识别方案与高并发系统架构设计,并分享了关键词库构建、模型部署优化及策略动态调优等实战经验,为构建高效、精准的审核系统提供完整路径。 阅读详情

相关推荐

小程序内容安全审核实战:从API选型到性能优化的全链路指南

内容安全审核是互联网应用,特别是用户生成内容(UGC)平台的核心技术组件,它通过机器学习和自然语言处理等技术,自动识别文本、图片中的违规信息。其原理通常基于深度学习模型对海量标注数据进行训练,实现对敏感内容的分类与检测。这项技术的核心价值在于保障平台合规性、维护社区生态,并规避法律风险,是社交、电商、社区等场景的必备能力。在实际工程中,开发者常通过调用平台或第三方提供的API服务来快速集成此功能,这涉及API选型、异步处理、性能优化等关键实践。本文聚焦于小程序生态,深入探讨如何结合微信原生API与第三方服务

weixin_30251829的博客 402

利用AI开源引擎平台:构建文本、图片及视频内容审核系统|可本地部署

思通数科研发了一款多模态AI能力引擎,专注于提供自然语言处理(NLP)、情感分析、实体识别、图像识别与分类、OCR识别和语音识别等接口服务。该平台功能强大,支持本地化部署,并鼓励用户体验和开发者共同完善,以实现开源共享。

7221

谛听安全|内容审核系统的搭建设计思路

国内优质人工智能数据服务平台谛听安全,凭借数十年的产品内容经验,积累了更全面的审计维度,从平台的内容安全与运营角度出发,为不同行业的用户提高平台环境与运营活跃度,并且具有行业领先的非法过滤能力,从而为用户提供更可靠、更高质量的服务质量与速度。例如,在检测到用户发布非法内容后,则将与评分值解耦,定义为高风险用户,该用户将被多次放入手动审计机制中。用户的信息可以分类为年龄,性别,地理位置,设备,IP地址,使用时间,交易信息,用户发布等。设置阈值是指设置一定的数量,如果检测到超过一定次数,就会进行相应的处理。..

hgjkhjkhghhhdg的博客 448

内容审核系统设计,技术层面解构内容安全审核系统(python3)

谁也不能否认,对于UGC(User Generated Content,即用户产出内容)内容类产品来说,内容审核是必不可少的环节之一。因为UGC在产出大量优质内容的同时,也会产生诸如政治敏感、色情低俗、暴恐血腥等风险内容,所以,对于产出的数据,需要对应的审核员对其进行审批,而审核效率低下往往是因为审核系统的低效设计导致,而低效的诱因又往往是因为没有审核的“缓冲区”。

刘悦的技术博客 1149

上线之前多一道闸:业务审核系统的接入定义、双轨状态机与可靠生效闭环

运营后台“保存即生效”,让价格、库存、人群等配置每次修改都相当于一次无评审的上线。本文以至尊会员降价活动为例,系统拆解业务审核系统:用带业务语义的操作编码、规则化审核人与候选人快照、完整的生效回调契约做好接入定义;把业务改造为提交待生效,以不可变快照、字段级差异和唯一约束加幂等号防误配防重复;用审批轨与执行轨双轨状态机、链路式重新提交和以事件为准的审核链路理清状态;最后以发件箱、幂等键、超时先查后试、乐观锁与对账闭合生效环节,并结合两个可运行的Java程序,给出五种生效策略的事故率实测对比。

曾经“等你生日那天”都遥远得像未来,如今却可欢愉的挥手说“下个十年见” 6万+

微信小程序利用Echarts加载中国地图的步骤

微信小程序如何利用Echarts加载地图?可按照如下四个步骤进行。(阅读时间大概3分钟)。

成都都成 5283

内容安全审核系统的设计思路_移动互联网内容安全审计平台的设计与研究

从时代发展的角度看,网络安全的知识是学不完的,而且以后要学的会更多,同学们要摆正心态,既然选择入门网络安全,就不能仅仅只是入门程度而已,能力越强机会才越多。因为入门学习阶段知识点比较杂,所以我讲得比较笼统,大家如果有不懂的地方可以找我咨询,我保证知无不言言无不尽,需要相关资料也可以找我要,我的网盘里一大堆资料都在吃灰呢。干货主要有:①1000+CTF历届题库(主流和经典的应该都有了)②CTF技术文档(最全中文版)③项目源码(四五十个有趣且经典的练手项目及源码)

baimao__Ch的博客 555

弹簧管压力表设计报告

精密机械课程设计 弹簧管压力表设计报告 2020年5月1日 目 录 第一章 设计任务概述... 3 1.1 课程设计目的... 3 1.2 设计任务... 3 1.3 技术指标... 3 第二章 压力表概述... 4 2.1 机械式压力表的组成部分... 4 2.2 工作原理... 4 第三章 压力表设计... 5 3.1 弹簧管参数设计... 5 3.2 曲柄滑块机构设计... ...

weixin_42163746的博客 6454

AIGC内容安全审核实战:基于通义千问构建文本过滤与风险识别系统

本文介绍了如何利用星图GPU平台,自动化部署通义千问1.5-1.8B-Chat-GPTQ-Int4镜像,构建AI辅助内容安全审核系统。该系统能对AIGC生成的文本进行自动化风险扫描与过滤,识别如虚假信息、不当内容等风险,有效提升人工审核效率与一致性。

weixin_36178216的博客 86

三维(点云)语义分割概述以及方法总结

语义分割 语义分割需要两部分 classification: 需要全局信息 segmentation:更加依赖全局信息和局部信息 一般的网络结构是: 提特征-特征映射-特征图压缩(降维)-全连接-分类,其实就是encoder-decoder的过程, 比如在二维的的pspnet,fcn等等 0. 三维表示的数据结构 Point cloud 无序性 点云实际上是无序的,比如有8个点云,你放到...

renhaofan的博客 3万+

【electron】- 从零到一:在electron-vite项目中集成better-sqlite3的工程化实践

本文详细介绍了在electron-vite项目中集成better-sqlite3数据库的完整工程化实践。针对原生模块的编译挑战,提供了从环境配置、路径规划、服务封装到IPC通信的解决方案,并重点解决了开发与生产环境的数据库路径分离及打包部署等核心问题,帮助开发者构建稳定高效的Electron桌面应用数据层。

weixin_29306571的博客 208

基于圣女司幼幽-造相Z-Turbo的AIGC内容安全审核系统设计

本文介绍了基于星图GPU平台自动化部署圣女司幼幽-造相Z-Turbo镜像,构建AIGC内容安全审核系统的方案。该系统利用该镜像作为核心审核引擎,能够对AI生成的文本、图片等内容进行实时、多维度(如涉政、暴恐、色情、偏见)的风险识别与过滤,有效提升内容平台的安全管理效率。

weixin_32480007的博客 29

Jev模型入门:从API接入到本地部署的完整实践指南

大模型的应用方式正从单一聊天窗口转向复杂的自动化工作流,而推理模型因具备指令跟随与结构化输出能力,成为构建Agent和数据处理管线的关键组件。Jev作为面向通用场景的推理模型,不仅提供了OpenAI兼容的API接口,还支持本地量化部署,兼顾隐私、可控性与长期成本。本文从模型定位出发,明确Jev与基座模型的差异,随后介绍密钥管理、API调用、参数调优,并深入演示基于Ollama与llama.cpp的本地部署流程,包括GGUF模型文件与chat template的匹配要点。针对实践中的常见问题,如密钥泄露、ma

weixin_29057237的博客 361

图片内容审核接口 图片审核API 内容安全审核 创建你的内容审核小帮手

一些比如头像审核,图片内容审查等工作,可以交给api来完成, 节省人力去人工审核,图片内容审核接口 图片审核API 内容安全审核 创建你的内容审核小帮手,只要用调用api即可自动审核, 还可以设定宽松度阈值

xsy341341的博客 1169

COLMAP在Ubuntu下的编译陷阱与实战避坑指南——从环境配置到三维重建全流程

本文详细介绍了在Ubuntu系统下编译和配置COLMAP三维重建工具的全流程,包括环境准备、依赖库安装、CUDA加速配置以及常见编译问题的解决方案。通过实战案例演示了从图像特征提取到稠密重建的完整步骤,并提供了性能优化和问题排查的实用技巧,帮助用户高效完成三维重建任务。

weixin_29003437的博客 1049

避坑指南:Zephyr RTOS与nRF Connect SDK环境搭建常见错误及解决方案

本文详细解析了Zephyr RTOS与nRF Connect SDK环境搭建过程中的常见错误及解决方案,涵盖网络问题、代理设置、SEGGER Embedded Studio配置、分支切换等关键环节。针对开发者实际遇到的痛点问题,提供了一系列实用技巧和深度排错方法,帮助高效完成NCS开发环境部署。

weixin_28685287的博客 172

UNIT-00模型在AIGC内容安全审核中的应用实践

本文介绍了如何利用星图GPU平台,自动化部署🛡️ UNIT-00: BERSERK INTERFACE镜像,以构建AIGC内容安全审核系统。该方案通过微调模型与Prompt工程,将UNIT-00应用于自动化审核流水线,能高效识别AI生成文本中的事实错误、偏见及违规内容,显著提升审核效率与一致性。

weixin_42602726的博客 85

谈谈SAP顾问的几个发展趋势

大家新年好,今天想聊一下对SAP顾问发展趋势的一些个人见解。过去10多年得益于我国的经济发展,外资不断加大在中国的投资和中国企业的发展,SAP顾问行业得到了很大的发展和壮大。那么未来几年SAP顾问的职业发展到底怎么样呢?

syounger的专栏 2515

SmolVLA生成内容安全审核:构建合规与风险识别AI网关

本文介绍了如何在星图GPU平台上自动化部署SmolVLA镜像,并构建一个实时的AI内容安全审核网关。该网关能在模型生成文本或图片后,自动进行合规性、品牌安全等多维度风险检测,确保企业应用AI时的内容安全与合规,有效拦截敏感或违规信息。

weixin_35982453的博客 46

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

DAMOYOLO模型在互联网内容安全审核中的实战应用

本文介绍了DAMOYOLO模型在互联网内容安全审核中的实战应用。借助星图GPU平台,用户可以自动化部署DAMOYOLO-高性能通用检测模型-S镜像,快速构建高并发审核系统。该模型能高效识别图片和视频中的违规内容,如暴力、恐怖或违禁品,实现毫秒级检测,为UGC平台提供可靠的自动化审核解决方案。

weixin_34885746的博客 27

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

Wan2.1-UMT5生成内容安全审核:结合网络安全策略的实战方案

本文介绍了如何在星图GPU平台上自动化部署wan2.1-umt5镜像,该镜像基于阿里巴巴开源的Wan2.1模型搭建,可用于AI视频生成。文章重点探讨了如何结合网络安全策略,为视频生成服务构建一套前置的内容安全审核体系,以应对用户输入提示词或生成视频内容可能存在的合规风险,确保服务安全稳定运行。

weixin_28895791的博客 312

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

上一篇: Linux 运维必备的 13 款实用工具,赶紧收藏~
下一篇: 2024HVV | 12款开源渗透测试工具(非常详细)零基础入门到精通,收藏这一篇就够了
网络安全大白
博客等级 码龄5年 7307粉丝 698原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值