5分钟Serverless实践|构建无服务器的敏感词过滤后端系统

【实战场景】敏感词过滤如何实现? 首先,需要一个包含所有需要过滤的敏感词的列表或数据库。这个列表可以手动创建,也可以从现有的资源中导入。敏感词库应该定期更新以反映新的敏感词汇。 阅读详情

前  言

本文将以敏感语音屏蔽为例,介绍了如何构建一个敏感词过滤的无服务器Web应用。

函数工作流

函数工作流(FunctionGraph,FGS)是一项基于事件驱动的函数托管计算服务,托管函数具备以毫秒级弹性伸缩、免运维、高可靠的方式运行。通过函数工作流,开发者无需配置和管理服务器,只需关注业务逻辑,编写函数代码,以无服务器的方式构建应用,便能开发出一个弹性高可用的后端系统,并按实际运行消耗的资源计费。极大地提高了开发和运维效率,减小了运作成本。

 

相比于传统的架构,函数工作流构建的无服务器架构具有如下优点:

  1. 无需关注任何服务器,只需关注核心业务逻辑,提高开发和运维效率。

  2. 函数运行随业务量弹性伸缩,按需付费,执行才计费,对于负载波峰波谷非常明显的场景可以减少大量成本。

  3. 通过简单的配置即可连通函数工作流和其它各云服务,甚至云服务和云服务;

 

构建无服务器的语音敏感词过滤Web应用

为了进一步让大家感受函数工作流的优势,我们将介绍如何通过函数工作流快速构建一个无服务器的语音检测和屏蔽系统。如下图,该系统会识别用户上传的语音是否包含敏感信息(如色情、暴力、恐吓等),并将语音转换为对应的文字,且过滤掉敏感词。

 

试想,如果我们通过传统的模式开发此应用,需要如何开发?

即使是基于现在的云平台,我们也仍需要购买云服务器,关注其规格、镜像、网络等各指标的选型和运维,然后在开发过程中可能还需要考虑与其他云服务的集成使用问题,使代码中耦合大量非业务代码,并且服务器等资源也并非是按需的,特别是对于访问量波峰波谷非常明显的场景,会造成大量多余的费用。

 

现在我们可以通过函数工作流服务来快速构建这个系统,并且完全无需关注服务器,同时弹性伸缩运行、按需计费,如图:

创建函数,在函数中调用华为云语音服务提供的短语音识别接口,将语音转换为文字,然后再调用内容检测服务的文本检测接口,实现文本的敏感词检测,进而判断语音是否合规,并将不合规的词语屏蔽掉。再为该函数配置一个APIG触发器,这样便可以对外提供一个语音敏感词检测的API,再部署前端页面到OBS,托管为静态网站,从而构建出一个完整的语音敏感词检测的无服务器Web应用。页面调用API,他会自动触发函数执行,而开发者编写的函数只需实现接收到语音之后如何处理语音的逻辑即可,最后将结果返回给页面。

 

接下来,我们将介绍如何完整地将此无服务器Web应用构建出来。

1. 准备工作

进入华为云内容检测服务,申请开通语音服务的短语音检测和内容检测服务的文本内容检测,成功申请后便可以调用语音识别和文本检测接口了。

 

2. 创建函数

进入函数工作流服务页面,创建函数,实现语音识别、文本检测的接口调用和敏感词过滤,代码如下(Nodejs 8.10):

const https = require('https');
const _ = require('lodash');

exports.handler = async (event, context) => {
    // 跨域验证
    if (event.httpMethod === 'OPTIONS') {
        console.log('OPTIONS request, pass.');
        const result = constructResponse('', 200);
        return result;
} else if (event.httpMethod !== 'POST') {
        console.log('Get error http method: ', event.httpMethod);
        return constructResponse('Only POST method allowed', 401);
    }
    
    CONTEXT = context;
    const body = getBody(event);
    if (body.voice) {
        // 分析语音
        console.log('Start check the voice...');
        let error = '';
        const voiceResult = await checkVoice(body).catch((ex) => {
            error = ex;
        });
        return error ? constructResponse(error, 500) : constructResponse(voiceResult, 200);
    } else if (body.text) {
        // 分析文本
        console.log('Start check the text...');
        let error = '';
        const textResult = await checkText(body).catch((ex) => {
            error = ex;
        });
        return error ? constructResponse(error, 500) : constructResponse(textResult, 200);
    } else {
        console.log('Input parameter error: empty content');
        return constructResponse('Input parameter error: empty content', 401);
    }
}

function constructVoicePayload(body) {
    return {
        "data": body.voice || '',
        "encode_type": "wav",
        "sample_rate": body.sample_rate || '16k'    // '8k', '16k'
    };
}

function constructTextPayload(body, text = '') {
    const payload = {
        categories: ['porn','ad','politics','abuse','contraband'],
        items: [{type: 'content','text': ''}]
    };
    payload.items[0].text = text ? text : (body.text || '');
    return payload;
}

function getBody(event) {
    const bodyStr = new Buffer(event.body, 'base64').toString('ascii');
    let body = {};
    try {
      body = JSON.parse(bodyStr);
    } catch(ex) {
        console.log('Parse body failed: ', ex);
    }
    return body;
}

async function checkVoice(body) {
    const voiceText = await voiceToText(body);
    return voiceText ? await checkText(body, voiceText) :  {suggestion: 'pass', text: ''};
}

async function voiceToText(body) {
    const options = {
        hostname: 'ais.cn-north-1.myhwclouds.com',
        port: 443,
        path: '/v1.0/voice/asr/sentence',
        headers: {
            'Content-Type': 'application/json;charset=utf8',
        }
    };
    const payload = constructVoicePayload(body);
    const result = await post(payload, options);
    const { status, data } = result;
    if (status === 200) {
        console.log('Translate voice to text successfully, text:', JSON.parse(data).result.words);
        return JSON.parse(data).result.words || '';
    } else {
        throw(`Failed translate voice to text: ${status} ${data}`);   
    }
}

async function checkText(body, text = '') {
    const options = {
        hostname: 'ais.cn-north-1.myhwclouds.com',
        port: 443,
        path: '/v1.0/moderation/text',
        headers: {
            'Content-Type': 'application/json;charset=utf8',
        }
    };
    const payload = constructTextPayload(body, text);
    const result = await post(payload, options);
    const { status, data } = result;
   
    if (status === 200) {
        const checkResult = JSON.parse(data).result || {};
        const { suggestion, detail: { 
            porn: pornList,
            ad: adList,
            politics: politicsList,
            abuse: abuseList,
            contraband: contrabandList
        }} = checkResult;
        const filterTextList = suggestion === 'pass' ? []: _.merge(pornList || [], adList || [], politicsList || [], abuseList || [], contrabandList || []);

        let filtedText = text || body.text || '';
        filterTextList.forEach((filterText) => {
            filtedText = filtedText.replace(filterText, '*');
        });
       
        console.log(`Successful check the text, suggestion is ${suggestion}, block text:`, filterTextList);
       
        return {suggestion: suggestion || 'pass' , text: filtedText};
    } else {
        throw(`Failed check text: ${status} ${data}`);
    }
}

function post(payload, options) {
    return new Promise((resolve, reject) => {
        const token = CONTEXT.getToken();
        if (token) {
            const requestOptions = _.merge(options, { method: 'POST', headers: { 'X-Auth-Token': token } });
            const req = https.request(options, (res) => {
                const status = res.statusCode;
                res.on('data', (data) => {
                    resolve({
                        status,
                        data
                    });
                });
            });
            req.on('error', (e) => {
                reject('Post request error:', e);
            });
            req.write(typeof payload === 'object' ? JSON.stringify(payload) : (payload + ''));
            req.end();
        } else {
            reject('Post request failed, can not get token, please set agency with iam.');
        }
    });
}

function constructResponse(data = '', code = 200) {
    return {
        body: typeof data === 'object' ? JSON.stringify(data) : (data + ''),
        headers: {
            "Content-Type":"application/json",
            "Access-Control-Allow-Origin": "*",
            "Access-Control-Allow-Headers": "Content-Type,Accept",
            "Access-Control-Allow-Methods": "GET,POST,PUT,DELETE"
        },
        statusCode: code,
        isBase64Encoded: false
    };
}

 

函数创建完成之后,为其配置具有IAM访问权限的委托,因为本函数代码中获取用户的ak、sk需要拥有访问IAM的权限。

3. 创建APIG触发器

为函数配置一个APIG触发器,这样便得到一个调用该函数的HTTP(S) API,供外部调用。

 

创建成功后,API的URL可以在函数详情页面的“触发器”栏看到:

 

 

至此,我们就完整地构建了一个无服务器的语音敏感词过滤的Web应用。

 

4. 搭建前端页面

方法一:

我们已经提供了web应用的前端页面,并已经部署,可以供大家自由使用。访问地址:https://fgs-moderation-app.obs-website.cn-north-1.myhuaweicloud.com?rest-api-moderation={apig url}

其中apig url为您上一步中创建的APIG触发器的url,该页面会发送请求到该url,进而触发您的函数执行。

  

在这个寒冷的时节里

因为有你的关注

而变得温暖

点击“阅读原文”,快来体验吧!

敏感词过滤程序,用C++写的,比较简单 用C++写的比较简单的敏感词过滤程序,涉及到几个简单的算法和一些容器使用 立即下载

相关推荐

Go-基于go语言和开源的包封装的一个敏感词过滤服务

基于go语言和开源的包封装的一个敏感词过滤服务,可微服务独立部署,提供api给业务使用,占用内存少,搜索匹配快

呼叫中心及线路智能语音质检系统

呼叫中心语音质检系统及线路质检系统可以对接呼叫中心系统和语音质检系统以及vos系统

qq_43488731的博客 1860

Go-好雨云帮Rainbond是国内首个开源的生产级无服务器PasS平台

好雨云帮(Rainbond)是国内首个开源的生产级无服务器PasS平台,深度整合基于Kubernetes的容器管理、多类型CI/CD应用构建与交付、多数据中心的资源管理等技术提供完整的云原生应用管理解决方案,构建出应用、基础设施之间的互联互通生态体系。

Vert.x 响应式 Web 框架介绍使用

一、Vert.x Vert.x 是JVM上构建 响应式 应用的工具。 响应式应用既可以随着工作负载的增长而 扩展 ,又可以在出现故障时 弹性回复 。 响应式应用是 即时响应 的,因为它能有效利用系统资源并保护自身免受错误影响,从而使延迟可控。Vert.x 背靠庞大的响应式模块生态系统,具有编写现代服务所需的一切:全面的Web技术栈,响应式数据库驱动程序、消息队列、事件流、集群支持、指标监控、分布式跟踪等等。 Vert.x最大的特点就在于异步(底层基于Netty),通过事件循环(EventLoop)来调起存储

小毕超博客 6581

生信分析服务MR孟德尔随机化单细胞测序转录组数据分析网络药理学

通过上述技术整合,可实现从基因-环境-疾病关联到药物机制解析的全链条研究,为疾病机制解析和药物研发提供新思路。结合,是当前生物信息学领域的前沿方法,尤其在疾病机制解析、靶点发现和药物研发中展现出巨大潜力。

matlabgoodboy的博客 1522

Case-Based Reasoning用于RAG

在做大模型应用RAG的时候,会发现一种特殊的场景,就是基于之前的case进行回答,比如法律咨询、医疗诊断等等。这种情况的问答,需要有强有力的case支持才行,有了case支持,大模型回答会更加准确。CBR这个概念已经很久了,它是一种人工智能推理方法,它的基本思想是:遇到新问题时,先回忆相似的过去案例,再基于这些案例进行调整,得到新问题的解答。Retrieve(检索):在案例库中找到与当前问题最相似的案例。Reuse(复用):借鉴案例的解决方案来应对当前问题。

sinat_28694519的博客 940

语音内容审核应用:Paraformer-large敏感词过滤实战

本文介绍了如何在星图GPU平台上自动化部署Paraformer-large语音识别离线版(带Gradio可视化界面)镜像,以构建高效的语音内容审核系统。该方案将音频转换为文本后,可自动过滤敏感词汇,典型应用于在线教育、社交平台等场景的语音内容安全审核,保障数据隐私与合规性。

weixin_42513209的博客 514

论文阅读4——一种宽频带圆极化微带天线的设计

论文阅读——一种宽频带圆极化微带天线的设计(现在才觉得开始弄懂了一点,懂了一点之后又更糊涂了……)

weixin_64612422的博客 2319

5分钟Serverless实践 | 构建无服务器的敏感词过滤后端系统

前言 在上一篇“5分钟Serverless实践”系列文章中,我们介绍了什么是Serverless,以及如何构建一个无服务器的图片鉴黄Web应用,本文将延续这个话题,以敏感词过滤为例,介绍如何构建一个无服务器API,即无服务器的后端系统。   函数工作流 函数工作流(FunctionGraph,FGS)是一项基于事件驱动的函数托管计算服务,托管函数具备以毫秒级弹性伸缩、免运维、高可靠的方式运...

middleware2018的博客 442

从你的全世界路过---陌陌X-SIGN还原

我们上期介绍了hook 接口方式,今天我分析so 层。学习是为了复杂的事情简单化。不用如此繁琐。跟进native_sdbyecbu37x这个函数,我们f5看伪代码 v13 = sign(v9, v10, v11, a6); 跟进这个函数 代码如下(示例): 2.代码贴入 SHA消息摘要java代码如下: java 代码如下(示例): 总结 算法,结合动态调试!

任雪飘的博客 2303

VTK实战完整教程介绍

该专栏以VTK提供的Example为基础,讲解VTK中的相关接口和使用方法。订阅该专栏,带你了解所有VTK的功能,以便VTK更好的解决工作中遇到的问题。一起学习起来吧!

qq_40041064的博客 2512

5分钟构建无服务器敏感词过滤后端系统(基于FunctionGraph)

摘要:开发者通过函数工作流,无需配置和管理服务器,以无服务器的方式构建应用,便能开发出一个弹性高可用的后端系统。托管函数具备以毫秒级弹性伸缩、免运维、高可靠的方式运行,极大地提高了开发和运维效率,减小了运作成本。 函数工作流(FunctionGraph,FGS)是一项基于事件驱动的函数托管计算服务,托管函数具备以毫秒级弹性伸缩、免运维、高可靠的方式运行。通过函数工作流,开发者无需配置...

devopscsdn的博客 528

闲鱼爬虫实战:模拟手机端破解反爬策略,爬取指定商品搜索数据,爬取闲鱼搜索指定商品(需手机端模拟)o 技术点:抓包分析、cookie与token

技术点作用抓取手机 App 请求,分析 API 结构、Header、参数加密情况requestsPython 中最常用的 HTTP 库,用于发送模拟请求Session 对象自动管理 Cookie,保持会话User-Agent & 设备特征模拟手机型号、系统版本,绕过服务端检测闲鱼部分接口存在签名,需要逆向或复用有效 Token多线程/异步提高爬取效率(需节制,避免封 IP)解析 HTML 或 JSON 数据注意:闲鱼的接口加密程度中等偏上,部分接口存在动态签名(如x-signx-mini-wua。

2201_76125261的博客 716

5分钟搞定敏感词过滤!

  函数工作流(FunctionGraph,FGS)是一项基于事件驱动的函数托管计算服务,托管函数具备以毫秒级弹性伸缩、免运维、高可靠的方式运行。通过函数工作流,开发者无需配置和管理服务器,只需关注业务逻辑,编写函数代码,以无服务器的方式构建应用,便能开发出一个弹性高可用的后端系统,并按实际运行消耗的资源计费。极大地提高了开发和运维效率,减小了运作成本。   相比于传统的架构,函数服务构建的...

weixin_42538690的博客 3万+

【制作100个unity游戏之30】使用unity实现一款2d俯视角RPG战斗游戏,主要使用InputSystem+有限状态机+A*寻路实现(完结,附带项目源码)

【制作100个unity游戏之30】使用unity实现一款2d俯视角RPG战斗游戏,主要使用InputSystem+有限状态机+A*寻路实现

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 4659

【2024遥感应用组一等奖】基于时空融合和水量平衡法的若尔盖高原水源涵养功能评价

考虑到水源涵养的概念和尺度特征、数据的可获得性、模型的模拟精度等,构建了一种基于遥感、气象和水量平衡原理的草原湿地水源涵养评价方法,估算若尔盖湿地近23年(2000-2022)来的水源涵养量。若尔盖湿地是我国黄河源区的重要水源地,所以本研究以若尔盖湿地的水源涵养功能评估为科学问题,基于遥感数据、GIS数据等,利用水量平衡原理,发展计算简单、便捷、数据易获取的“水源涵养估算方法”,科学估算若尔盖湿地水源涵养服务量,探究其时空动态变化趋势及其影响因素;公式中,Z1和Z2为两个不同高度面的高度,u为摩擦速率;

JData_Engineer的博客 240

Flutter+AI+JSON:4周构建跨平台AI语言学习APP全栈实践

在移动应用开发领域,跨平台框架与人工智能技术的融合正成为提升开发效率和用户体验的关键路径。Flutter凭借其高性能渲染引擎与高效的开发工作流,为构建一致性的跨平台应用提供了坚实基础。其核心原理在于通过自绘引擎直接编译为原生代码,实现了接近原生的性能表现,尤其适合需要复杂交互动画的教育类应用。结合AI大语言模型的自然语言处理能力,开发者可以为应用注入智能交互的核心价值,例如在语言学习场景中模拟真实对话环境并提供即时反馈。JSON作为轻量级数据交换格式,在全栈架构中扮演着数据传输与配置载体的角色,确保了前后端

weixin_30561425的博客 294

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

上一篇: Apache ServiceComb 社区12月动态精选
下一篇: ServiceComb/CSE常见问题处理(1812)
looook
博客等级 码龄20年 145粉丝 195原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值