- 博客(29)
- 资源 (4)
- 收藏
- 关注
转载 接口自动化传值处理
下面是仅经过后置处理的流程;前置处理:读取到的excel表格数据是一个模块的数据,经过pytest的处理,会将模块中的多个接口数据(列表)进行单个接口的传输,是不用经过任何请求得到的数据,所以将其放在单独的数据处理中。后置处理的实现:后置处理与其他请求的参数、响应相关,所以必须在每个请求之前进行处理,下面展示的是后置处理的方法,由于代码过长,只展示了部分后置处理代码。后置处理具体应用:由于后置处理需要前面的请求完成之后才能得到想要的数据,所以具体后置处理放在每个请求处理之前,下面展示的是具体请求的应用。
2022-10-25 18:00:29
349
转载 从B站审核变慢现象,聊聊谛听安全内容社区产品的内容风控
从2019年开始,B站“破圈”的迹象就越来越明显,如今,B站已经从一个小众的亚文化社区,变成多元的大众化平台,随便一个用户,都能明显地感受到,来B站做UP主的人变多了。B站的社区氛围和观众品味,都导致了社区用户对于作品的要求极为苛刻,UP主们费尽心机提升投稿视频的质量,也因此,导致平台接收到的视频数量与各种新奇的题材与内容,都使得审核时间大幅变长,引发了UP主大面积的抱怨:很多追热点的稿件,等审核发布出来,热点都过去了。与数量增长相辅相成的,还有稿件类型的多样化,都在印证着B站内容创作在各个领域的破圈。
2022-10-25 17:57:06
177
转载 Facebook、YouTube都会遇到的内容审核难题,今日头条是怎么解决的?
除了传统的图文类内容,音频、长视频和短视频,以及直播的比例在不断增加,这对于那些那些既追求实时性(发布速度和用户体验)、又追求不出问题(举报率和负面事件)的内容平台审核管理,提出了巨大而严峻的挑战。而国内今年比较知名的互联网内容社区类产品里,下架甚至关停的已经不下于10余款,尽管它们各自都有各自的问题,比如色情内容、微商、内容涉政等等,但归根结底,这还是用户激增带来的日益增长的内容生产量和无法跟上的审核措施和效率之间的矛盾。而某些拍摄芭蕾舞的图片,以机器的视角来看,其实类似于裙底偷拍。
2022-10-25 17:54:19
261
转载 谛听安全互联网广告内容审核——人机联动
通常机器审核和人工审核的量级约为9:1,对于日均量级上亿的内容产品上,人审日均量级也达到百万级,同时满足时效性要求和审核质量无疑是很困难的。因此在实际业务中,根据不同产品的形态,建立不同的人机联动审核机制,才能最大化满足审核诉求。通过这样动态分配的方式,保证审核员有充足的任务,避免任务积压。第二步:根据审核组长或管理人员配置的权重,自动分发相应比重的任务,进入审核员任务列表,审核员可以开始审核;在审核业务中,先审后发和先发后审两种机制也通常组合运作,灵活调配,以最小的成本实现风险控制,满足审核时效要求。
2022-09-30 14:25:45
137
转载 谛听安全如何从5W模式入手,助力内容审核
无论内容、形式、平台如何发展变化,传播的5W模式都是通用的,对内容的审核可以围绕着5个要素展开。所谓内容审核,也不仅仅是对内容本身进行识别,尤其是在目前机器识别无法达到100%的准确、内容数量本身及其庞大的情况下,通过对各个传播要素的“监控”,也是完善机器审核的数据维度、提升审核效率的有效途径。内容审核的重点还是在对内容本身的识别方面,从提升机器审核的召回率和准确率,到提升人工审核的效率,再到搭建完整的流转机制,从其他要素着手也主要是为优化这三个环节来服务。Who:谁——内容的生产者;
2022-09-30 14:17:38
110
转载 人工智能在内容安全的应用实践
通过事先收录的拼音库、形近字库、拆字库、符号库等字典,找出有变种嫌疑的内容,再结合上下文语境信息,使用Machine Learning技术判断是否变种并进行修正。通过算法计算汉字的相似度,快速找出所有的形近字,再进行人工确认,保证精准度。实时图像处理的背后是这样的一个技术架构在支撑:下载集群和并行计算,然后再经过色情模型、暴恐模型、涉政模型、广告模型等判断处理,最后给出结果处理。然而,传统的内容技术已难以满足企业日益增长的安全需求,就拿图像来说,传统的色情识别技术为例,就经常会存在误判、错判、漏判等情况。
2022-09-30 14:14:44
127
转载 深度学习图像算法在内容安全领域的应用实践和优化
内容安全领域是一个相对特殊的场景,我们面对的问题往往目标定义不明确,数据种类繁杂多变、图像质量差距大,还会经常面临对抗攻击,这一场景对算法能力的要求较高。深度学习图像算法近年来在学术领域经历了爆发式的发展,目前已经在工业界多个实际场景取得了较完整的应用落地,例如安防、营销、娱乐、金融等场景。深度学习算法已经成为图像算法中的重要组成部分,深度学习相关公开资源已经非常丰富,针对图像任务创建一个简单模型是十分容易上手的,这里将会展示如何快速搭建一个深度学习图像分类服务。
2022-09-30 14:10:19
145
转载 文本内容安全领域-谛听安全深度学习的常见应用方法
LSTM和GRU是RNN的两种改良版本,它们通过门的机制对RNN中信息的传播进行控制,缓解了RNN的梯度消失问题(RNN梯度爆炸问题可以通过gradient clipping技术进行解决)。与全连接或卷积网络不同,RNN内部不同词对应的隐藏层相互之间是有联系的:当前词的隐藏层的输入除了输入层的输出,还包括前一个词的隐藏层的输出。深度学习是近几年来的热门方向,学术界和工业界的研究人员提出了很多有价值的方法,本文所分享的方法只是其中少数代表性的工作,仅供读者参考。
2022-09-30 14:07:37
101
转载 社交媒体时代,如何有效中断内容伤害?
内容审核,顾名思义就是对内容进行审核。审核内容包含内容质量、风险、暴力敏感、谣言、涉黄、垃圾、违法、个人隐私、赌博、网络舆论、非法程序、毒品、网络诈骗、邪教、侵犯公民、非法售卖、 严重搞笑错别字等。近年来,随着互联网的高速发展,多媒体内容爆发带来了海量信息,但同时,裹挟大量色情、违禁、暴恐等不良内容的有害信息频繁出现在网络中。在互联网飞速发展的今天,网络黑灰产及违法违规内容也日新月异,这就要求我们网络安全人掌握更多的专业知识,善于学习和总结,同时具备创新能力,在网络攻防战中发挥更大的作用。
2022-09-28 16:32:44
77
转载 专注“数字内容风控”,助力共建清朗网络空间
当时内容审核运用的还是传统的“三审制”,随着互联网产品愈发多样化,企业每天要发布几十万甚至上百万帖子,内容审核的任务量每日剧增,如何高效、安全地进行内容审核,成了互联网行业最紧迫的命题。据统计,识别互联网平台有害内容的整体技术处于国际先进水平,仅2020年全年就检测数据4116亿,识别有害信息425亿,新提炼有害信息特征12亿,反作弊累计检测量百亿次,反作弊累计沉淀黑灰产用户画像亿级,反作弊恶意行为识别准确率在99%以上。内容审核服务的企业涉及各行各业:包括娱乐社交、金融、游戏、电商、教育、广电等。
2022-09-28 16:15:42
75
转载 违禁敏感词检测
另外,自从新《广告法》出台后,作为广告、营销人等群体在写文案的过程中必须时时注意新法规定的禁用词,一旦误用,就有可能面临高额的罚款。除了可以对文本检测敏感违禁词进行有效把控,谛听安全还支持游戏及各大UCG平台的舆情监控,识别整个版本与周期出现的热点及高频负面词汇,帮助厂商在处理热点事件及竞品动态信息时掌握更加智能精准的消息,且效率更高。谛听内容审核的敏感词检测系统使用起来非常简单,支持API接口与在线私有化部署,试用产品时,只需将文本复制到检测文本框,点击查询,工具就能智能识别检测出敏感词汇。
2022-09-28 16:12:36
719
转载 在内容合规上,如何建立内容审核体系?
先审后发:所有内容审核通过后才可以提交,适用于对自身定位很强,对内容质量要求很高,信息量不是很大的平台,比如人人都是产品经理,以新闻为主的资讯平台,比如一点资讯等。这些内容出现的概率很低,但任何平台都不惜任何成本去来规避这类内容的出现,代价包括建立庞大的人工审核团队,牺牲一定用户体验,禁止发布任何沾边的内容——哪怕你不是这个意思,这是不得已而为之。大多数情况下,只要我们遵纪守法,不会感知到自己被审核,但是审核不止决定发言会不会被封,还决定能不能发出去,获得多少曝光,后两种情况很多时候是不会察觉到的。
2022-09-28 16:09:42
254
转载 在内容合规上,如何建立内容审核体系?
内容审核其实无处不在?不用怀疑,我们在网上创建和发布的任何信息都会被审核,包括实名信息、昵称头像、个人自拍、甚至自己设置私密的动态。大多数情况下,只要我们遵纪守法,不会感知到自己被审核,但是审核不止决定发言会不会被封,还决定能不能发出去,获得多少曝光,后两种情况很多时候是不会察觉到的。内容审核在互联网行业发展已经趋向成熟,建立内容审核体系无外乎这5个步骤:盘点平台里可能会产生用户发布内容的渠道和量级定义可能会产生的内容类别,并根据风险程度排序根据风险情况及平台需要选择合适的审核方式和处理方式搭建线上审
2022-09-28 16:06:49
143
转载 数据敏感度-谛听安全运营心得
懂业务、懂客户,但不懂数据的人,就好比一个人很有故事,内心早已百转千回,把自己感动哭了,但就是讲不出来,或者讲出来了,也没有说服力。而懂数据,但不懂业务、不懂客户的人,就好像手里拿着最权威、最专业、满满精华的朗文英汉大字典,可那只是字典,不是文学史籍,不是诗词歌赋,也不是重大科学研究发现。看到数据后,能一眼判断数据靠不靠谱,因为很多数据本身不靠谱,有指标口径问题、有数据质量问题,也有可能搞数据的人真的不理解业务,放了个风马牛不相及的数据。对于懂业务和客户,但不懂数据的人,需要的是从业务走向数据。
2022-09-28 16:04:13
104
转载 内容审核入门逻辑
人工审核,虽然用户投诉审核和结果复审大多时候也是人工审核,但这里所说的人工审核,特指审核机器无法判别的内容,通常占平台内容数量的比例不超过5%,但对于一些大型的内容平台,绝对数量已经很多了。用户投诉审核,是前两者的弥补,有很多违规内容以前没有出现过,所以不在规则可以过滤的范围内,或者非常隐蔽,规则难以严格过滤。机器审核,是按照制定好的规则或机器学习算法对内容进行审核,通常,成熟的审核系统能将95%甚至99%以上的内容都自动审核并做出处理。比如通过内容的整体巡查,看是否存在新的问题未被注意到。...
2022-08-31 17:24:59
252
转载 内容审核的工作流
亦或是从第三方平台购买或引入内容,引入的合作机制可以是购买,也可以将引入的内容广告化做曝光/点击付佣,具体机制以内容的类别和优质程度决定。有人言“互联网的终点是内容”,现如今内容的生产已经没有门槛,每天亿万级的内容生产量,让每一个到达用户面前的内容都是经过了激烈的竞争和“资本的加持”后的最终呈现,而竞争的第一环节就是平台审核。不同的来源带来的多元化的内容,使得平台可以为用户提供更加丰富的内容,而伴随科技发展和时代进步不断发生变化的用户需求,又让内容的表现也更加多样化,这就使得内容的审核难度在逐渐加大。...
2022-08-31 17:07:34
237
转载 关于内容审核中台的产品设计
以云点播的视频举例,需要先进行视频的上传后,才能进行对应的审核,而且审核是以任务的形式进行审核的。文本审核:对于文本的处理主要是采用了NLP(自然语言处理)技术,将语句通过语法分析、情感分析、词向量分析等技术进行识别和归类,再与平台本身的素材库进行比对,返回匹配的结果。图片审核:图片审核有两种审核方式,一是通过图片的MD5与素材库中的MD5进行比对从而获得审核结果,二是通过CNN(卷积神经网络)技术进行特征提取、各部分特征汇总以及产生分类器从而预测识别来进行审核。视频中的音频审核同上。...
2022-08-31 16:58:45
208
转载 手游常见的安全攻击方式—安全运营心得
典型的是通过U3D单子中的dll文件,找到相应的游戏逻辑篡改,实现自己的破解目的,或者分析il2cpp中的libil2cpp.so文件,分析关键游戏逻辑篡改,然后进行二次打包。例如,GG修饰符、烤饼修饰符和葫芦修饰符,以及这些变体的衍生物,都是基于这样的原理,即修饰符用于搜索相应的值,然后根据数值变化规律在存储器中定位位置,直接修改,达到相应的目的。U3引擎:mono格式的dll文件,il2cpp.so文件,il2cpp格式的global-metadata.dat文件;Layaair: js 文件等。...
2022-08-31 16:52:19
282
转载 谛听安全内容审核基础:审核方式与审核流程
游戏作弊,可以是“在游戏中开挂”,也可以是“在沙盒生存发展类的游戏中用一个控制台调出无限的资源”,或是“在射击游戏中对于穿墙、透视、自动瞄头”,这些在操作的心理产生快感的背后,自始至终笼罩着黑灰产的影子。从游戏聊天到游戏运营数据多方面在合理的成本范围内控制灰黑产在游戏环境内的发展,并兼顾游戏日活、玩家黏性等特点,多方位评估并给出一套完整的解决方案,帮助游戏在竞争激烈的市场环境下取得更加亮眼的表现与优质的口碑。在游戏产业中,这种现象无疑是对游戏创作者的挑战,玩家会跟着抱怨,而后将是“平衡”的游戏原则被打破。.
2022-08-26 14:06:41
143
转载 谛听安全内容审核基础:审核方式与审核流程
借助人工智能的发展,可以让机器替代一部分审核工作,但由于内容的复杂性,人工审核必不可少,而且还有其他需要考虑的点。人工审核:虽然用户投诉审核和结果复审大多时候也是人工审核,但这里所说的人工审核,特指审核机器无法判别的内容,通常占平台内容数量的比例不超过5%。“先发后审”:适用于对发表内容时效性要求较高的场景,如阅读、游戏等场景下的用户评论,此时用户发表评论更多出于即兴,因此从用户的角度考虑,希望自己发表的评论能够马上看到成功、有效。“先审后发”:即用户提交UGC内容后,先经过审核,审核通过后才能发表上线。.
2022-08-26 14:04:24
154
转载 小程序游戏中存在的内容安全风险
目前,一个小游戏中往往接入了形形色色的广告,有的是推广网络广告,有的是恶意广告,或者是修改正版的广告,篡改为自己的广告。此外,通过智能数据追踪,谛听可以精准识别恶意篡改程序,将灰黑产的广告推广进行实时拦截,帮助小程序游戏在开发与维护的过程中降低成本,提高效率。当然,小游戏不仅仅是指以小程序形式加载的游戏,还包括安装了小安装包的游戏,比如白鹭、cocos2djs引擎编写的游戏。wxapkg文件,使用成熟的在线反编译工具解包,然后修改代码和“皮肤”,替换部分图片资源,轻松复制原来的小游戏。...
2022-08-26 13:55:45
443
转载 UGC内容平台的全栈式内容风控
谛听安全作为第三方服务的优质伙伴,可以为不同行业的用户提高网络环境与运营日活,从内容安全与长期的战略性发展出发,提供优良的服务与质量,让净化网络环境的成本不再高昂。当然,除了大平台,小平台也一样,内容风控是当下中国互联网金融业务能力发展最急迫需求也是最棘手的问题。针对内容平台,无论是游戏、资讯、社交或视频,都非常轻松地赢得网民的支持(流量激增),但随之而来的是频繁的规管检讨和违规行为,例如访问、纠正和关闭。如果将这一现象反过来思考,经济繁荣的表象下,是深深的泡沫,内容产业的繁荣下,是混乱。...
2022-07-22 11:20:52
94
转载 业务治理流程的风控方法-安全运营心得
如果我们只考虑一个具体的风险控制业务场景,我们最好的方法是通过不断提高每个治理环节的效率来提高风险控制的整体效率,从而提高风险控制的效率。如果针对处于风控稳定期的业务,那么其目的可能是让产品变得更加稳定可控,那么基于治理流程的思维方法则可以是帮助业务进一步提升风控能力,让产品的每一步动作都会产生价值沉淀,每一步沉淀都会让风控更加得心应手。黑色生产遍布互联网的各个领域,无论一个平台提供什么样的产品,只要这个产品能够带来收入转换的可能性,这个平台就会成为黑色生产攻击的目标。...
2022-07-22 11:19:34
70
转载 网络流量蜜糖还是陷阱-内容安全的重要性
同时,我们也会发现在信息社会各种不同场景下出现的违规种类和变种形式也非常多,从最初简单的敏感词,到现在有字体的拆分、特殊文化符号的混淆,图片内嵌入违规文字运用信息,以及学生语音里夹杂着不良内容等等。在彩色流信息产业的趋势出现后,人们发现文本垃圾开始变成图片垃圾,而更为隐秘的是,不良的文本并没有消失,而是缓慢地出现并结合在图片中。随着短视频和现场直播的广泛发展,越来越多的网络信息内容产生,紧随其后的是巨大的内容监管压力,但互联网并不违法,违法的是那些部分的阴暗角落里不道德、不守法的行为。...
2022-07-22 11:16:26
37
转载 智能审核NLP技术对数字媒体和游戏的应用
人工智能技术的快速发展使得自然语言处理、语音转写、图像识别等技术成熟地应用于大多数的网络社交平台,特别是数字媒体和游戏生产平台的内容审计领域。随着移动互联网技术、机器学习和深度学习技术的发展,以及数据资源的积累和并行计算能力的提高,自然语言处理的研究方法也发生了巨大的变化,在语音和图像识别领域取得了显著的成果。互联网和移动互联网的发展积累了大规模的网络文本,包括但不限于数字媒体内容,如新闻媒体和我们媒体文本,语音数据也提供了高质量的标记语料。其目标是学习计算机功能,理解和生成人语言,达到智能处理的效果。..
2022-07-18 14:39:40
117
转载 谛听安全|内容审核系统的搭建设计思路
国内优质人工智能数据服务平台谛听安全,凭借数十年的产品内容经验,积累了更全面的审计维度,从平台的内容安全与运营角度出发,为不同行业的用户提高平台环境与运营活跃度,并且具有行业领先的非法过滤能力,从而为用户提供更可靠、更高质量的服务质量与速度。例如,在检测到用户发布非法内容后,则将与评分值解耦,定义为高风险用户,该用户将被多次放入手动审计机制中。用户的信息可以分类为年龄,性别,地理位置,设备,IP地址,使用时间,交易信息,用户发布等。设置阈值是指设置一定的数量,如果检测到超过一定次数,就会进行相应的处理。..
2022-07-18 14:36:00
162
转载 敏感词运营如何进行快速搭建-谛听安全
在叙词表的基础上,根据敏感词的重要性将敏感词分为红线类、敏感词类和危险词类,不同的类别结合了用户和地域的维度。敏感词的风控策略是游戏行业中的风控法律系统中最基本,也是最复杂的。场景二B产品被用户信息反馈有低俗色情文化内容,但敏感词明明自己已经可以添加过了,经检查发现该敏感词只管控了甲业务,新上的业务发展没有进行添加管控而被用户通过投诉;场景一A产品上线需要进行小规模的内部测试,产品中的评论功能需要与最基本的敏感词进行关联,以控制风险,但无法在操作叙词表中找到哪些是“基本”敏感词;...
2022-07-18 14:31:30
74
转载 内容安全的主要场景有哪些呢?
在当下环境中,互联网运营者有时会不知如何管理内容安全。聊天信息、短信、文章和直播视频充满了内容安全风险,因此在市场上发展出了多家内容审核的企业,为有需求的公司提供内容安全的核心能力。以下是AI识别业务中的常见场景:场景一:UGC内容智能审核UGC内容主要分为几类。首先是会员区,在互联网场景中,需要管理会员区的许多内容(会员头像、会员名称、会员屏幕切割)。由于某些平台管理是不可以擅自更改会员信息,因此必须管理会员区域。其次就是其他互动类别,如市面上常见的游戏世界频道可能存在的不良言论需要被管控时,AI审核可以
2022-06-28 16:18:47
85
转载 如何高效过滤游戏中的敏感词?
敏感词不仅出现在传奇游戏、SLG游戏的社区论坛、聊天等内部评论或上传信息区,还隐藏在头像、昵称、签名等需要全面识别的地方。不同场合的屏蔽时效性各有不同,屏蔽方法分为同步过滤和异步召回,由于涉及到技术层面的知识,在这里不展开详细解释。但综合来说,技术屏蔽手段主要通过特征库、语义分析、机器学习等方法。运营的同学则主要通过以下两种方式进行日常维护与审查:主要是指用户在体验游戏的过程中遇到不良信息,于是进行投诉。为了保证投诉的效果,我们需要在其便利性、曝光度和奖励机制上下功夫。同时,我们还需要建立科学的报告分类,这
2022-06-22 17:12:52
333
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人