抖音安全团队联合公安打击黑灰产团伙25个刑拘87人

[复制链接]
查看393 | 回复0 | 2024-5-10 07:06:08 | 显示全部楼层 |阅读模式
2020年3月,抖音安全中心在后台初审内容时发觉一条可疑的视频,视频涉及儿童,多次被拦截,一直没有被初审通过。

正常情况下,涉及儿童的一条正常视频不会被拦截,如果内容足够好,还会被机制推荐,获得更多流量爆光。

抖音安全团队经过剖析,认定该条视频有虐待儿童的嫌疑。经过追溯调查,上传该视频的帐号来自云南昭通。抖音平台随后向当地公安机关报警,告知她们知晓的相关信息。

遂宁市公安局高度注重这一报警线索,立即增派精干警力组成专案组举办案件侦办工作。经过一番精密侦查,嫌疑人被锁定在遂宁市蓬溪县。3月29日,蓬溪县公安局网安大队将嫌疑人追捕归案。

据嫌疑人交待,嫌疑人多次以“提供WIFI”等形式,诱惑本村女童到嫌疑人的住所进行虐待,并拍摄色情视频,同步发送到多个视频社交平台。这次,嫌疑人马失前蹄,被抖音安全团队和当地公安部门联合惩处。

抖音安全中心背后是一套隐秘而强悍的安全防御系统,时刻都在与抖音平台上的黑灰产业、色情恶势力做斗争。抖音安全中心负责人帅帅介绍说,抖音很早便创立了安全中心团队,设立产品、技术、运营、审核岗位,共计数百人与公司其他安全团队一齐维系抖音的平台安全。

类似于假名星、儿童情色等内容均属违法,一旦触碰安全防御系统的红线,它便会启动复杂且精密的防治惩戒机制,咬住猎物,攻防牵连,甚至一击致命。在四个月里,抖音安全团队早已联合公安机关严打黑灰产结伙25个,刑事拘留87人。

黑产是整个行业和社会要面对的长久性困局。阿里巴巴、腾讯等超级平台公司均筹建专门的部门机构在做这项工作。这个部门与商业化部门不同,它们一般内部自用,不直接形成经济效益;它们更像整个内容生态中的警卫员,起基础保障和安防保卫作用。

抖音安全中心亦这么。在一系列攻守操作背后,它要每晚为6亿人兜底,抖音平台的内容安全、用户维护、商业保护和社会责任都聚焦在这套安全防御系统中。

抓住发布“看片加微,好看不贵”的人

一个抖音帐号不断上传一些带有擦边淫秽的小姐姐视频到抖音内容初审系统,负责初审内容的朋友发觉这种视频后会心一笑——这个帐号企图借助擦边情色视频从抖音导流至线下。

“我们比较有经验,很快把它们拦截。”帅帅说,对方上传的视频以男性内裤做背景,他们很快上线了胸罩辨识模型,审核并拦截该类型视频。

这个黑产团队知晓内容被拦截后,开始改变内容策略,背景改为一根香蕉+两根脚趾,食指上写着微信号,中指写上写有文字:“看片加微,好看不贵”。

案件涉及到的图片

抖音安全团队马上针对这些新的性暗示元素训练辨识模型,上线模型,打击该类型内容。黑产结伙换方案,用“花瓜+手指”。团队按图索骥,调查发觉了“茄子”等外型类似的香蕉,主动上线香蕉类模型。

7月,抖音安全团队对拦截的数据进行样本剖析,从评论、视频、导流渠道去向等维度做信息拆解。经过抽丝剥茧、寻踪觅源后,他们发觉了黑产团队的一些违规违法线索。

抖音安全团队联合公安机关,锁定了四川成都一个情色犯罪结伙的团伙位置。但还不能施行拘捕,需要更多证据。

经过一番讨论,他们决定派人做实地勘查,寻找蛛丝马迹。

一位抖音反黑人员配合公安机关,在团伙位置进行了连续两天的摸排,以多种形式步入公司。潜伏人员在现场发觉,他们就是通过抖音发布“黄瓜+文字”诱导性视频的团队,正是抖音安全团队要找的那种团队。

在获取她们违规违法的犯罪事实后,公安机关施行了追捕,现场查获嫌疑人11名,手机设备2000多个。这些人都被认定为“帮助信息网路犯罪活动罪”扣押。

抖音安全中心经理周冉说,通过公安机关对嫌疑人的审问了解到,该结伙在营业期间,每天都通过接码平台注册新的抖音账号,但并不是每位账号都能使用,大部分帐号都被抖音拦截封禁了,他们账号使用率大约的为20%,也就是100个账号能使用1~2个。这证明线上风控拦截早已发挥了很大的效力。

周冉还透漏,根据犯罪嫌疑人交待,这只是她们这一个团伙,过去两个月,他们被抖音封禁的账号就高达5000多个。

这类黑产团队一般配备先进的技术设备提高业务效率。

一个案例显示,一个黑产团队的人使用群控软件发送导流信息,效率是真人的100倍。如果该黑产团队通过真人方法发送,不断在视频、社交媒体上发送垃圾评论进行导流。

一个人三天工作八小时,发送的垃圾评论大约一万条,但是运用技术手段的黑产团队通过群控软件进行操作,可以控制上百台乃至几百台设备发送垃圾评论,不用休息,24小时不停运行,这样每晚发送的垃圾信息可以轻松突破百万级。

“我个人看来,线下严打是提升作恶成本的最优实践,这些犯罪结伙有她们自己的沟通圈子,通过对这种作恶人的惩戒,我们可以对整个情色导流的黑灰产行业起到威慑作用。”周冉说。

自2020年1月份以来,抖音安全中心共封禁淫秽导流和情色招嫖账号超过100万,仅9月份期间就封禁305248个账号。

据刺猬公社(ID:ciweigongshe)调查发觉,这并非只是抖音才能遇见的问题,而是整个内容行业都时刻面对黑产产业链带来的困惑。

中国通信院发布的《移动数字金融与电子商务反欺诈白皮书》显示,黑产从业人数超过500万,每年涉及金额达到千亿级别。数字金融和电子商务是欺诈行为易发“重灾区”,是形形色色的黑产主要功击的对象。

平台经济是一种新型的复杂经济现象。《互联网平台整治研究报告(2019年)》指出,特别是这些规模很“大”的超级小型平台企业,甚至早已成为具备准公共产品属性的基础设施。

抖音本身是一个超级短视频平台,核心功能是匹配双边或多边市场。正是其特殊的多边或多边市场结构,决定了平台具备市场参与者和组织者的多重身分,扮演了信息壁垒打破者与重构者的双重角色。

上述报告称,超大型平台企业崛起早已在促进经济社会的资源重组和权利构建,从整治的角度看,那些对市场“具化”程度越高、占据信息优势越多、公共产品属性越强的平台,应该遭到更多的整治关注,并在平台整治中发挥愈发重要的作用。

“我们的安全风控能力目前早已接入了上百个业务线中。”抖音安全风控中心的专家张曦盛介绍说,利用风控模型、风控策略,在平台上日均拦截违法行为超过10亿次。

直播起火,盯住假名星做专项严打

“假靳东”事件爆发以后,抖音一时间被推上风口浪尖。

帅帅介绍,实际上,抖音从4月份就早已开始针对假冒名人做专项严打了。不过那时候,抖音团队听到的假冒名人主要集中在热点名人头上,比如韩红、钟南山等。此时主要的问题是犯名星名誉形象,为此,抖音研制、上线名星人脸辨识模型。模型上线以后,回扫查杀的违法冒充帐号数目也比较少,最后封禁了不到800个帐号。

7月开始,抖音安全中心从后台严打模型的数据上发觉,在经过前期的严打以后,仿冒名人帐号的数据不降反增。他们剖析发觉,主要是因为名星直播风潮的出现,以快速涨粉和直播带货变现为目的的电商黑产进来了。

这是黑产的一个特性,什么火黑产就跟哪些,哪个平台平台流量大就盯上那个平台,像候鸟一个样迁移。抖音安全团队2019年严打黑产时,他们主要做刷刷墙量,2020年早已盯上直播。

在名星人脸辨识模型的基础上,抖音安全中心又基于黑产的特点,搭建了专门的初审机制、标准和流程,研发、上线了新的风控策略模型进行严打,效果很明显,两个月时间,封禁了超过34000个违法帐号。

这种对抗仍然在持续,黑灰产不遗余力地对抖音平台进行功击。

10月份,“假靳东风波”爆发。

针对靳东风波,抖音安全团队制订应急方案,紧急上线用户搜索提示,提醒用户注意分辨异常帐号。两天时间对靳东相关帐号进行速清,清查5000多个疑似靳东假冒帐号。截止10月底,完成下架话题143个,并处理了195万个问题存量视频。

在“假靳东”的背后,是黑灰产团队不断绕开平台策略进行功击,也因而,当“靳东”、“王祖蓝”这样的爱称被专项严打行动拦截然后,开始出现“勒东”、“王阻蓝”一类帐号。

9-10月,只是假冒名人专项中,抖音封禁了超过56000个违法帐号。

抖音安全中心专门筹建安全风险督察团队,对情色、低俗、虚假信息、不良导向及其他违规违法内容以及有作弊、欺诈行为的用户进行每日站内督察和清除。

故事并没有结束,仿冒名人专项严打也没有结束,因为迎来了双十二购物节。在双十二背景下,明星直播带货场次增多,黑产结伙也趁机假扮名星客服,进行盗窃。

据抖音安全团队介绍,黑灰产盗窃结伙作案的基本模式是,从上游订购抖音帐号,在名星直播带货的过程中,将帐号爱称改为“XX客服”“XX助理”类似,然后在直播间内找寻受害者,私信沟通,引流到陌陌等第三方平台施行退款类盗窃。

明星陈赫是抖音里著名的带货主播。一次,陈赫在直播间卖货过程中,抖音安全团队检测到有黑产结伙企图假冒名星陈赫客服帐号在直播间进行盗窃。

此前,抖音安全团队上线了多个针对假冒名星客服的模型策略,对相关黑灰产帐号进行拦截、处理。黑产结伙发觉这部份帐号难以使用后,开始注册一些变种帐号,比如“XX销后”等具有联想空间的帐号爱称。

发现这些情况后,抖音安全中心实时更新模型策略进行对抗,在平台上与黑产团队对抗跟线下常见的扫黄扫黑方式不一样。线下严打行动着重“一次性严打”,把人抓了就完了,即便上次再度进行严打,黄赌毒、黑恶势力的行为特征变化不会太多。

但平台方与黑灰产结伙之间的对抗是常年持续的,黑产团队在网路另一端,很难探幽踪迹,安全团队要实时制订拦截策略,甚至每时每刻都在研究对方下一步棋要如何走,相互攻守。

这促使安全团队要实时在线对抗黑产。

由于是实时对抗,期间还出现一个小插曲,他们曾在一起专项行动中,将陈赫本人的帐号“误杀”,导致陈赫抖音的资料被重置。当时陈赫正在直播卖货,评论区有听众发言嘲讽:赫哥,你家帐号都没了,你如何还在这儿直播?



正由于抖音安全团队对假冒名星客服类黑灰产帐号进行实时严打,尤其是在著名名星直播的过程中。这才有了对名星陈赫帐号的刺伤。事后,抖音安全团队对陈赫直播团队做了解释,也对系统做了优化。

安全团队的功能和作用在用常规使用抖音时未能被察觉到,在涉及平台的公序良俗、实时热点、内容品质情调等方面,他们是前线最敏锐的军队,也是最后一道防线。

1分钟内给60个视频点赞,正常人似乎做不到

一条视频想要在抖音上展示下来,第一道关卡是机器初审系统。这上面有机器策略与模型。当视频播放量超过一定阀值后,会步入新的初审环节。

首先是审核,主要判定内容是否有违法风险,视频再度步入机器初审,根据策略和模型判定,进入人工审核环节。

对于超过一定播放量的内容会直接步入人工复审环节。帅帅透漏,以此确保内容安全,不给用户带来负面影响。如果视频播放量继续降低,还有三审、四审环节,整个流程确切高效。

抖音平台做内容初审时有一个特色机制叫“背对背初审”。面对同一个视频,安全团队会安排两个审核员同时审查,如果结果一致,该视频会正常出现在抖音平台;如果不一样,该视频步入下一个环节,三、四个审核员同时进行再度审查、判断。

“每一个审核员都是不一样的个体,大家对初审标准的理解或多或少有差别。”帅帅说,为了避免风险遗漏,根据内容的重要性,他们会启动“背对背初审”机制。

内容初审与安全风控像一对胞胎一样共生共处。抖音安全风控的发展也经历了好多过程和转变。

对抗早期,风控团队试用名单频控策略与黑产对抗。这份名单来自风控团队每次对抗后,对黑产的名单记录,以备上次再遇见时做应对。

而频控指频度防治,“一个人假如1分钟内给60个视频点赞,正常人其实是做不到的,在这个阶段我们对作弊者做了初步的限制。”张曦盛说。

第一阶段相对中级,靠人力资源顶上去,在第二阶段,风控团队制订决策引擎和工具平台,通过平台化工具帮助安全风控人员提升对抗效率。这一阶段也就实现了施行严打压制的疗效。

与黑产对抗时,风控团队获取的信息常常不对称,黑产会从各个维度发起功击,尝试绕开安全防线。单一维度的防御很容易被突破。

在第三阶段,风控团队营运一些技术建立起了一个立体的防御体系,全面辨识风险。风控团队处于被动防御和主动出击的过渡阶段。

第四阶段时,风控团队展开安全营运与风控研究工作,主动了解对手是怎样功击抖音安全系统的,内部成立了相应的攻守团队,模拟黑产对业务的功击,并反复研究黑产作恶路径。

在于黑产对抗过程中,风控团队研制了好多智能风控系统用于反欺诈、色情严打、谣言严打,如今建立了一个比较全面的防御体系,对各个环节的风险进行判定。

用户注册抖音帐号时,会有系统辨识它是不是批量机器注册,登陆环节检测是否有帐号窃取的风险,在电商场景剖析帐号是否为羊绒党,社区环境中判定帐号的头像和爱称有没有内容风险。

这背后是一套模型和策略辨识体系做支撑,在抖音安全中心内部叫鲨鱼反欺诈系统。每一个帐号注册恳求就会有数据输入到该系统,系统按照注册信息打一个风险分数下来。

如果分数风险值较高被判定为机器人注册,该帐号会被直接封禁;如果某帐号有窃取风险,系统会向手机号码主人发一个验证信息,提醒号码持有人的风险存在。

抖音上的黑产团队初期以文本方式发送广告,在评论中添加导流信息,比如美眉调料、添加微信号等等。风控团队使用文本模型和敏感词严打。

黑产团队逐渐渗透到帐号头像、简介等资料信息中,近期出现了一个新型的情色导流方式。黑产团队上传的视频音质正常,没有甜美曝露的地方,但语音说了一些情色和色情内容。魔高一尺道高一丈,“我们又引入了一种新技术,通过语音转文字的技术进行辨识严打。”

这是一项停不下来的工作。

在与黑产对抗过程中,张曦盛发觉:“坏人总是相像的,而好人则各有各种各样的不同”,“这是因为灰黑产结伙在作恶的时侯追求规模化效益,他们用许多设备自动化操作,很多时侯避开不了相似性。”

张曦盛展示了五个抖音帐号。这五个帐号表面上看起来没哪些问题,但实际上,五个帐号在同三天注册,系统版本号都是安卓手机的某个版本,账号爱称数字连号,安装抖音、注册抖音帐号的时间是同三天。

“正常用户很难有这么高的相似度。”张曦盛说,普通用户肯定会追求各类多样性,而这也是一个生态所追求的多元生态。

END

刺猬公社是聚焦内容产业的垂直资讯平台,关注领域包括互联网资讯、社交、长视频、短视频、音频、影视文娱、内容创业、二次元等。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则