Mozilla 怒喷当前推荐系统技术算法陈旧弱智效果非常糟糕

2021-07-14 12:21 前端之巅
图片
作者 | Tina、核子可乐
Mozilla 喷当前视频平台引领者所使用的推荐系统技术:使用的算法“陈旧弱智”,效果非常“糟糕”,堪称“恐怖秀”。

根据 Mozilla 本周三发布的调查研究结果表明,大部分饱受用户们吐槽的 YouTube 视频推荐内容都出自该网站陈旧的 AI 算法之手。

该调查研究从去年 9 月开始启动,总共涉及到 37380 名 YouTube 观众。根据 Mozilla 的报告,这是同类研究中规模最大的一次,而且显示出来的结果只是“冰山的一角”,其中每项发现都值得进一步跟踪并做出深刻剖析。

Mozilla 敦促 YouTube 对内容审核与推荐模型予以透明化公开,并建议给用户提供退出个性化推荐的选项。但 YouTube 每季度从广告中获得的收入高达 60 亿美元,实现提供退出“个性化推荐”选项不太可能。

这套推荐系统已经用了十几年,但还存在哪些问题?

对比成立于 2015 年的快手,2016 年上线的抖音, 创建于 2005 年的 YouTube 算是推荐系统技术的早期引路人。

YouTube 成立没多久,网站上的视频数量就迅猛增长,成为全球最大的视频网站。截止 2008 年,整个 YouTube 视频量已突破四千五百万,每分钟上传视频量 7 小时。截止 2014 年,每分钟上传视频量超过 100 小时。2019 年,月度活跃用户达 19 亿。如此庞大的视频量,使得用户难以搜索到其感兴趣的视频。YouTube 的成功最终得益于推荐系统,同时它也是实时大规模推荐系统技术的探路者。

虽然多年来一直被用户吐槽视频推荐效果,但 YouTube 在该研究方向上却处于业界前沿。几篇已经发表的论文显示,2008 年 YouTube 研究并使用了基于用户 - 视频图的随机遍历算法;2010 年,算法升级为基于物品的协同过滤算法;2013 年将推荐问题转换成多分类问题,并解决从神经网络最后的众多输出节点中找出最大概率的输出节点。此举也为 2016 年将推荐核心算法升级为 深度学习算法 打下了基础。这几篇论文《Video Suggestion and Discovery for YouTube》、《The YouTube Video Recommendation System》、《Label Partitioning For Sublinear Ranking》、《Deep Neural Networks for YouTube Recommendations》和《Recommending what video to watch next: A multitask ranking system》都是推荐系统的典范之作。

从去年开始,来自 190 个国家的总计 37380 名 YouTube 观众自愿参加了这项由 Mozilla 牵头开展的众包研究;在 2020 年 7 月至 2021 年 5 月期间,Mozilla 共收到 3362 份关于不感兴趣视频的提交报告。

根据本周三发布的调查结果,“YouTube 推荐算法自身只是问题的缩影,由此可以想见商业算法正在给民众的生活蒙上一层不透明、不确定的阴影。”

“YouTube 的算法每天向用户提供约 7 亿小时的视频观看时长,但公众对其底层运作方式可谓知之甚少。我们甚至找不到任何官方支持的研究方法。”

作为火狐浏览器的开发商,Mozilla 公司开发出一款名为 RegretsReporter 的浏览器扩展供 YouTube 用户们下载。在安装之后,该扩展程序会记录网民在 YouTube 上的观看活动、记录所观看视频的详细信息,并允许用户轻松标记出自己觉得根本不感兴趣的内容。通过将数据汇集起来并加以分析,Mozilla 希望深入研究 YouTube 推荐引擎的行为模式与实际效果。

这项研究的结果有几项亮点:

  • 志愿参与调查的用户们也有多种不同的抗拒理由,有些视频与政治阴谋论有关、有些是与 COVID-19 疫苗相关的虚假信息、也有一些是对热门大片《玩具总动员》的拙劣模仿。

  • Mozilla 研究人员发现,在志愿参与调查的用户们提交的全部不感兴趣视频中,有 71% 来自 YouTube 平台的 whiz-bang AI 推荐算法

  • 他们估计,在被举报的视频中,甚至 有 12.2% 的内容有违 YouTube 自己提出的视频管理方针及政策——换句话说,这些视频压根不应该出现在 YouTube 网站上,但推荐算法居然还将其广泛传阅。

  • 研究还发现,推荐的视频被志愿者举报的可能性比他们自己搜索到的视频高 40%。

  • 在 Mozilla 志愿者对视频进行负面反馈后,只有 43.6% 的推荐与志愿者之前观看的视频完全无关。

  • YouTube 推荐算法在非英语国家的表现似乎更差。其中巴西、德国与法国的推荐质量最差,美国和英国则分别排名第八位与第十六位。

必须承认的是,当前软件并不够完美

多年来,YouTube 的视频推荐算法一直被指责通过向公众投放经过放大的仇恨言论、政治极端主义、虚假垃圾信息,助长了社会弊病,以此谋取数十亿人的眼球,从而增加广告收入。

虽然 YouTube 的母公司谷歌偶尔会对围绕算法爆发出来的反对意见做出回应:宣布一些政策调整,以及限制或清除奇怪的仇恨账户,但不确定 YouTube 什么时候会重启这些诱导用户点击不健康视频的规则。根据 Mozilla 的研究,YouTube 的人工智能仍然表现得如此糟糕,这也表明谷歌在用肤浅的改革主张模糊这方面的批评。

谷歌公司一位发言人在声明中表示,“我们这套推荐系统的目标,是帮助观众快速找到自己喜爱的内容。这套系统光是在主页上的单日推荐量就超过 2 亿条视频。”

“我们使用超过 800 亿条信息为推荐系统提供指引,包括观众对感兴趣内容的调查回复。我们一直致力于改善 YouTube 平台的观看体验;单在过去一年,我们就推出了 30 多项不同调整,希望减少有害内容的推荐比例。伴随这项举措,用户以推荐方式接触到极端视频内容的几率已经远低于 1%。”

据报道,YouTube 最终删除了近 200 个志愿者在这次调查中反馈过的视频。这些视频在被删除之前总共有 1.6 亿次观看。

YouTube 多年来一直在努力改善推荐系统,并不断调整以提高效果表现。但必须承认,这款自动化软件仍然不够完美——特别是还在将有违内容管理政策的视频推荐给用户。Mozilla 认为,造成这种结果的核心原因,在于 YouTube 一直对所使用的自家的推荐算法底层逻辑三缄其口。

报告指出,“我们认为,此次研究揭露出的总是还只是冰山一角;其中每项发现都值得进一步跟踪并做出深刻剖析。”

“我们还意识到,如果不加以干预并对 YouTube 算法开展更严格的审查,那么相关问题将继续失控蔓延,最终给整个互联网社区产生愈发恶劣的影响。尽管 YouTube 方面宣称已经在一部分问题上取得了进展,但研究人员几乎无法验证这些说法,也极难对 YouTube 推荐算法进行真正有意义的研究。”

Mozilla 公司认为,YouTube 应该发布关于其推荐系统工作原理的数据,并对内容审核与推荐模型予以透明化公开。只有这样,研究人员才能真正以独立方式对这款 AI 软件开展审计。

参考链接:

https://www.theregister.com/2021/07/08/youtubes_mozilla_algorithm/

图片

本文章转载自公众号:frontshow

首页 - 前端 相关的更多文章: