 |
June 06, 2015, 09:29:16 PM |
|
人工智能测试领域刚刚曝出了第一起作弊丑闻。上月，中国搜索引擎公司百度宣布其图片识别软件在精确度标准化测试中领先于谷歌。但本周二，该公司承诺是通过违反测试规则实现的这一成绩。
负责维护该测试的学术专家表示，这导致百度之前的声明毫无意义。作为该项目的负责人，百度研究员Ren Wu已经公开道歉，并表示该公司正在评估结果。百度也对该软件的技术论文进行了修订。
目前并不清楚此举是个人行为还是整个团队所为，但一家拥有数十亿美元收入的科技公司为什么要在这样一次测试中作弊呢？
百度、谷歌、Facebook等大型科技公司最近几年都投入巨资组建研发团队，专门研究深度学习技术，他们开发的机器学习软件已经在语音和图像识别领域实现了重大进展。这些公司都在不遗余力地聘请这个小领域的顶尖专家，经常会相互挖角。虽然学术界目前的人工智能标准测试数量不多，但却可以帮助这些研究团队与其他团队的成就进行对比，并向公众展开宣传。
百度通过作弊获得了不公平的优势。要进行ImageNet Challenge测试，首先需要用150万张标准图片对其进行训练，然后将代码提交给ImageNet Challenge服务器，针对这些软件之前没有见过的10万张“验证”图片进行测试。
按照规定，每周只能对代码进行两次测试，因为最终的结果包含概率因素。
百度承认，该公司使用多个电子邮件帐号在短短6个月的测试期内对其代码展开了大约200次测试——超过规定测试数量的4倍。
艾伦人工智能学院CEO表示，百度此举相当于购买了多张彩票。“如果你一周购买2张彩票，你大概有一个中奖概率。但如果你一周买200张彩票，概率就会增加。”他说。这样一来，用略有不同的代码展开多次测试，便可帮助研究团队针对一组独特的验证图片进行优化。
在这种测试中，很小的优势也会产生巨大的不同。百度曾经表示，该公司的错误率仅为4.58%，击败了谷歌3月的4.82%。但一些专家指出，这么小的领先差距在这项测试中变得越来越没有意义。但百度和其他公司仍在努力吹嘘自己的结果，甚至不惜违反规则，足以表明在机器学习领域获得领先优势对他们而言的确意义非凡。
|
