GIPHY是GIF和动画贴纸的在线提供商,它认识到向开源社区提供资源的趋势日益明显,推出了“ GIPHY名人探测器”。”
该免费平台由GIPHY研发团队开发,是一个神经网络,使用深度学习模型检测GIPHY上发现的2,300多名名人,包括电影和电视明星,运动员,音乐家和政治家,准确率达98%。当GIF和视频中同时出现多个面孔时,它还可以识别并预测身份。
以娱乐产品为基础
GIPHY一直以娱乐和流行文化为主。GIPHY上大约一半的搜索查询与娱乐行业有关。
GIPHY表示,用户已经享受了所有的GIF,但通常是名人才能获得最多的关注。由于对这种GIF的需求, GIPHY工作室经常与名人合作制作贴纸,广告和反应。
Celebrity Detector还帮助该公司注释这些娱乐内容,以帮助在公司的内部搜索引擎中找到特定的GIF。
这个怎么运作
名人检测过程包括面部检测和面部识别。当GIF或图像提交给分类器时,它使用称为MTCNN的预训练模型。基于Resnet-50将每个面提交给该神经网络,并使用上述现有数据集进行训练。
他们还使用GMM算法 通过其矢量表示来聚类每个面部。从那里,每个聚类接收聚合预测,该聚合预测是针对聚类内的所有面部计算的,以产生一个或多个名人姓名以及置信度得分。模型的最终输出将这些预测结合在所有集群中。
为了培训深度学习平台,GIPHY的研发团队从其所有平台的前50,000搜索中获得了名人的名字,包括其网站,移动应用程序,与Slack的集成以及与Facebook和Twitter的社交媒体集成。此外,为了验证其名人检测的准确性,他们使用了开源标记的面孔和一个众包标签数据集,大约有1000名受欢迎的Giphy名人。
分享和学习
还有其他平台提供类似的东西,但它们涉及费用,这减少了机器学习和开源社区的访问。通过使性能代码可用,任何人都可以利用该平台进行项目和应用程序。
GIPHY还提供了有关如何在其Github 开源存储库中使用它的更多技术信息 。此外,GIPHY工程团队将在内部使用该平台向其GIF目录添加元数据。他们还计划将模型开源到机器学习社区,以便其他人建立自己的工作或将其集成到他们的项目中要试用他。