如今，拍摄水下世界照片的方式比千禧年初任何人都能想象到的都要多，这得益于不断改进的水下摄像机设计。一方面，它们为海洋生物提供了令人开了眼界的视角。但另一方面，这些设备给海洋生物学家带来了海量的视觉数据，处理起来非常繁琐且耗时。
加利福尼亚州的蒙特雷湾水族馆研究所提出了一个解决方案：一个游戏化的机器学习平台，可以帮助处理视频和图像。它被称为Ocean Vision AI，通过结合人类标注和人工智能来工作。你可以把它想象成ebird或iNaturalist应用程序，但适用于海洋生物。
该项目是数据科学家、海洋学家、游戏开发者和人机交互专家之间的跨学科合作。周二，国家科学基金会通过提供 500 万美元的资金，对这个为期两年的项目表示了支持。
“我们捕获的数十万小时的海洋视频和图像中，只有一小部分被完整地观看和分析过，甚至更少与全球科学界分享，”Ocean Discovery League 的创始人兼总裁、Ocean Vision AI 的联合首席研究员 Katy Croff Bell 在一份新闻稿中说。“分析生物体与其环境以及彼此之间以复杂方式进行互动的图像和视频，通常需要专家手动标记，这是一种资源密集型的方法，不易扩展。”
“随着越来越多的行业和机构着眼于利用海洋，对理解其活动所产生的交叉空间的兴趣日益增加。发展蓝色经济需要了解其对海洋环境的影响，特别是对生活在那里的生物的影响，”MBARI 的首席工程师、Ocean Vision AI 的首席研究员 Kakani Katija 在一条Twitter 帖子中写道。
这时，人工智能就可以派上用场了。海洋生物学家已经开始尝试使用 AI 软件来分类海洋中的声音，例如鲸鱼的歌声。Ocean Vision AI 的理念是创建一个中央枢纽，收集来自研究团体的新旧水下视觉数据，利用这些数据来训练一个能够识别生物的人工智能算法，例如区分画面中的螃蟹和海绵，并将标注过的图像作为开放数据源与公众和更广泛的科学界分享。
该方案的一个关键部分是一个名为FathomNet的开源图像数据库。根据 NSF 的2022 年融合加速器投资组合，“FathomNet 中的数据正被用于指导 OVAI [Ocean Vision AI] Portal 的设计，这是我们为海洋专业人士提供的界面，用于选择感兴趣的概念，从 FathomNet 获取相关的训练数据，并调整机器学习模型。OVAI 的最终目标是使海洋图像的访问以及分析所需的基础设施民主化。”
Ocean Vision AI 还将包含一个视频游戏组件，用于吸引公众参与该项目。该团队正在开发的视频游戏“将教育玩家，同时生成新的标注”，从而提高 AI 模型的准确性。
尽管该游戏仍处于原型测试阶段，但可以在 NSF 发布到YouTube 的视频中看到它的预览，该视频展示了一个界面，询问用户他们看到的照片是否包含水母（屏幕顶部显示水母的图像）。
以下是该项目当前的计划时间表。到明年夏天，该团队预计 FathomNet 的第一个版本（目前处于测试版）将上线，并包含一组初步数据。2024 年，该团队将开始将机器学习标记的生态调查数据导出到全球生物多样性信息基金会等存储库，并研究为机构建立潜在的订阅模式。在此期间，视频游戏的模块将集成到其他流行的游戏中，以及博物馆和水族馆体验中。在对不同版本进行现场测试后，该团队将于 2024 年底完成设计并发布一款独立的、多平台的视频游戏。
“海洋在我们地球的健康中扮演着至关重要的角色，但我们只观察了其中的一小部分，”Katija 在一份新闻稿中说。“我们正在共同开发迫切需要的工具，以帮助我们更好地了解和保护我们的蓝色星球。”
