生成式AI程序在根据文本输入构建令人印象深刻的详细视觉图像方面越来越出色，但日本大阪大学的研究人员已将其向前推进了一大步。他们利用AI，从人类观看图像时产生的脑部活动中重建出准确、高分辨率的图像。
[相关：互联网最受欢迎的生成式AI指南。]
正如Science和其他地方近期所强调的，大阪大学前沿科学研究生院的一个团队在其新论文中详细介绍了他们如何利用流行的AI图像生成程序Stable Diffusion，将脑部活动转化为相应的视觉表示。尽管过去有许多类似的、从思想到计算机的图像实验，但本次测试首次采用了Stable Diffusion。为了进一步训练系统，研究人员将数千张照片的文本描述与志愿者在观看这些图片时通过功能性磁共振成像（fMRI）扫描检测到的脑部模式联系起来。
根据大脑激活区域的不同，血流量水平会发生波动。例如，流向人类颞叶的血液有助于解读图像“内容”的信息，如物体、人物、周围环境，而枕叶则负责处理透视、比例和定位等维度信息。研究人员将一个包含四名人类观看超过10,000张图像时产生的fMRI扫描的现有在线数据集输入到Stable Diffusion，随后输入图像的文本描述和关键词。这使得程序能够“学会”如何将相关的脑部活动转化为视觉表示。
[相关：ChatGPT 正在亚马逊上悄悄合著书籍。]
在测试过程中，例如，一个人看着一张钟楼的图片。fMRI记录的脑部活动与Stable Diffusion之前的关键词训练相对应，然后将这些关键词输入到其现有的文本到图像生成器中。接着，根据枕叶的布局和透视信息，对重构的钟楼进行进一步细化，最终形成了一幅令人印象深刻的图像。
目前，该团队增强的Stable Diffusion图像生成仅限于这四个人的图像数据库——进一步的测试需要更多测试者的脑部扫描用于训练。尽管如此，该团队的突破性进展在认知神经科学等领域显示出巨大的潜力，正如Science所指出的，甚至有一天可能有助于研究人员深入了解其他物种如何感知周围环境。
