AI工具从大脑活动生成视频

“Alexa，回放我上周关于克尔斯滕的梦。这个命令在未来可能不会太遥远，因为研究人员正在接近能够进入我们思想并检索我们思想图像的技术。

新加坡国立大学和香港中文大学的研究人员上周报告说，他们已经开发出一种能够通过脑部扫描生成视频的过程。该研究发表在arXiv预印本服务器上。

研究人员使用一种称为功能磁共振成像(fMRI)的过程，研究人员Jiaxin Qing，Zijiao Chen和Juan Helen Zhou将通过成像检索的数据与深度学习模型稳定扩散相结合，以创建流畅，高质量的视频。

最近几个月，已经报道了通过通常用于图像生成的人工智能辅助稳定扩散从大脑活动中收集的静止图像的成功再现。但是，正如Qing和他的团队所报告的那样，检索连续的视觉图像提出了一个特殊的挑战。

功能磁共振成像的过程通常利用血液氧合水平依赖性(BOLD)信号，并每隔几秒钟捕获一次大脑活动的图像。这将产生质量较差的视频图像。标准视频捕获速率为每秒 30 帧。

“理解隐藏在我们复杂的大脑活动中的信息是认知神经科学的一个大难题，”Qing说。“从大脑记录中重建人类视觉的任务，特别是使用fMRI等非侵入性工具，是一项令人兴奋但艰巨的任务。

他的团队通过他们的心视频模型实现了高质量的视频。它被描述为“旨在弥合图像和视频大脑解码之间差距的双模块管道”，其fMRI解码器逐渐从获取的大脑信号中学习，使用图像数据库进行训练和微调。

他们说，结果是高质量的视频，以85%的准确率完成了运动和场景动态。

Qing说，他们的工作显示了未来大型模型应用的前景，“从神经科学到脑机接口”。

使用人工智能以及MRI和EGM(肌电图)来研究图像，大脑活动和肌肉运动正在为思维的运作开辟新的前景。大阪大学的神经科学家Shinji Nishimoto说，这些过程有一天可能会被用来捕捉思想和梦想。

梦研究员丹尼尔·奥尔迪斯(Daniel Oldis)与德克萨斯大学奥斯汀分校认知神经科学实验室的一位同事合作，正在研究梦境记录MRI技术，该技术可跟踪肌肉中的大脑活动和神经冲动，以定义梦中的图像，语音和运动。

“这就像太空竞赛的早期，”他最近说。“但在这种情况下，我们将进入梦想空间。

一般人每晚最多做六个梦，但在醒来后几分钟内就会忘记其中的90%。捕捉永久梦想记录的前景令人振奋。

几个世纪以来，梦想一直困扰着我们。在早期文化中，梦被认为是来自上帝的信息。在20世纪，弗洛伊德引入了我们梦背后压抑的性和情感冲动的概念。

我们最大的灵感来自我们生命中每个夜晚的夜间旅行。

披头士乐队的“昨天”的旋律被BBC电台民意调查评为20世纪最佳歌曲，保罗麦卡特尼在梦中来到了这里。滚石乐队的巨人热门歌曲“满意”中著名的三音开场即兴演奏在半夜来到基思理查兹;他醒来录制了这首歌的粗略版本，睡眼惺忪地喃喃自语“我不能得到不满意”，回去睡觉，直到那天早上听磁带时才意识到自己记下了什么。

救世主达利将他的《记忆的持久性》等奇幻超现实主义作品称为“手绘梦幻照片”。

一个紧张的学生担心他被斯坦福大学录取是一个错误，他做了一个焦虑的梦，他把整个网络下载到他的电脑上。当他醒来时，他开始了一个项目，有一天每月将吸引89亿观众，每秒回答99，000个查询。他的名字：拉里·佩奇。他的创造：谷歌。

记录和流式传输我们的梦想——从噩梦到改变游戏规则的励志想法——现在可能只是一个梦想。

但正如清、奥尔迪斯等人的作品所表明的那样，时间不长。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！