强化学习：从棋盘游戏到蛋白质设计

新的蛋白质设计软件采用了一种被证明擅长国际象棋和围棋等棋盘游戏的策略。

科学家们已经成功地将强化学习应用于分子生物学的挑战。

由UW Medicine研究人员领导的一个团队开发了功能强大的新蛋白质设计软件，该软件改编自一种擅长国际象棋和围棋等棋盘游戏的策略。在一项实验中，用新方法制成的蛋白质有效地在小鼠中产生了有用的抗体。

强化学习是一种机器学习，其中计算机程序通过尝试不同的动作和接收反馈来学习做出决定。这样的算法可以学习下棋，例如，通过测试数百万次导致棋盘胜利或失败的动作。该计划旨在从这些经验中学习，并随着时间的推移更好地做出决策。

科学家们为计算机提供了数百万个简单的起始分子，以制作用于蛋白质设计的强化学习程序。然后，该软件进行了一万次尝试，随机改进每个目标以实现预定义的目标。计算机以特定的方式延长蛋白质或弯曲它们，直到它学会如何将它们扭曲成所需的形状。

《科学》杂志的发现表明，这一突破可能很快就会带来更有效的疫苗。更广泛地说，这种方法可能导致蛋白质设计的新时代。

“我们的结果表明，强化学习可以做的不仅仅是掌握棋盘游戏。当接受培训以解决蛋白质科学中长期存在的难题时，该软件擅长创造有用的分子，“资深作者、西雅图威斯康星大学医学院生物化学教授、2021 年生命科学突破奖获得者大卫贝克说。

“如果这种方法应用于正确的研究问题，”他说，“它可以加速各种科学领域的进展。

这项研究是利用人工智能进行蛋白质科学研究的里程碑。潜在的应用是巨大的，从开发更有效的癌症治疗方法到创造新的可生物降解纺织品。

贝克实验室的所有成员Isaac D. Lutz，Shunzhi Wang和Christoffer Norn都领导了这项研究。他们团队的科学手稿题为“具有强化学习的蛋白质结构的自上而下设计”。

“我们的方法是独一无二的，因为我们使用强化学习来解决创建像拼图一样组合在一起的蛋白质形状的问题，”共同主要作者Lutz解释说，他是UW蛋白质设计医学研究所的博士生。“这在以前的方法上根本是不可能的，并且有可能改变我们可以构建的分子类型。

作为这项研究的一部分，科学家们在实验室中制造了数百种人工智能设计的蛋白质。使用电子显微镜和其他仪器，他们证实计算机创造的许多蛋白质形状确实是在实验室中实现的。

“事实证明，这种方法不仅准确，而且高度可定制。例如，我们要求软件制作没有孔、小孔或大孔的球形结构。它制造各种架构的潜力尚未得到充分开发，“共同主要作者，UW医学蛋白质设计研究所博士后学者Shunzhi Wang说。

该团队专注于设计由许多蛋白质分子组成的新的纳米级结构。这需要设计蛋白质成分本身和允许纳米结构自组装的化学界面。

电子显微镜证实，许多人工智能设计的纳米结构能够在实验室中形成。作为衡量设计软件准确性的指标，科学家们观察到许多独特的纳米结构，其中每个原子都被发现在预定的位置。换句话说，预期和实现的纳米结构之间的偏差平均小于单个原子的宽度。这称为原子精确设计。

作者预见到未来，这种方法可以使他们和其他人能够创造治疗性蛋白质，疫苗和其他分子，而这些分子是使用先前方法无法制造的。

来自UW干细胞和再生医学医学研究所的研究人员使用血管细胞的原代细胞模型来证明设计的蛋白质支架优于该技术的先前版本。例如，由于帮助细胞接收和解释信号的受体更密集地聚集在更紧凑的支架上，因此它们在促进血管稳定性方面更有效。

威斯康星大学医学院生物化学教授、该研究的作者之一Hannele Ruohola-Baker谈到了这项调查对再生医学的影响：“这项技术越准确，它就越能开辟潜在的应用，包括糖尿病、脑损伤、中风和其他血管有风险的病例的血管治疗。我们还可以想象更精确地传递用于将干细胞分化为各种细胞类型的因子，为我们提供调节细胞发育和衰老过程的新方法。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！