吉网

回答哲学问题的大型语言模型

导读 近年来,计算机科学家一直在尝试创建越来越先进的对话和信息系统。ChatGPT和其他高性能语言模型的发布展示了人工智能在回答用户问题、编写

近年来,计算机科学家一直在尝试创建越来越先进的对话和信息系统。ChatGPT和其他高性能语言模型的发布展示了人工智能在回答用户问题、编写文本和与人类交谈方面可以走多远。

加州大学河滨分校、巴黎高等师范学院(ECN)和慕尼黑路德维希-马克西米利安大学的研究人员开发了一种大型语言模型,可以用特定哲学家的声音回答哲学问题。这个模型在预印本服务器arXiv上发表的一篇论文中提出,可以自主生成与人类哲学家非常相似的答案。

“Anna Strasser,Matthew Crosby和我注意到人们正在以各种作家或其他哲学家的风格创建GPT-3输出,”进行这项研究的研究人员之一Eric Schwitzgebel告诉Tech Xplore。“我们认为看看我们是否可以在哲学家的作品上微调GPT-3(生成预训练转换器3)会很有趣,然后问它问题,看看它是否说了真正的哲学家可能说过的话。

研究人员决定使用GPT-3,这是OpenAI创建的模型,支持ChatGPT的功能。最初,他们在康德的文本上训练了这个模型,然后在施维茨格贝尔的博客上,名为“旋转的心灵”,最后,在他的授权下,在美国哲学家丹尼尔丹尼特的大部分作品上。

“我们决定,看看专家们是否可以将微调后的模型与Dennett对相同问题的回答区分开来,这将是一件有趣的事情,”Schwitzgebel说。“Matt不得不离开这个项目,所以我们带了我的儿子David Schwitzgebel,他是巴黎ENS的认知科学研究生。

GPT-3 是一种自回归语言模型,它使用深度学习来生成文本。该模型基本上预测句子或单词序列中的下一个单词,采用复杂而强大的统计技术。

“例如,假设我说,'我要带我的妻子去浪漫旅行',然后让你猜下一个词,”Schwitzgebel解释说。“大概你更有可能回答'巴黎',而不是'垃圾'或'黄色'——当然,这句话可以用各种方式完成。GPT-3 使用庞大的文本语料库检查一个句子的整个先前上下文(最多数百个单词),然后统计猜测下一个单词。它这样做不是因为它'知道'巴黎是浪漫的,而是因为在庞大的语言使用数据库中,它会在'巴黎'之前看到像'浪漫'和'旅行'这样的词比在'垃圾'之前更频繁地出现。

作为他们最近研究的一部分,Schwitzgebel和他的同事对Dannett过去的作品进行了微调GPT-3。换句话说,他们进一步训练了哲学家文本上的模型,以确保在预测句子中的下一个单词时,它比其他单词使用模式更重视丹尼特的典型单词使用模式。

“我特别惊讶的是,考虑到Dennett的答案和四个非挑选的GPT-50输出,专家们只能正确猜测3%的时间,这比20%的机会率要好,但远不及我们假设的80%,”Schwitzgebel说。“非精选意味着我们没有尝试选择好的输出。我们只是采用了满足一些机械标准的第一批输出。这表明,GPT-3的微调模型可以令人惊讶地接近于以特定哲学家的声音说话。

为了评估他们称之为“Digi-Dan”的模型,研究人员询问了425名人类用户,他们是否可以区分模型生成的哲学问题的答案和Dennett产生的其他问题的答案。值得注意的是,他们发现专家哲学家和哲学博客读者可以在大约50%的时间内识别哲学家的答案,而对哲学一无所知或知之甚少的普通参与者在大约20%的时间内识别出丹尼特的答案。

这些发现表明,“DigiDan”产生的文本有时会被误认为是哲学家写的文本,但仍有改进的余地。未来,Schwitzgebel和他的同事计划继续研究他们的模型,并探索其可能的实际实现。

“我们现在开始考虑这可能产生的社会后果及其作为工具的潜力,”Schwitzgebel补充道。“例如,哲学家能否在自己的作品上微调模型,然后将其输出用作思想来源?哲学史家能否创造一个哲学家的模型,然后问它历史哲学家从未被问过的问题?在这一点上,我们不能相信输出是可靠的,但它们至少可能是暗示性的和发人深省的。