教授组成的专门小组给该模型打出了高低不一的分数。事实证明，GPT-3文本生成器擅长生成代码、博客以及偏见。那么这种AI是好学生吗？教育资源网站EduRef试图通过测试该系统的论文写作技能来找出答案。该公司聘请了教授组成的专门小组，为撰写美国历史、研究方法、创造性写作和法律等方面的论文设计写作提示。他们将写作提示发给了GPT-3，还发给了一群刚毕业的大学毕业生和本科生。然后，专门小组对这些匿名的论文评分，以测试AI得到的分数能不能高于学生。一些结果可能让教授们感到不安，也让不求上进的学生感到兴奋。但是其他结果表明，GPT-3仍有很多需要学习。GPT-3在撰写美国例外论的历史论文和法律课的政策备忘录时得到了最高分数：B-。学生在撰写历史论文方面得到了类似的分数：B和C+。但是撰写法律方面的论文时，仅三分之一的学生获得了高于AI的分数。GPT-3在撰写新冠病毒疫苗功效方面的研究方法论文时也得到了C，表现不俗，而学生得到了B和D。然而，该AI的创造性写作能力比不上其技术技能。该模型创作的故事是其唯一败笔，而学生得到的写作分数从A到D+不等。
EduRef向评分者告知GPT-3是AI之前，询问他们觉得GPT-3写的论文质量如何
图片来源：EduRef
总体而言，GPT-3对语法、句法和词频表现出了非同寻常的理解力，但是它未能就创造性写作任务撰写质量过硬的文章。
项目经理SamLarson告诉TheNextWeb网站，这可能归因于GPT-3检索信息的方式：
创造性写作任务要求动用五种感官的记忆和故事，而GPT-3在这方面没有直接的经验，因此它（可能）不得不遍历一种不同类型的信息搜索，写作提示不是为激活这项任务而设计的。AI动用的是事件、历史和法律信息存储库（因为它从易于获取的数据库提取语言预测）。因此对于法律和历史主题而言，这很用，而且适用于为这些主题引用该数据。但是，创造性写作更多地取决于想象力以及将思想合成为想法，而不是逐字逐句地引用之前就有的数据。
不过，GPT-3用速度弥补了写作技能上的不足。该模型为每项任务生成内容仅花了3分钟到20分钟，而学生平均花了整整3天的时间。评价评估
EduRef强调，该实验只是一项探索性研究。GPT-3的输出针对长度和重复次数稍加编辑，不过内容、事实信息和语法原封不动。Larson表示，创造性写作任务需要更多的人工干预。GTP的表现仍然给本人是学者的Larson留下了深刻的印象。他希望这种由AI生成的内容能够让教师和决策者们停一停，思考一下他们如何量化成功学生的要素。不过学生们可能对AI能够帮助自己写论文更感兴趣。预览时标签不可点收录于话题#个上一篇下一篇