物理教授测试ChatGPT完成二年级量子力学考试并评估其表现与教育影响

Sixty Symbols

总结：

诺丁汉大学物理教授Phil Moriarty使用2024年的二年级量子力学考试试卷来测试ChatGPT的最新版本。
此前的研究显示，GPT-4在完整的大学物理学位（不含实验部分）中获得了65%的成绩，即“2:1”荣誉学位。
ChatGPT仅用约90秒就完成了这份学生通常需要三小时完成的考试，而教授的批改过程则远超此时间。
教授Phil Moriarty按照对待学生的标准批改了考卷，拒绝为AI的工作方式做任何调整。
ChatGPT在三道大题中分别获得22/25分（88%）、25/25分（100%）和23/25分（92%）。
最终总成绩为71/75分，相当于94.67%，达到了一级荣誉学位水平，远超该课程学生的平均分（约65%）。
尽管AI取得了高分，但教授指出其在部分问题中存在推理错误或无法绘制图形，并对AI作为评分工具的可靠性表示担忧。
他强调AI作弊检测器目前无效，并警告在线考试在AI时代带来的作弊风险，呼吁大学坚持面授考试以维护学术诚信和公平。

ChatGPT考试最终总分为75分中的71分 [ 00:14:27 ]

引言：AI在物理评估中的应用背景 [00:00:00]

ChatGPT通过物理学位的早期研究 [00:00:13]
- 2024年发布的一项研究，来自Pimbblet和Morrell的论文《ChatGPT能否通过物理学学位？为本科评估改革提出案例》，将完整的英国大学物理学士学位课程（不包括实验室部分）输入ChatGPT进行测试。 [00:00:34]
  
  论文指出GPT-4在物理学士学位中获得65%的成绩 [ 00:00:58 ]
- ChatGPT获得了65%的成绩，这在英国大学体系中相当于一个扎实的“2:1”荣誉学位（即高二级荣誉学位）。 [00:00:56]
- 这个成绩意味着AI已经能达到相当高的学术水平，足以进入博士项目。 [00:02:35]
当前实验：量子力学考试挑战 [00:01:21]
- 视频中的物理教授Phil Moriarty决定用诺丁汉大学物理与天文学学院2023-2024学年春季学期的二年级量子力学考试试卷，来测试当前版本的ChatGPT。 [00:01:25]
  
  二年级量子力学考试试卷节选 [ 00:01:33 ]
- 选择量子力学是因为其在网络物理论坛上有大量讨论，因此很可能在AI的训练数据集中占据很大比重。 [00:01:42]
- 教授的目标是直接比较AI与学生的表现，看AI在未调整考题形式的情况下能取得何种成绩。 [00:03:57]

ChatGPT考试过程 [00:03:26]

考试设置与要求 [00:03:37]
- 教授直接将考试试卷（PDF格式）上传给ChatGPT，并要求它以“二年级学生的身份”回答问题。 [00:04:26]
  
  ChatGPT界面显示上传的量子力学试卷及用户指令 [ 00:00:05 ]
- 与之前的研究不同，教授没有为适应ChatGPT的工作方式而重组或修改问题，而是直接使用原始试卷。 [00:03:51]
- 考试提供了“可能有用的信息”（公式和操作符等），ChatGPT同样能够获取这些信息。 [00:06:28]
  
  学生在考试中可用的有用信息/公式 [ 00:06:32 ]
- 教授还探讨了ChatGPT是否存在防止作弊的内置机制，但实际上AI并未对此提出任何限制。 [00:04:41]
AI的答题速度 [00:05:11]
- 面对一份学生通常需要三小时完成的考试，ChatGPT仅用了约90秒就生成了所有答案。 [00:05:59]
  
  ChatGPT在约3分41秒时正在输出答案，计时器显示已过3分41秒 [ 00:05:39 ]
  
  ChatGPT生成的考试最终总结 [ 00:06:01 ]

考卷批改与结果 [00:06:08]

第一题得分及分析 [00:06:40]
- 第一题满分25分，ChatGPT获得了22分（88%）。 [00:08:55]
  
  教授批改的第一题（a）部分，ChatGPT的答案 [ 00:06:43 ]
- 在第一个问题中，AI给出了正确答案，但原因有误，例如在描述动量和能量态的关系时。 [00:07:23]
- 在后续计算部分，AI能够进行复杂的积分运算，但有时选择了冗长的方法，而不是通过简单的图形或对称性论证来快速得出结果。 [00:08:10]
  
  教授手写答案与ChatGPT标准化答案的对比 [ 00:07:41 ]
  
  ChatGPT在第一题中获得25分中的22分 [ 00:08:58 ]
第二题得分及分析 [00:10:46]
- 第二题满分25分，ChatGPT获得了25分（100%），取得了满分。 [00:12:33]
- AI在执行求导和应用链式法则等数学操作方面表现出色。 [00:10:49]
- 尽管无法直接“绘制”图形，但AI能够通过文字准确描述出高斯曲线等图像的关键特征。 [00:11:31]
  
  教授对高斯曲线的草图，并附有ChatGPT的文字描述 [ 00:11:32 ]
- 教授展示了ChatGPT在图像生成方面的弱点，例如它生成的一张儿童字母表海报中，C代表“大象”，V代表“胡萝卜”，这表明AI在非符号连接方面存在缺陷。 [00:11:02]
  
  ChatGPT生成带有常识性错误的字母表图表（例如，“C”代表大象，“V”代表胡萝卜） [ 00:11:20 ]
第三题得分及分析 [00:13:37]
- 第三题满分25分，ChatGPT获得了23分（92%）。
- 在时间演化相关的推导中，AI出现了一个符号错误，但其后续的推导逻辑是正确的。 [00:12:43]
  
  教授批改的第三题，指出ChatGPT的符号错误 [ 00:12:53 ]
- 值得注意的是，AI在某个部分甚至自我修正了答案，或提供了不同的约定形式。 [00:13:47]
  
  ChatGPT在某些部分自我修正了答案 [ 00:13:30 ]
- 教授按照对待学生的标准，对于因单一错误导致的后续计算误差只扣一次分，避免了重复惩罚。 [00:13:10]
总成绩与教授评价 [00:14:23]
- ChatGPT的考试总成绩为71/75分，即94.67%。 [00:14:23]
  
  ChatGPT考试最终总分为75分中的71分 [ 00:14:27 ]
- 这个成绩达到了“一级荣誉学位”的水平，远高于该课程学生的平均分（大约65%）。 [00:14:30]

对AI评估工具的看法 [00:09:07]

AI作为评分工具的局限性 [00:09:11]
- 教授反对将考试批改外包给ChatGPT，即使AI能达到极高准确率。 [00:10:01]
- 他指出，AI有时会给出正确答案，但推理过程却是错误的，这可能导致学生被错误地判分。 [00:09:42]
- 鉴于学生支付高昂学费，教授认为大学有责任提供人工批改，而不是将关键任务外包给AI。 [00:09:25]
AI作弊检测器的无效性 [00:10:18]
- 教授对当前的AI作弊检测器表示“没有信心”，认为它们“非常糟糕”且“相当不可靠”。 [00:10:21]
- 即使在写作领域，AI检测器也无法有效识别AI生成的内容，更不用说物理考试这种带有数学符号的答案了。 [00:10:32]

教育评估的未来 [00:14:40]

在线考试的风险 [00:14:49]
- 教授强调，在AI技术日益先进的背景下，必须确保学生在考试中无法使用AI。 [00:14:46]
- 他对一些大学高级管理层热衷于推行在线考试的趋势表示担忧，认为这在AI面前是“非常危险”的举动。 [00:15:00]
- 教授暗示，大学可能为了提升毕业生表现数据，会有意无意地为学生作弊提供便利。 [00:15:17]
维持学术诚信的重要性 [00:16:11]
- 即使学生通过作弊使用ChatGPT获得高分，他们也无法真正成为物理学家，因为在实际工作或面试中，很快就会暴露出知识的欠缺。 [00:16:17]
- 使用AI作弊对那些诚实学习、努力付出的学生而言，是极大的不公平。 [00:16:38]
- 教授呼吁大学应坚持严格的评估标准，例如回归面授考试，并建议将评估重点转向数据解读，以应对AI带来的挑战。 [00:16:05]
  
  论文结论指出需要迅速改革评估方式 [ 00:03:11 ]