GPT-4满分通过MIT本科数学考试！这套提示词火了-焦点快报
万万想不到啊，MIT数学考试，被GPT-4攻破了？！
突然有人在最新论文工作中高调宣布：
(资料图片)
GPT-4在MIT的数学和EECS（电气工程和计算机科学系）本科学位考试中，表现出的能力完全满足毕业要求。
而且妥妥地拿下满分！
要知道，测出这个结果的不是别人，正是来自MIT和波士顿大学、康奈尔大学的研究团队。
而且强如上一代王者GPT-3.5，在同样的测试中，只成功搞定了三分之一。
论文一出，无数目光迅速被吸引过来。
GPT-4这样看似开挂的行为，自然引发了不少网友的感慨。
比GPT-3.5强好多，好耶！
咱就是说，有没有可能以后不需要比GPT-4更强的模型，来解决学术问题了？
还有网友展现了自己网上冲浪的“前沿性”，玩了个这两天Yann LeCun吐槽“GPT-4智商不如狗”的梗：
GPT-4开挂MIT考试
具体来说，GPT-4这次是参与了这样一场测试：
研究团队策划了一个数据集，其中包含4550个问题和解决方案。
这4550个问题和解决方案，来自MIT数学系和EECS的学生获得本科学位，需要学习的课程问题集、期中考试和期末考试。
包括：
6-1：电气科学与工程； 6-2：电气工程与计算机科学； 6-3：计算机科学与工程； 6-4：人工智能与决策； 18-1：普通数学； 18-2：应用数学； 18-3：纯数学； 18-C：数学与计算机科学。
题目统统出自MIT的数据集，从中随机生成228个问题，不涉及图像和已有解决方案的问题。
题目的难度等级由易到难依次为：练习、习题、 期中考试、期末考试、实验和专题。
按答案类型排序，题目的难度由易到难依次为：编程、开放、选择题、数值、表达式和图像。
这一次，参与考试的不只有GPT-4和GPT-3.5，还有StableVicuna-13B、LLaMA-30B和LLaMA-60B。
选择让这4个大模型作为考试参赛选手，原因是它们是“最先进的大语言模型”。
通过表格里的数据可以看到，得分最高的是经过调优后的GPT-4，得分率100%；表现最一般的是LLaMA-30B，只拿下了30%的分数。
值得关注的是，原始版本的GPT-4开箱即用，完全不经过调优，在本次MIT考试中也拿到了90%的分数。
调优流程，包括Few-Shot+CoT+Self-critique+Experts。
从最终考试成绩的表格数据可以看到，从左到右每增加一个环节，调优后的GPT-4得分都会更上一层楼。
此外，研究团队还在提示框里进行了工程优化，具体的“咒语”如下：
等等，评分人是GPT-4自己？
看到这样的结果，不少网友心生感慨，LLM在数学考试上的进步，未免有些神速了哈。
2年前，AI还在苦苦挣扎小学数学问题。
类似“小明种了5棵柠檬树，每年从每棵树上得到6个柠檬，10年间他总共得到多少柠檬”这种。
去年年初，MIT+哈佛+哥伦比亚大学+滑铁卢大学的联合研究表示，把数学问题转换成等价的编程问题，就可以让GPT-3的同门师兄弟——OpenAI的Codex掌握高数，达到MIT本科水平。
学了6门MIT本科基础数学课里随机抽取的例题，6门课程每门随机出25道题，再加上一个ACT水平（美国高考）的数据集里的60道题。
总计210道题，AI全部答对。
不过有人提出，AI达到的“MIT本科水平”，实际是Codex在做语言题而非数学题——
因为当时的评测中，Codex负责读写，并不包括求解。
所以，这一回GPT-4表现奇佳，怎一个妙字了得～
好了，知道你很着急夸它，但你先别着急夸它，因为很快有人发现了一些“诡异”。
主要有2大槽点。
第一个值得质疑一番的，就是OpenAI的训练数据集没有完全公布。
这也就意味着，无法证明数据集中的4550个问题和解决方案，在GPT-4的训练集中不存在。
换句话说，如果GPT-4在预训练阶段已经接触到了这次的考题们，那最终拿下完美得分，就没什么好惊喜的了。
也难怪乎有网友毫不客气地yygq，认定GPT-4拿到这样的结果，一定是数据集已经包含在训练数据里了。
第二个槽点，就是GPT-4最后100%的得分率，似乎哪里不对劲？？？
定睛一看，在论文的第2.6节有一句很关键的点：
团队在数据集上微调开源大模型，“给定问题Q、基本事实解S和LLM答案A，我们使用GPT-4自动对模型响应进行评分”。
实际操作上，就是每个大模型生成这次考试的答案，然后派出GPT-4打分，分值在0-5之间。
所以给GPT-4打出满分的，实际上是GPT-4自己。
啊这……很难说没有王婆卖瓜自卖自夸的嫌疑。
此外，关于要给GPT-4提供“好的提示”，才能让它达到满分成绩，也让许多人抱有微词。
到底什么算“好的提示”呢？似乎无法定义。
甚至有人喊着，应该把这些题丢给MIT数学和EECS的学生去做，并不断给他们“好的提示”，这样人类学生也能拿下100%的吧……
One More Thing
一个小小的彩蛋：
整个测试中，基本上可以在笔记本电脑上部署运行的StableVicuna-13B，也有48%的得分率。
这个成绩，不仅比模型更大的LLaMA-65B高出近10个百分点，就连MIT fine-tuing过后的LLaMA-30B，还要高。
让人不得不陷入一些关于模型规模与能力相关性的思考
最近更新
- GPT-4满分通过MIT本科数学考试！这套提示词2023-06-17
- 环球消息！沐霂是MUMU呀装扮表情无损放大，2023-06-17
- 因坐牢信用卡无力偿还怎么办？会收取违约金2023-06-17
- 【新要闻】6000余万元石油焦可以提货了！货2023-06-17
- 江苏如皋大力推进长江经济带生态环境整治_2023-06-17
- 陈梦豪爽！买3大包海底捞回宿舍，王艺迪跟2023-06-17
- 毕节这里投用一批新能源出租车-当前报道2023-06-17
- 2023年乌鲁木齐中考录取分数线预测2023-06-17
- 第五轻柔先生 第五轻柔2023-06-17
- 全球热讯:用ps怎么去掉图片上的文字内容_用2023-06-17
- 1015万车型性价排行榜 1015万元左右最好的2023-06-17
- 市商务局组织厦门企业赴沪参加第九届“上交2023-06-17
- “义新欧”中欧班列德国集散中心揭牌启用2023-06-17
- 环球信息:埃安2024款AION V Plus将于6月22023-06-17
- A股罕见！马上退市，高管突然宣布：减持2023-06-17
- 热消息：【明日方舟漫画】0617乖！2023-06-17
- 微头条丨被批藐视议会，他的政治生涯或被划2023-06-17
- 中国女排力克保加利亚：虽迎世联赛六连胜，2023-06-17
- 公积金缴费基数是指什么 环球最资讯2023-06-17
- 今亮点！进口影片票房遇冷 审美疲劳下业内2023-06-17
- 天天速读：三农科普|番茄裂果原因及预防措2023-06-17
- 2717克是多少斤,2713克是多少斤2023-06-17
- 周口日报2023高考志愿填报公益讲座开讲 全2023-06-17
- 小安溪河特大桥预计年底全线贯通！渝遂复线2023-06-17
- 布林肯：此次访华旨在降低美中爆发冲突的风2023-06-17
- 各国 我爱你 写法 日语我爱你怎么写2023-06-17
- 环球新动态：2023健康文旅产业发展大会将于2023-06-17
- 8月22日更新消息 机构：受市场需求下降影2023-06-17
- 俄罗斯能源部长：俄向巴出口石油 用友好国2023-06-17
- 易经运势测算：预知命运变迁，把握机遇！|2023-06-17
每日推荐
-
GPT-4满分通过MIT本科数学考试
- 万万想不到啊，MIT数学考试，被GPT-4攻破了？！突然有人在最新论文工作
-
江苏如皋大力推进长江经济带生
- 江苏省如皋市大力推进长江经济带生态环境整治，6月14日，如皋市委书记
-
2023年乌鲁木齐中考录取分数线
- 2023乌鲁木齐中考分数线预测：1、一中：普通类分数线686分、单列类分数
-
市商务局组织厦门企业赴沪参加
- ■厦门馆展区蓝白相间。受访单位供图第九届中国（上海）国际技术...
-
A股罕见！马上退市，高管突然
- 已经收到交易所退市决定书，马上就进入最后15个交易日的退市整理...