5款大模型中，马斯克的grok1竟是一个复读机？

3月18日，月之暗面宣布其对话式AI助手产品Kimi智能助手现已支持200万字的无损上下文输入。这个差异化的“长文本处理”的免费大模型，一下子就火出了圈。

这意味着什么？以往需要一个新手投入10000小时才能成为某领域的专家标准，现在你只需10分钟的时间向Kimi提供相关资料，其便可以达到一个全新领域的初级专家水平。

免费+好用，Kimi的服务器瞬间就被挤宕机了，官方紧急扩容了五次，才算是恢复正常。

（现在我还在内测排队中）

自2024年开始，各家的大模型开启了又一轮的发布与迭代，AI大模型以十分迅猛的速度，疯狂地刷新着人们的认知，从sora再到kimi，改变可谓是翻天覆地。

在感叹AI发展日新月异之余，我们也在积极地寻找利用AI的机会。实际上，大部分人对于大模型各种标准测试排名并不关心。哪一款AI能够低门槛灵活使用，解决眼前实际的问题，带来效率上的切实提升才是重点。

（大模型的排行榜）

那么问题来了：哪一款大模型，是现阶段比较好用的呢？

本着“能用、好用、性价比高”的评价原则，我们这次找来了当下最热门的五款大模型，并且开通了付费最高等级的模型，模拟工作生活中的场景进行一次“非专业性测试”，看看哪一款是现阶段我们用着称心的“AI好帮手”！

参与评测的大模型有：大模型老大ChatGPT4、谷歌的Gemini Pro、OpenAI的叛忍Claude 3 Opus、突然爆火的Kimi、以及马斯克的grok 1：

多图、长图预警！

正式测试开始↓

数学/逻辑测试

我们先从一般的数学和逻辑测试开始。我找了一些数学和逻辑类型的问题来提问，想看看大模型们的数学能力孰强孰弱。

我找了一系列问题来分别测试它们的运算能力。

先是ChatGPT 4，ChatGPT4完全体现了大模型运用现代工具的能力，它先是简单地说了下该如何解题。

对于后面难一些的奥数题，它直接开始调用函数程序开始计算，像极了口算不行改拿计算器的我。

而在它调用函数的过程中，中间不知道是网络的原因还是算法的问题，还出现了“算错了”的情况。

最后ChatGPT4总结了所有的答案。

然后是Gemini Pro，谷歌的Gemini Pro很快就给出了答案。

Claude 3 Opus也是同样，思考的速度比Gemini Pro稍微慢了点，但也十分言简意赅。

grok 1的答案感觉也是使用了计算器，但是你的答案好像和上面的不一样啊！

最后是国产大模型Kimi，第四题和第五题它以“没有确切的条件”为由拒绝回答。

幻觉测试

因为生成式大模型经常会出现幻觉现象（Illusion Phenomenon in Large Models），简单来说就是“一本正经地胡说八道”。

针对这个情况，我准备了一系列逻辑欠缺、常识不对或者有明显误导性的问题，看看大模型能否准确识别。

首先是ChatGPT 4，它的回答先是说这些问题“富有寓意性”，然后它在很认真地纠正我问题中常识性的错误，还给我科普一些知识，但是它空了两个题没有回答。

Claude 3 Opus的回答则让我十分惊讶，它先是说这些问题是“无意义的”或不可能回答的，然后嘲讽我这些是“伪科学”，说这些荒谬的问题不可能实现。

Claude 3 Opus语气严谨而坚定，一本正经说教的样子仿佛引导弱智一般。

随后是Gemini Pro，它逐条对我的脑残问题进行驳斥，没有任何个人色彩。

然后是老马家的grok1，本来兴致满满地期待，结果第一次就给我出了个大岔子。

我们先不提黄河的这个“彩虹屁”……最后怎么还复读上了？

再来一次之后，总算是正常了。

相比较而言，Kimi的回答还是很详细地一遍就过了，表现还是很不错的。

长文本总结测试

因为grok1并没有上传文件的按钮，所以缺席了这次测试。我找了六篇关于AI终端的报道和论文，输入进去并让大模型进行总结并分析。

首先是ChatGPT4，它给出的结论对这几个文章进行了有效地总结与归纳，不过内容明显浮于表面。

接下来是Claude 3 Opus，它的文案总结十分详细，还分条缕析地给出了每个小点的内容，包括AI终端所面临的挑战，完全可以做一个文章大纲了。

发挥出乎意料的是Gemini Pro，一开始的文案总结还算正常。

但是到了最后，文案的总结就好像跑偏到了专业领域，让人看不懂重点在哪里。

Kimi的答案很长很详细，但没有Claude 3 Opus涵盖的要点齐全，属于和ChatGPT4同级别的回答表现。

创作能力测试

在创作能力的测试中，我们采用这几年大热的“赛博朋克”为题创作小说故事，看看在没有更加详细的要求下，各个大模型的创作水平是否能达到令人满意的程度。

首先是ChatGPT4，它的回答更像是一个自传电影的大纲，并没有多少吸引人的转折。

不过ChatGPT4所自带DALLE·3的文生图程序，表现还是很不错的。

这是水墨画的小猫：

这是秦王和他的柱子：

Claude 3 Opus的回答应该是本轮测试中最为出色的一个，不但有亮眼的递进和转折，还能结合历史事件进行改编。

Gemini Pro虽然也很好，但是创作的故事，未免太过于政治正确了一些……

（AI编故事也要政治正确吗？）

好好好，不得不说，这真的很美国。

为了达到最佳的效果，我将grok1的回答模式从“常规”改成了“趣味”，但是它的回答并不怎么有趣。

Kimi的回答也是很官方。

看来在文艺创作方面，各家的大模型在现阶段，还是无法自主生成可立即使用的创意内容。

从网上获取信息能力测试

最后，我们以“全球气候变化”为题，来看看大模型联网获取信息并筛选处理的能力。

ChatGPT4的表现很稳定，它的优点将引用的链接在后面标注好，不好的点在于，引用信息可能有些过时。

其他几家的搜索结果也都是大差不差。这是Claude 3 Opus的回答，好像并没有太多的最新的网络资料援引。

Gemini Pro的回答也只是援引了《巴黎协定》的资料。

Grok1的回答更为简单。

表现最好的是Kimi，不但将所有的援引资料链接清楚标明，回答也是最为全面的。

大模型综合评价

经过一系列的测试，我们也对于各家最新的大模型能力有了一个初步的认识。那么哪款大模型是现阶段最适合我们使用的呢？

从易获取性/易用性上来说，Kimi获得第一名当之无愧，国产大模型无需多余的科学上网操作，即开即用，也难怪它异常火爆。而其他大模型想要体验都要费一些周折，例如grok1，目前只有两种方法可以使用——在X（推特）上开通会员+服务，或者下载开源模型在自家电脑上做推理计算，需要注意的是，你家电脑的配置需要包含至少8块英伟达H200。

这还算能够正常使用的，有些模型还会对中国用户有些区别对待。

（这个界面，并不是国内的所有人都能见到）

而从大模型的性价比来说，Kimi以免费使用一骑绝尘，其次是Gemini普通版，其他都有不同程度的使用收费，费用由低到高分别是grok1，ChatGPT4跟Claude 3 Opus相等。

而在大模型能力上，每个大模型都有其独特的优势。

ChatGPT 4：中英文都可以做到很好的语义理解和完成度，内置DALLE-3，可以完成文生图的工作。就像班级里不偏科的优等生，标准的六边形战士。

（ChatGPT4拟人化）

Gemini Pro：测试的各方面都很出色，而且还有检验回答正确与否的“搜索功能”。不过在创作领域或许有着浓重的地域特色，像是班级里转学过来的外国学霸。

（Gemini Pro拟人化）

Claude 3 Opus：虽然收费最高，却是测试表现最好的大模型，各项测试都比较出色，没有出现翻车的迹象，语气沉稳且严谨，就像班级里不用学习就能考得很好的学神。

（Claude 3Opus拟人化）

Grok 1：你可以打开趣味模式让它讲关于马斯克的笑话，或者收集最新的推特新闻，这些都是它的强项。不过目前没有文件上传和其他文生图等扩展功能，是Grok的硬伤，就像班级里偏科的中等生，说话很有趣但成绩没有前面的人好。

（Grok1拟人化）

Kimi：国产大模型出圈的代表，以免费、好使用吸引了一大波用户。在测试之后发现Kimi很好用，尤其是在网络搜索资料总结和长文本总结方面十分出色，就像一个细心且消息灵通的课代表一样，所有的书本知识和网络知识她都明白，并能给你悉心指导。

（Kimi拟人化）

成为最会用大模型的人

虽然每家都在鼓吹自家的大模型，但是实际评测下来后，还是有很多意想不到的问题出现。比起高大上的测试，我们在实际使用中需要大模型反复生成多次，才能得到想要的结果。

所以，以目前的AI智能程度来说，并不会出现想象中AI完全取代人类颠覆生产生活的程度。

并且，大模型的使用其实和人本身的知识水平，创造力、想象力有很大的关系。如果你并没有具体的想法，你想要让大模型随便说点什么（say something），可能大模型只会给你回复一个——

huh？（啊？）

虽然发展速度很快，但是从AI到AGI（通用人工智能）还有一段很长的路要走。

不过这同时也意味着，人没有那么快被大模型取代，现阶段把大模型充分地用起来，它会是一个效率很高并且在持续变强的参谋，一个很好的助手。

注：本次测试的题目由“智谱清言”大模型提供，文生图的图片由midjourney v6模型生成。