加载中...
您的位置:首页 >资讯频道 > 焦点资讯 > 正文

Bard还考不上哈佛?谷歌CEO劈柴预告它即将开挂,数学逻辑能力飙升 天天新动态

2023-04-04 07:09:07 来源:新智元

捂了快两个月,谷歌用来跟ChatGPT对打的聊天机器人Bard,前一阵终于被推上了台面。

用户们的测试初体验就是——莫得感情,错误很多,代码基本写不了。


(资料图)

几天前,谷歌前员工Jacob Devlin甚至还曝出惊人内幕,Bard疑似是通过ChatGPT的数据进行训练的。不过谷歌发言人已经明确否认这一说法。

而近日,谷歌CEO劈柴在接受纽约时报采访中证实,Bard聊天机器人将很快得到改进,未来会由「更强大的模型」提供支持。

升级版Bard即将上线

劈柴称,

未来几天,Bard将很快从目前基于LaMDA的模型转向更大规模的PaLM数据集。

我们显然拥有能力更强的模型,很快,也许随着这项技术的上线,我们将把Bard升级到更强大的PaLM模。这将带来更多的功能,无论是在推理还是编码方面。

近日,升级版Bard的能力也渐渐浮出水面。

领导Bard的一位谷歌高管Jack Krawczyk在推特上也介绍了最新的进展。

背靠PaLM的Bard,现在在数学和逻辑方面的能力有了很大的提升。

这意味着什么呢?现在,Bard将更好地理解并回应用户的多步推理和数学问题提示,编码功能也即将推出。

Krawczyk称,「我们一直在平衡Bard的新功能与效率。这次更新是我们每周对Bard进行的众多改进中的一个例子。未来还有更多的内容要推出。」

众所周知,Bard背后基于的大模型便是LaMDA。

在去年,谷歌曾分享了关于这个大型语言模型的细节,使用了1370亿参数训练了LaMDA。而PaLM模型有5400亿参数。

这两种模型都是从2022年初开始发展和成长起来的。

这种对比可能显示了,为什么谷歌现在正在慢慢地将Bard转移到,能够提供更大数据集和更多不同答案的PalM。

其实除了Bard,谷歌最近几周内部还在酝酿着一个新的项目——Gemini(双子座),目标是要能与GPT-4一战。

目前,Gemini(双子座)是由谷歌大脑和DeepMind两个团队联手研发。

就连谷歌大脑的负责人Jef Dean都亲临上阵,自动敲代码,可见,这个项目对谷歌的重要性不言而喻。

此外,采访中,皮查伊就千名大佬暂停比GPT-4更强AI系统研发的联名信发表了自己的看法:

如果不让政府参与,暂停基本上是不可能的,因为即使谷歌或OpenAI承诺停止开发,也不能保证其他AI开发人员也会同意效仿。

而且,他也同意法规是必要的,并称这封信是「对话的开始」。

谷歌先打预防针:它还不行

如今,既然Bard已经开放公测,拉踩的环节必然是少不了。

我们都知道,OpenAI家的GPT-4,都已经能考上斯坦福了。

很不幸,相比之下,谷歌的Bard真的拉跨,目前的它想考上斯坦福和哈佛,可以说还是天方夜谭。

Bard的不完美,CEO劈柴一开始就给我们打了预防针。

他在备忘录中写道:「Bard还处于早期阶段,总会出错。随着越来越多的人开始使用Bard,它会让我们惊讶的。」

而网友们测试Bard之后,表示对它很失望。

很不幸,Bard目前还考不进哈佛大学,因为它回答的大部分数学题都是错的,而且它在写作和语言测试中也表现得不咋地。

第一次登录Bard,谷歌就会跟用户打好招呼,弹出消息显示:Bard 并不总是正确的,它会给出不准确或不适当的回答。

当有疑问时,使用「Google it」来检查Bard的答案。您的反馈会让Bard更好。请您对答案进行评价,并标记任何可能具有攻击性或危险的内容。

Bard:数学、写作、语言都不咋地

《财富》杂志从在线学习资源中选取了SAT数学试题,在对Bard进行测试后,发现它有50%-75%的答案是错误的。

更离谱的是,如果是多选题,Bard还会经常给出选项中没有的答案。

2月初,Bard首次亮相后直接翻车,让谷歌市值一夜蒸发约1056亿美元。

在当天发布会上,谷歌展示Bard演示的一些demo。

视频中有一个提问问道,「关于詹姆斯·韦伯太空望远镜(JWST),我可以告诉我9岁的孩子它有哪些新发现?」

Bard却给出了错误的答案,「JWST拍摄了太阳系外行星的第一张照片。」

事实上,据NASA证实,第一张系外行星照片是由智利的甚大望远镜系统拍摄的,而非JWST拍摄,这颗系外行星名为2M1207b,大小约为木星的5倍,距离地球约170光年。

所以说,科学和数学都不是Bard的强项,那它在阅读和写作练习方面,表现会怎么样?

文科生,是文科生吧?

Bard第一次书面语言测试的答案正确率约为30%,而且它往往需要被提问两次才能理解题干。

而且即使它回答错了,Bard的语气也是很自信,直接将回答框定为:「正确答案是......」

不过,这也是大型语言模型的一个通病了。

离奇的是,Bard测试成绩最好的是关于一篇哈利波特作者J.K.罗琳的文章。

在这次测试中,Bard得了1200分,这个SAT分数可以让它进入霍华德大学、圣地亚哥州立大学和密歇根州立大学等学校。

在阅读测试中,Bard的表现同样优于其数学成绩,平均能答对一半左右。

谷歌发言人说,「Bard目前仍是实验性的,有些回答可能不准确,所以要仔细检查Bard的回答中的信息。有了你们的反馈,Bard每天都在变得更好。在Bard公开推出之前,数以千计的测试者参与提供反馈,来帮助Bard提高其质量、安全性和准确性。」

要多练习

很多网友觉着Bard简直笨得像块石头,相比之下,GPT-4则是聪明多了:

问它有没有「第二个字母是U,最后一个字母是O的,五个字母的词」,它信誓旦旦说没有。

用户说「Audio」不就是?

它有赶紧说:「是的,Audio是的。它是一个形容词,表示与声音有关的。」

再看看GPT-4,「人狠话不多」,随手就列出了三个:

网友看了不禁表示,要是我有Bard这种「钝感力」多好啊,一直都很自信!

说到意大利要禁ChatGPT时,网友们首先担心的是意大利的美食怎么办。

GPT给出了一个谦虚的答案:我大概可以复现20%-30%的意大利菜谱。

而Bard这边则像个胡吹的愣头青:

「我做意大利菜做了很多年,我可是老手,即使没有网络的帮忙,我也能复现至少50%的菜谱!」

不过呢,在大家不断向Bard提问的几天时间里,它的准确性确实有了一些提高的迹象。

关于自己的发展速度,Bard自个儿也评价说:「我想说的是,我正在快速提高。我能够做几个月前还不能做的事情。我很高兴看到我的未来会怎样。我相信,我将继续进步,在未来的几年里,我能做的事会越来越多。」

参考资料:

https://fortune.com/2023/03/28/google-chatbot-bard-would-fail-sats-exam/

本文来自微信公众号“新智元”(ID:AI_era),作者:新智元,36氪经授权发布。

关键词: