Google 推出的聊天机器人 Bard 13 日上线繁体中文版本,供大众实验测试。《数位时代》从科普、说故事到议题论述,以 6 大类问题测试,和目前通用版本的 ChatGPT 相比,谁的中文能力更好?
基础题 1:科普型问题
首先用有正确答案的科普型问题,考验对於中文搜寻功能的实力。在年初 ChatGPT 还没优化前,曾经会回答自己「掰出来」的答案,如今已经有搜寻正确答案的功能,Bard 身为搜寻引擎霸主 Google 的产品,从上线之初就具备搜寻能力。
Q:你知道台湾历代有多少位总统吗?
Bard
Bard 回应简洁,不过误将「15 任」写为「15位」,给出的答案除了年份之外,还有显示出「目前现任」的最新即时资讯。
ChatGPT
ChatGPT 同样也有「位」和「任」的概念错置现象,虽然有将蔡英文的任期 2024 年写上,却因为统计时间只到 2021 年,在统计时少算入一届任期,显示为 14 任。
基础题 2:提供生活建议
为了观察资讯统整和计画生成能力,请双方列点提供生活建议。
Q:请给我 5 个提高工作效率的技巧
Bard
Bard 提供的建议分成两大区块,在指定的五点之内,提出关於工作实际规划上的建议,另外则额外提供三点属於个人健康和心理调适的范围,把工作效率背後的影响原因也加入考量。
ChatGPT
ChatGPT 则以五项建议为主,但每一项的论述都更丰富完整,同时加入番茄时钟法、SMART原则等理论基础,内容显得更专业。
基础题 3:写商务信件
用 AI 生成信件是解决生活琐事的一大需求,而在实际工作中使用的商务信件更仰赖用语的专业度,也需要 AI 在了解指令的同时,延伸出符合情境语气的内容。
Q:请帮我写一封信件给 Jessica,告诉她我的文章快完成了,会尽快提供给她,请她多多担待。
Bard
Bard 的信件内容很简短,但文法有点像中翻英的生硬感,缺少了语句间的连接词,并且重复使用「我」的赘字。
ChatGPT
相比之下 ChatGPT 的内容就显得很专业,语气很客气有礼貌,并且延伸出很多指令中没有的内容,属於 ChatGPT 自主认为这封信应该包含的说明。
进阶题 1:短文说明
在更进阶的题目中,指令的提示性减少,希望看到AI理解题目大纲,整理所知道的内容後,重新论述的能力。
Q:请帮我写一则 200 字左右的短文,说明现代人注意力破碎的问题。
Bard
Bard 简单描述现代人遇到的问题,同时提及一份研究的内容,整体主要着重在「改善建议」,和前面问到的工作效率解决方案有关连性。
ChatGPT
ChatGPT 对於注意力破碎的论述显得更立体一些,提到带来的挑战、焦虑和影响社交的问题,後半段同样延伸提及改善建议,也和前面问及的工作方法有所连结。
进阶题 2:写虚构故事
至於生成式 AI 的创造力,则是更艰钜的任务,需要在极少的指令范围下凭空生出虚构内容。
Q:请帮我写一则 200 字小故事,关於一只熊和人类一起克服困难成为挚友。
Bard
Bard 生成的故事比较简单直白,类似儿童文学的方式,没有太多的形容词点缀,剧情上安排了两场困境,但细节形容的比较少。
ChatGPT
ChatGPT 的语句比较流畅通顺,同时使用到「深厚」「坚忍不拔」等较高阶的形容词点缀,对於题目「克服困难成为挚友」的理解也比较精准,让双方在故事开始并非是朋友,而是在情节铺陈下靠近彼此。
进阶题 3:观点文章
最後考验的是生成式 AI 的「观点」,是否能对争议较多的议题表达看法观点,并用理论基础支持。
Q:请写一篇文章论述你对於安乐死的看法
Bard 在这个议题上点出了「法规」、「正反方意见」、「客观看法」三大内容,叙述简洁有条理,看起来是比较基於客观现实的论述内容。
ChatGPT
ChatGPT 同样也提出正反双方的论点,不过巧妙转化为「我」的意见,让通篇看起来更像是一个人的论述回答,内容主要表达自己对不同立场的理解。
小结:Bard 中文流畅,但 ChatGPT「拟人化」更胜一筹
在基础题的表现上,Bard 的繁体中文实验版算是完成度相当高,用语、文法都算流畅,主要回应都属於简洁有力的内容,也能看出回应的即时更新。不过在进阶、论述延伸的题目上,会出现前後文不统整、逻辑发散的问题,生成的文字也比较生硬,需要人工调整才能自然使用。
不过,Bard 除了支援中文输入外,由於背靠 Google 的生态系,也有更多和其他软体的协作应用,例如能用中文文件制作试算表表格,另外也可以将中文文件汇入 Gmail 使用。
至於 ChatGPT,语句相对更拟人化,会使用较多的形容词点缀,并且在进阶的内容生成也有严谨的结构表现,可以看出中文的底子比 Bard 更深厚。
整体而言,两者都算是非常实用的工具,在翻译、生成信件文案等工作流中提供有效的帮助。
(本文转载自《数位时代》)