当前位置:25分类目录 » 站长资讯 » 资讯文章 » 站长新闻 » 文章详细 订阅RssFeed

插件:门槛最低的AI另类原生应用(各种插件)

来源:网络 浏览:40次 时间:2023-10-31

10月17日,在“2023百度世界大会”上,李彦宏正式发布了最新的文心大模型4.0版本。

一时间,各种测评纷涌而至,各大科技媒体从理解、生成、逻辑和记忆能力等方面,对模型进行了全方位测评。

然而,除了被人反复谈论的文心4.0之外,在发布会上,另一个稍显低调的功能,却也冷不丁地显示了未来大模型的发展趋势。

这就是百度文心4.0的插件功能。

目前,文心4.0光是插件就有8个,包括一镜流影(文字转视频)、说图解画(看图说话)、E言易图(可视化数据分析)等。

图片

这些插件还可以自由组合,来完成更复杂的任务。

不仅如此,百度文心大模型插件开发平台——灵境矩阵平台,上线1个月已有2.7万家开发者申请入驻,个人开发者占比超30%。

那么,百度为何如此重视插件?而插件生态的繁荣,对大模型又意味着什么?

1

插件,让大模型如虎添翼

从某种程度上说,插件对于大模型,相当于是另一大隐藏的“杀手锏。”

在不对模型算法、参数进行改进的情况下,仅仅凭借一个简单的外接插件,模型能力就有可能得到显著扩展和提升。

此前,GPT-4就已经通过插件功能实现了如虎添翼的效果。外界甚至将那次提升称之为GPT-4.5的到来。

图片

今年7月9号,OpenAI宣布将官方插件Code Interpreter(代码解释器)通过设置中的Beta面板向所有ChatGPT Plus 用户提供。

那Code Interpreter具体能做什么?

简单来说,它相当于是GPT-4能力边界的一次大扩展,能让GPT-4做到很多之前做不到的事。

例如,在该插件推出后,推特用户@歸藏展示了用代码解析器分析newsletter订阅用户数据的过程。

代码解析器从分析数据到制图,都不需要使用任何复杂软件,只需要说出:“我想分析最近一个月订阅用户增长的趋势”这类直白的prompt,就可以完成。

图片

除外,人们还能直接用“人话”让GPT通过数据制作一些可视化的GIF图片。

例如人们如果想制作一份美国灯塔的地理图标,只需要上传地理位置数据,GPT就能通过插件功能,自动制作如下的GIF动图。

图片

而即使是想通过图片生成视频,CodeInterpreter也能手到拈来。在启用插件后,只需告诉GPT:“我想用这张图片,制作一段从右往左的平移视频。”

GPT就会根据你的要求,自动将Midjourney生成的图片做成视频。

图片

网友ChaseLean用ChatGPT生成的汉堡视频

甚至,不怎么有代码和编程经验的人,也能运用CodeInterpreter插件,在5分钟内制作一个简单的游戏。

图片

只需几段提示词,一个简单的小游戏就完成了

总地来说,CodeInterpreter包括的功能,涵盖了打破模态壁垒,转换素材形态,进行数据分析等多种不同的任务。

而该插件之所以有如此“逆天”的功能,则是因为其打破了自然语言和代码语言之间的壁垒。

有了它,用户就能刨去复杂的代码过程,通过自然语言交互(所谓“人话”),直接完成各种跨领域、跨模态的任务。

也正因如此,有人惊呼这种让模型能力倍增的插件,就是GPT-4.5的到来。

图片

由此,我们便不难理解,为何百度会如此重视插件的发展。

对于大模型研发团队来说,让一个模型囊括用户的所有需求是不可能,也不现实的。因为在AI演化的过程中,用户必定会产生更多新的,难以预料的想法、需求。

而这时,一个个多样化的、灵巧的插件,就成了延申大模型能力的“义体”。

2

插件的百花齐放

除了OpenAI自带的原生插件之外,当下的AI赛道上,还涌现出了其他百花齐放的插件。

此处,我们将做一些简单的列举,看看这些功能各异的插件,将对大模型带来哪些多样化的扩展。

ChatPDF

ChatPDF是一款功能强大的在线PDF工具,用户只需上传PDF文件到ChatPDF,ChatPDF便能够快速使用AI解析PDF文件内容,并生成准确的答案来回答用户的问题。

除了智能问答功能,ChatPDF还提供了在线编辑、转换和文件压缩功能。如果用户想在PDF文件中添加或删除一些元素,或者更改某些文本或图像,ChatPDF 的在线编辑功能将会非常有用。

图片

Monica

一个接入了ChatGPT的API接口的网页侧边栏插件,启动该插件后,在浏览任何网站时,Monica就能使用ChatGPT的能力,解读任何信息或文本,或对网页内容进行探讨,以及提供翻译等。

值得一提的是,除了ChatGPT之外,Monica还集合了Claued、Bard等其他AI的接口,如果这还不够,用户还可以在其接入的AI库中,自行搜索并添加其他AI工具,从而可以通过不同的AI满足自己多样化的需求。

图片

ChatHub

这是一个可以在一个应用程序中使用不同的聊天机器人的插件,目前支持ChatGPT和新的BingChat,并将来会集成Google Bard等更多聊天机器人。用户可以同时与多个聊天机器人进行交流,轻松比较它们的答案。

图片

NoteGPT

这是一个使用ChatGPT对视频进行总结的插件。支持在视频网站上一键截屏和记录笔记。

启动该插件后,面对某些时长较长的视频时,用户就可以快速地用ChatGPT获取视频内容的关键信息,并生成摘要和总结,同时还可以在观看视频时一键截屏或记录带有时间戳的笔记。

图片

智星AI助手

这是国内首款支持插件的AI认知模型产品,智星AI当前已接入7个插件,包括天气查询、Bing搜索、Wolfram等,可以快速提供实时天气信息,解答高等数学问题,进行深度金融分析等。

相较而言,ChatGPT每次只能使用3个插件,而智星AI使用时没有插件数量限制。

图片

WPSAI

相当于是国内版的Microsoft365Copilot,具备缩写、扩写、续写、转变写作风格、总结概括文章要点,快速生成PPT大纲、一键制作PPT模板,智能化处理Excel表格等功能,并拥有语音交互新特性,可以在手机等小屏终端上进行移动办公。

图片

3

插件里的雄心

除了上述种类各异的第三方插件功能外,各大科技巨头在插件方向上,也呈现出了一种蓄势待发的态势。

例如,MicrosoftAI 插件平台,就提供了一系列的工具和服务,让开发者可以利用微软的的ChatGPT和新必应,创建和部署各种AI插件,包括能力模型类、数据类、应用类等。其插件跨越了多个场景和产品,如Dynamics365、Microsoft365等。

而在国内方面,百度也推出了号称让人人可开发AI插件的「灵境矩阵」平台,试图以文心一言为基础,构建一个庞大的插件生态。

而这种大布局的背后,至少显露了巨头们在两方面的意图:

1、以插件为突破口,打通大规模商业化的路径;

2、以庞大的插件生态,构筑类似英伟达的CUDA那样的软件壁垒。

图片

关于第一点,为何大模型+插件模式,极有可能是AI大规模商业化的答案?

理由其实很简单,此前的大模型,无论是AI生文、作图,其赋能领域都只能局限在单一的、狭窄的范围内。

某个大模型也许写作水平不错,但它在现实中,该如何解决商品对比、财务分析这样多门类的、具体的任务呢?

人们在生活中的需求是多样化、多层次的,从这个角度上说,当大模型打破了单一模态的限制,并满足了这种多样化需求的时候,就是其真正大规模商业化落地的开始。

图片

而一个个外接的插件功能,就相当于是大模型的?“眼”和“手”,让其不再局限于单一领域、模态的范围。

在未来,用户可能只需要一个大模型入口,就能完成诸如订票、点餐、叫外卖等任务。

而这也引出了第二点,即以插件为主的生态壁垒。

在当下的大模型赛道上,尽管国内外衍生的AI应用已不胜枚举,当其中有相当一部分,仍然是基于ChatGPT的“套壳”产品。

这样的现实,也从一个侧面反映出:在大模型的选择上,大部分开发者和用户,仍然只认最强的几个头部产品。

图片

著名投资机构A16Z上月公布的流量前50的AI网站,其中相当一部分是“套壳”应用

换句话说,对于大模型,用户只要遇到了一个最好用的,就不太会再用其他的。

在这样的逻辑之下,众多企业若是不想陷入重复造轮子的境地,最好的选择必然是将重心转向应用端。

而历史的经验表明,在软件、应用端的竞争上,谁能为开发者提供一个低门槛的,友好的开发环境,谁就能率先建立起自身的生态壁垒。

在这方面,英伟达的CUDA可以说是做了一个极好的表率。

图片

经过持续的演进,CUDA已然形成了一个丰富而成熟的庞大生态。英伟达也由此实现了软硬件深度捆绑:用他的软件就必须买他的硬件,买他的硬件使用CUDA可事半功倍。

而目前各大巨头们在插件上的争相布局,也颇与英伟达的CUDA有异曲同工之妙:开发者或用户若想实现低门槛、快捷的AI应用开发,就必须基于其大模型的能力。

反过来,应用生态的繁荣,又会强化人们对其大模型的仰赖。

而谁若率先实现了这样与应用相互促进,相辅相成的生态,谁就将有可能在AI时代率先竖立起自身的生态的壁垒。