◎具备视觉交互是未来大模型极其重要的发展方向之一,对于国内大模型而言,这方面的探索同样必要,这一功能的缺失将意味着在技术上落后于国际同行,甚至可能面临技术依赖的风险。
◎据介绍,清言视频通话跨越了文本模态、音频模态和视频模态,并具备实时推理的能力,用户拨打清言的视频通话窗口,即可与它进行通话,即便频繁打断它也能反应。
和大模型打视频电线日,《每日经济新闻》记者获悉,智谱清言App将上线视频通话功能,智谱方面介绍,清言App的视频通话功能,具有跨文本、音频和视频进行实时推理的能力,AI可以进行流畅的通话,人可以实时打断AI;此外,通过手机或AIPC的摄像头与人互动,可通过视频流理解对话当前的环境(包括人物状态/背景环境)。
今年5月,OpenAI发布多模态大模型GPT-4o,曾凭借自然流畅的实时音视频交互引发关注。
清华大学新闻学院和人工智能学院双聘教授沈阳在接受《每日经济新闻》记者微信采访时表示,具备视觉交互是未来大模型极其重要的发展方向之一,对于国内大模型而言,这方面的探索同样必要。他认为,视觉获取的信息占据了人类获取总信息量的80%以上,因此,当大模型具备了视觉交互能力后,它便拥有了向具身智能和人形机器人结合的重要技术基础。
智谱清言App上线日,智谱方面宣布,清言App将于30日上线“视频通话”功能,这也是国内首个面向C端开放的视频通话。演示显示,用户可以通过视频实时交互,例如将摄像头对准一套试卷并圈出其中一题请其解答,清言就能实时识别,并给出相应解答。
行行AI董事长、工业和信息化部工业文化发展中心AI应用工作组执行组长李明顺在接受《每日经济新闻》记者微信采访时表示,拥有实时视频对话和视觉交互能力的大模型确实是未来人工智能发展的重要方向之一。
李明顺表示,这个方向有大量AI的应用场景,例如:在更实时互动的娱乐游戏、更真切数字人体验的营销服务、形象逼真的远程教育、金融等高端行业的虚拟顾问、更有情绪价值的医疗咨询等领域,都有大量的提升效率和服务体验的价值。
沈阳则认为,具备视觉交互是未来大模型极其重要的发展方向之一,对于国内大模型而言,这方面的探索同样必要,这一功能的缺失将意味着在技术上落后于国际同行,甚至可能面临技术依赖的风险。
沈阳表示,视觉获取的信息占据了人类获取总信息量的80%以上,因此,当大模型具备了视觉交互能力后,它便拥有了向具身智能和人形机器人结合的重要技术基础。具备视觉交互能力的大模型能够实时与环境互动,并能实时感知世界的变化,是大模型在全面模拟人类能力的重要一步,基于此,大模型才真正超越了虚拟化,能够与世界进行实际的互动,当大模型具备了与现实世界交互的能力后,就将能够借助硬件,如人形机器人等,在人类指令下进行一定程度的真实世界探索。
《每日经济新闻》记者从智谱方面了解到,清言App视频通线日上线,首批面向清言部分用户开放,同时开放外部申请。智谱方面称,将会持续迭代并逐步放开规模,尽快让全员都可以使用。
智谱方面介绍,清言App的视频通话功能,具有跨文本、音频和视频进行实时推理的能力,可实现更自然的人机交互;AI可以进行流畅的通话,人可以实时打断AI;此外,通过手机或AIPC的摄像头与人互动,可通过视频流理解对话当前的环境(包括人物状态/背景环境)。
智谱方面表示,清言作为第一批C端上线的大模型产品,过去的一年,常常以文字和语音的形式和大家交流。但未来,清言将拥有了眼睛。这个“长着眼睛”的AI精灵可以见你所见、答你所问。
据介绍,清言视频通话跨越了文本模态、音频模态和视频模态,并具备实时推理的能力,用户拨打清言的视频通话窗口,即可与它进行通话,即便频繁打断它也能反应。只要打开摄像头,用户看到的画面,清言也可以看到,同时可以听懂指令并准确执行。
除了视频通话功能上线,在KDD国际数据挖掘与知识发现大会上,智谱GLM团队介绍了新一代基座大模型GLM-4-Plus。GLM-4-Plus是智谱全自研GLM大模型的最新版本,它标志着智谱继续瞄准通用人工智能,持续推进大模型技术的独立自主创新。
据悉,GLM-4-Plus在语言理解必一体育官网在线、指令遵循、长文本处理等方面性能得到全面提升。目前,GLM-4-Plus现已在智谱大模型开放平台部署,企业和开发者即日起可以通过智谱开放平台上的API调用智谱最新的基座大模型。
此外,智谱文生图模型迭代至最新版本CogView-3-Plus。智谱方面表示,该模型效果已接近目前文生图领域效果最佳的MJ-V6及FLUX等模型,并支持图片编辑功能。
继CogVideoX-2B版本开源后,智谱方面表示,CogVideoX-5B版本也于近日正式开源,同时CogVideoX-2B的开源协议调整为更加开放的Apache 2.0协议,任何企业与个人均可自由使用。开源成果方面,智谱开源模型累计下载量突破2000万次。
此外,智谱方面还宣布,随着技术进步、效率提升和成本优化,智谱大模型开放平台上的大模型GLM-4-Flash现已完全免费,用户可以通过调用GLM-4-Flash快速、免费地构建专属模型和应用,这也是智谱开放平台首个完全免费的大模型API。
腾讯发布元宝App后股价反响平淡 打通社交内容生态能成为下一个爆点吗?
智谱AI入局AI生成视频 张鹏:积极在模型层面探索更高效的scaling方式
中报盘点·房企 上市房企业绩持续低迷:上半年仅三成营收增长、两成净利上升 去库存和保交楼仍是未来重点
一天之内强度三连跳!“摩羯”已成为超强台风!海南关停所有旅游景区,广东启动防风Ⅰ级应急响应,多地停工停课
A股上市银行半年报透视:整体净利润增速放缓,41家机构净息差下探、仅3家银行保持在2%以上⋯⋯