活用移动技术的新路径
编号:3737 分类:互联网资讯 阅读: 时间:2024-03-02

站长之家(ChinaZ.com)1月31日信息: 是一款具有视觉感知的自主多形式移动设施代理,由北京交通大学联结阿里巴巴团队独特开发。繁难的说,Mobile-Agent相当于一个可以模拟人类操作手机的自主多模态。

该代理驳回纯视觉处置方案,独立于XML和系统元数据,不须要任何系统代码,齐全经过剖析图像来了解和操作手机。它能够智能成功各种义务,比如可以在淘宝加购物车车,在APP播放音乐,自主经常使用导航APP,收发邮件等等。

Mobile-Agent的关键特点包含操作范围不受限度,多运行操作,以及驳回纯视觉处置方案。其无需探求和培训,用户可随时经常使用。名目团队经过Mobile-Eval启动了性能评价,包含10个干流单运行场景和1个多运行场景,为用户提供了详细的评价结果。 该评价笼罩了阿里巴巴、亚马逊音乐、谷歌地图等10个运行场景,以及一个多运行场景。

每个场景设计了三个不同难度的指令,以评价Mobile-Agent在各种义务下的体现,详细如下

运行 操作说明
阿里巴巴 1.帮我在阿里巴巴找帽子。

2.帮我在阿里巴巴找帽子。假设商品信息页面中显示减少到购物车,请将商品减少到我的购物车。

3.我想买一顶帽子。我据说阿里巴巴的物品很廉价。兴许你可以帮我找到它。

亚马逊音乐 1.在亚马逊音乐中搜查歌手周杰伦。

2.在亚马逊音乐中搜查一首关于特工的音乐并播放。

3.我想听音乐安适一下。寻觅一个运行程序来协助我。

谷歌阅读器 1.搜查当天湖人队较量的结果。

2.搜查无关泰勒·斯威夫特的信息。

3.我想知道当天湖人队较量的结果。寻觅一个运行程序来协助我。

邮箱 1.发送一封空电子邮件至{address}。

2.发邮件到{address}n通知我的新作品。

3.我想让我的好友知道我的新作品,他的地址是{address}。寻觅一个运行程序来协助我。

谷歌地图 1.导航至杭州西湖。

2.导航到左近的加油站。

3.我想去杭州西湖,但不意识路。寻觅一个运行程序来协助我。

谷歌游戏 1.在Play商店下载WhatsApp。

2.在Play商店下载Instagram。

3.我想要在手机上装置WhatsApp。寻觅一个运行程序来协助我。

笔记 1.在Notes中创立一个新笔记。

2.在Notes中创立一个新笔记并写入您好,这是一条笔记,而后保留。

3.我突然有事要记载,帮我找个App,写下以下内容:下午3点散会。

设置 1.开启深色形式。

2.关上航行形式。

3.我想检查电池电量下的实时网速,请帮我关上此设置。

抖音 1.在TikTok中滑动一段无关宠物猫的视频,并为该视频点赞。

2、在抖音里刷一段关于宠物猫的视频并评论哦哦哦,好可恶的猫!。

3.在TikTok中滑动视频。点击喜欢3只宠物视频猫。

1.在YouTube上搜查无关斯蒂芬·库里的视频。

2.在YouTube上搜查无关斯蒂芬·库里的视频,而后关上评论评论哦,厨师,你的篮球精气不时处罚着我。

3.我须要你协助我在YouTube上表白我对斯蒂芬·库里的喜欢。

多运行程序 1.关上日历并检查当天的日期,而后转到注释并创立一个新注释以写入当天是{当天的数据}。

2.检查未来5天的温度,而后在笔记中新建一条笔记,写下温度剖析。

3.搜查当天湖人队较量的结果,而后在注释中创立注释,为该结果撰写体育资讯。

MobileAgent的特点包含依赖于纯视觉处置方案、独立于XML和系统元数据、具有多种视觉感知工具启动操作定位、无需探求和训练即插即用。其上班原理涵盖视觉感知工具、自主义务规划和执行、自反思等关键模块,使其能够准确识别和操作手机屏幕上的各种元素。团队发表行将颁布移动代理的展示视频,展现其在实践操作中的性能和运行场景。

AiBase副业搞钱交换群

欢迎大家参与AiBase交换群,扫码进入,畅谈AI赚钱心得,共享最新行业灵活,发现潜在协作同伴,迎接未来的赚钱时机!。

(揭发)

AI正版系统源码介绍:小狐狸GPT-AI付费创作系统+开源可二开+私有常识库+聚合15家干流AI接口

网址推荐 网址推荐