站长之家(ChinaZ.com)1月31日信息: 是一款具有视觉感知的自主多形式移动设施代理,由北京交通大学联结阿里巴巴团队独特开发。繁难的说,Mobile-Agent相当于一个可以模拟人类操作手机的自主多模态。
该代理驳回纯视觉处置方案,独立于XML和系统元数据,不须要任何系统代码,齐全经过剖析图像来了解和操作手机。它能够智能成功各种义务,比如可以在淘宝加购物车车,在APP播放音乐,自主经常使用导航APP,收发邮件等等。
Mobile-Agent的关键特点包含操作范围不受限度,多运行操作,以及驳回纯视觉处置方案。其无需探求和培训,用户可随时经常使用。名目团队经过Mobile-Eval启动了性能评价,包含10个干流单运行场景和1个多运行场景,为用户提供了详细的评价结果。 该评价笼罩了阿里巴巴、亚马逊音乐、谷歌地图等10个运行场景,以及一个多运行场景。
每个场景设计了三个不同难度的指令,以评价Mobile-Agent在各种义务下的体现,详细如下
运行 | 操作说明 |
---|---|
阿里巴巴 |
1.帮我在阿里巴巴找帽子。
2.帮我在阿里巴巴找帽子。假设商品信息页面中显示减少到购物车,请将商品减少到我的购物车。 3.我想买一顶帽子。我据说阿里巴巴的物品很廉价。兴许你可以帮我找到它。 |
亚马逊音乐 |
1.在亚马逊音乐中搜查歌手周杰伦。
2.在亚马逊音乐中搜查一首关于特工的音乐并播放。 3.我想听音乐安适一下。寻觅一个运行程序来协助我。 |
谷歌阅读器 |
1.搜查当天湖人队较量的结果。
2.搜查无关泰勒·斯威夫特的信息。 3.我想知道当天湖人队较量的结果。寻觅一个运行程序来协助我。 |
邮箱 |
1.发送一封空电子邮件至{address}。
2.发邮件到{address}n通知我的新作品。 3.我想让我的好友知道我的新作品,他的地址是{address}。寻觅一个运行程序来协助我。 |
谷歌地图 |
1.导航至杭州西湖。
2.导航到左近的加油站。 3.我想去杭州西湖,但不意识路。寻觅一个运行程序来协助我。 |
谷歌游戏 |
1.在Play商店下载WhatsApp。
2.在Play商店下载Instagram。 3.我想要在手机上装置WhatsApp。寻觅一个运行程序来协助我。 |
笔记 |
1.在Notes中创立一个新笔记。
2.在Notes中创立一个新笔记并写入您好,这是一条笔记,而后保留。 3.我突然有事要记载,帮我找个App,写下以下内容:下午3点散会。 |
设置 |
1.开启深色形式。
2.关上航行形式。 3.我想检查电池电量下的实时网速,请帮我关上此设置。 |
抖音 |
1.在TikTok中滑动一段无关宠物猫的视频,并为该视频点赞。
2、在抖音里刷一段关于宠物猫的视频并评论哦哦哦,好可恶的猫!。 3.在TikTok中滑动视频。点击喜欢3只宠物视频猫。 |
1.在YouTube上搜查无关斯蒂芬·库里的视频。
2.在YouTube上搜查无关斯蒂芬·库里的视频,而后关上评论评论哦,厨师,你的篮球精气不时处罚着我。 3.我须要你协助我在YouTube上表白我对斯蒂芬·库里的喜欢。 |
|
多运行程序 |
1.关上日历并检查当天的日期,而后转到注释并创立一个新注释以写入当天是{当天的数据}。
2.检查未来5天的温度,而后在笔记中新建一条笔记,写下温度剖析。 3.搜查当天湖人队较量的结果,而后在注释中创立注释,为该结果撰写体育资讯。 |
MobileAgent的特点包含依赖于纯视觉处置方案、独立于XML和系统元数据、具有多种视觉感知工具启动操作定位、无需探求和训练即插即用。其上班原理涵盖视觉感知工具、自主义务规划和执行、自反思等关键模块,使其能够准确识别和操作手机屏幕上的各种元素。团队发表行将颁布移动代理的展示视频,展现其在实践操作中的性能和运行场景。
欢迎大家参与AiBase交换群,扫码进入,畅谈AI赚钱心得,共享最新行业灵活,发现潜在协作同伴,迎接未来的赚钱时机!。
(揭发)
AI正版系统源码介绍:小狐狸GPT-AI付费创作系统+开源可二开+私有常识库+聚合15家干流AI接口
标签: Agent、 AI代理、 Mobile、 AI头条、