抢滩生死战-生成式-AI-环球云计算巨头怎样打
编号:31115 分类:互联网资讯 阅读: 时间:2024-04-28

本文来自微信群众号 “极客公园”(ID:geekpark) ,作者:郑玄,36氪经授权颁布。

AI 技术掀起了环球云计算巨头之间的新一轮「军备比赛」,如何构建 AI 生态,成为这些厂商过去一年的外围义务。

得益于基础钻研和运行翻新的兴盛,国际云计算巨头的 AI 生态树立停顿迅速。虽然环球云计算市场增长在过去几年清楚放缓,2023 年四季度的财报却显示,受益于 AI 业务的推进,亚马逊云科技、微软智能云和谷歌智能云的增长速度均有清楚优化。随着 2024 年 AI 运行的减速落地,估量这种增长还将进一步扩展。

云计算畛域将迎来新一轮的洗牌,各大巨头纷繁减速部署 AI 大模型。微软继续增强与 OpenAI 的协作,将 AI 技术更深化地整合进 Azure 的各个技术栈;谷歌则投入重金研发自家的大模型,并于近期对组织架构启动了片面调整。

亚马逊云科技也有了新举措。外地期间 4 月 23 日,亚马逊云科技宣布了一系列针对其 AI 开发平台 Bedrock 的关键更新:包括在基础模型层面,宣布支持刚刚颁布的超级开源模型 Llama 3,以及自研的 Amazon Titan 图像生成大模型;配置层面上,正式推出合规治理工具 Guardrails、模型测试评价工具 Model Evaluation,更新了智能体开发平台 Bedrock Agent 和常识库 Bedrock Knowledge Base,并预颁布新配置 Custom Model Import,支持用户上架本地微调后的开源模型。

从底层的大模型训练和推理基础设备,到两边层的 AI 运行开发工具,再到下层的开箱即用 AI 运行,亚马逊云科技曾经构建起一套完整的 AI 生态系统。作为三巨头中惟逐一个不过火依赖自研或繁多大模型的云计算厂商,亚马逊云科技的 AI 生态投资规划具有极高的自创意义。极客公园对此启动了片面的梳理剖析。上方,咱们将详细讨论这些战略的详细内容及其对整个行业的潜在影响。

在生成式 AI 畛域,云计算厂商的战略规划关键集中在 AI 运行开发的三个关键档次:底层的算力层,用于支持基础模型的训练和推理;两边的工具层,基于基础模型构建各种开发工具;以及顶层的运行层,即一系列基于基础模型的开箱即用 AI 运行汇合。

其中十分关键也是最受关注的是两边工具层——两边层是一个相对泛化的概念,不只包括对基础模型的定制调整,还涵盖构建 AI 运行所需的常识库、开发工具和测试工具等多个方面。

关于云计算平台而言,工具层规划的外围可以细分为三个关键方向:基础模型的选用池;调整和定制基础模型的才干;以及开发、集成并部署到企业系统中的AI运行的才干。自 2023 年 4 月推出以来,亚马逊云科技的生成式 AI 开发平台 Amazon Bedrock 就不时围绕这三个方向启动投资和规划。

丰盛的基础模型池

经过一年多的开展,少数云厂商提供的 AI 开发工详细系逐渐同质化。即使有些平台推出翻新配置,其余平台理论也会在几个月内推出相似产品。因此,工具层的竞争焦点逐渐转移到支持的基础模型池上。

参与 Llama 3 和 Amazon Titan Image Generator 等新的基础模型后,Amazon Bedrock 支持的基础模型数量增至 27 个,这些模型来自于 Anthropic、Stability AI、Cohere AI、Meta、Mistral AI、AI21 Labs 以及亚马逊等七家公司。

三大云厂商支持的基础模型对比丨制造:极客公园

如上图所示,极客公园基于官方消息整顿了三大云厂商支持的基础模型对比。虽然三大平台都笼罩了基础言语模型、图像生成模型、嵌入模型和语音模型等关键才干,它们的生态规划却各有特征。

首先是微软 Azure 智能云,其生成式AI服务最大的特点就是与 OpenAI 的深度绑定,提供了一系列基于后者开发的不同配置、规模和多少钱的基础模型上构建的产品服务。因为 OpenAI 目前在生成式 AI 畛域多方面的抢先,这种独家协作的形式也就成了微软智能云目前最大的特点与长处。

谷歌云与微软智能云正好同样,虽然也支持一局部开源模型或许第三方模型(包括谷歌投资的 Anthropic),但谷歌云主推的还是自研的大模型,包括大言语模型 Gemini 系列、图像生成模型 Imagen 系列和语音转文字的 Chrip 系列模型等。

亚马逊云科技则在二者之间取得了平衡。比如虽然其也有自研的 Titan 模型,具有文本、嵌入、图像生成等才干,但亚马逊云科技目前主推的却是 40 亿美元重金投资的 Anthropic,其研发的 Claude 系列模型占据了「C 位」,甚至亚马逊云科技自研的 AI 算力芯片都为 Claude 启动了定制和优化。

但亚马逊云科技也没有像微软一样只推 Anthropic 一家公司的模型,还支持了 Llama 系列、Stable Diffusion、Cohere 的 Command 和 Embed、以及 Amazon Titan 等其余第三方和第一方的基础模型。

这些差异表现了三大云平台在大模型这个AI运行落地的关键才干上的不同战略和长处。

谷歌云置信自己的技术才干,虽然也经过投资、集成等形式与一些大模型公司协作,但最关键的力气还是集中推进自研大模型;微软在这个技术路途上没有太多储藏,所以选用深度协作这个畛域最抢先的公司,并做好构建 AI 运行必定的基础设备和其余技术工具;亚马逊云科技则是齐全的放开平台战略,也就是咱们常说的「给淘金者卖铲子」,把大模型这个最关键的环节开发给一切的技术同伴,主推最好的产品,以客户成功为指标。

未来哪种模型战略更为有效,须要期间来验证。这或许取决于未来终究是一个超级大模型仰仗远超其余模型的智能一枝独秀,还是百花齐放多个不同的模型各有千秋。至少当天来看行业更偏差于经常使用多模型架构,那么生态兴盛的路途象征着更顺应不同的运行场景和需求。

定制模型和集成才干:

虽然咱们常说基础大模型的才干优化已将 AI 运行开发从「最后 1 公里」推进到「100 米」,但这并不象征着任何公司或集体都能随便地基于这些模型开发 AI 运行。这正是云计算平台提供两边层服务的关键意义所在。

同时,随着模型才干的增强,可以处置的疑问范围扩展,须要应用这些模型处置疑问的用户也越来越多。这对提供 AI 运行服务的云计算厂商提出了新的要求:他们不只须要顺应更多更复杂的场景,还要使服务愈加繁难易用。

前者要求云计算厂商提供更强的模型定制和微调才干,后者象征着须要更繁难易用的集成工具敌对台。对此,亚马逊云科技提供了六大外围配置:

Custom Model Import on Amazon Bedrock 丨来自:亚马逊云科技

首先是最近预颁布的用户微调模型上行工具 Custom Model Import。它支持用户将本地微调后的开源模型(如 Llama,Mistral 及 Flan-T5)上架到 Bedrock 平台,并以托管 API 的形式调用,无需启动复杂的运维上班。未来,该工具还将集成常识库、Agent 等配置。

第二个是此前曾经推出的常识库配置 Knowledge Base。它准许模型安保地衔接到公司外部数据源用于 RAG,以便为聊天机器人和问答系统等用例提供更准确、针对特定高低文的照应。Amazon Bedrock 常识库支持数据库用于向量配置,包括 Amazon OpenSearch、Pinecone 和 Redis Enterprise Cloud 的向量引擎。

Model evaluation on Amazon Bedrock 丨来自:亚马逊云科技

除了微调工具和常识库,亚马逊云科技还提供了模型评价工具Model evaluation。该工具用于评价、比拟并选用最适宜特定运行场景的基础模型。配置包括比拟基础模型的性能,以及经常使用自有数据集失掉相应的评价结果等。

以上三者都是用于定制、微和谐测试模型,上方两个配置都和开发运行并集成到业务系统相关。

首先是智能体开发工具Agents for Amazon Bedrock,也是 Amazon Bedrock 的外围工具之一。极客公园在此前的文章里有过屡次引见,该工具准许生成式 AI 运行能够经常使用人造言语来执行多步骤的业务义务。其关键配置包括应用 LLM 的弱小配置,经常使用人造言语启动交互和照应;义务拆分和编排;经过灵活调用 API 实现义务执行;安保私密地访问客户私有数据;追踪 FM 思想链流程并优化底层 Agent 的揭示词工程。

另一个是对象批处置工具Batch for Amazon Bedrock。这个工具准许用户在不编写代码的状况下有效执行少量数据的模型推理义务,协助在大规模推理义务中防止遇到限流疑问。

除了便于定制模型和简化运行开发流程,当天 AI 运行开发的另一个无法漠视的疑问是确保大模型的安保性。

妇孺皆知,因为大模型训练的局限性和所谓的「幻觉」疑问,基于大模型开发 AI 运行或许会引发不合乎事实环球政治和法律规定的安保性疑问。这些典型疑问包括 AI 技术才干的滥用,以及在对话、搜查等配置中出现有害内容的疑问。

Guardrails for Amazon Bedrock 丨来自:亚马逊云科技

为此,亚马逊云科技新推出了 AI 运行安保工具Guardrails for Amazon Bedrock。如上所示的视频展示,开发者可以经过设定关键词等形式交流有害消息的回答,从而提高模型对不良和有害内容照应形式的分歧性。

总的来看,亚马逊云科技的生成式 AI 战略可以总结为:经过放开生态提供丰盛的模型选用,并基于过去积攒的技术才干提供一个易于经常使用、配置丰盛且足够安保的放开平台。Amazon Bedrock 提供的工具和配置,如自定义模型导入、智能代理开发和批处置才干,都旨在简化和减速 AI 运行的开发环节,同时确保这些运行能安保牢靠地部署和运转。

经过提供弱小的模型定制才干和综合性的安保措施,亚马逊云科技不只支持客户处置复杂多变的业务需求,还注重包全用户免受潜在的 AI 危险损害。这种平衡翻新与安保、通用性与定制化的方法,是其在竞争强烈的云计算市场中的一大长处。

聊完了两边层以后,咱们再来聊聊生成式 AI 战略规划的两边:基础设备层和运行层。

基础设备,也就是底层算力层。当天云计算厂商在 AI 基础设备上的规划迥然不同,其外围造成是以英伟达的 GPU 为主和自研 AI 芯片为辅的产业格式。此外,环球算力网络的规划也是这一层的一局部,但这里咱们关键关注自研 AI 芯片的开展。

在过去两年中,为了缩小对英伟达的依赖并提高计算效率,云厂商放慢了自研 AI 芯片的规划。亚马逊云科技也不例外,自 2019 年推出高性能机器学习推理芯片 Inferentia,到 2020 年底推出定制机器学习训练芯片 Trainium,并继续更新。最新的 Trainium 2 支持千亿级甚至万亿级参数规模的模型训练,而 Inferentia 2 则提供更高的算力和性价比。

亚马逊云科技的自研 AI 芯片联合了 SageMaker Hyperpod 和 SageMaker Jumpstart,减速了基础模型的推理与训练。许多 AI 领军企业如 Anthropic、Mistral、stability.ai 和 perplexity 等,都驳回了 Trainium 来训练自己的大模型。

在 AI 运行层的差异愈加清楚。从构建生态的角度来看,第一方原生运行的选用至关关键。云计算平台不只须要提供能加快处置客户业务疑问的通用工具,同时也应防止适度集中化,包全抢先运行生态的协作空间,以维持肥壮的全体生态规划。

亚马逊云科技构建的 AI 运行关键有两个:区分是企业级生成式 AI 助手 Amazon Q,以及配置弱小的AI 编程助手 Amazon CodeWhisperer。

其中,Amazon Q 与微软的 Copilot 相似,支持企业用户定制开发,衔接到公司数据和系统。这使得营销人员、名目经理和开售代表等能够应用 Q 启动定制对话、疑问解答、内容生成和执行指点,同时确保只访问他们有权检查的消息。

而除了定制之外,与微软把 Copilot 融入 Windows 的做法相似,亚马逊云科技也尝试将 Amazon Q 融入到了其成熟的业务体系中。

首先是亚马逊云科技的 BI 服务 Amazon QuickSight。借助 Amazon Q,客户可以用人造言语构建仪表盘,并轻松地简化决策、同步消息等。例如应用故事生成配置,要求 Amazon Q「形容上个月业务出现的变动,用于向指导层汇报」,就可以在几秒内依据 Amazon QuickSight 中的可用数据创立一段数据驱动的、视觉成果良好的形容,节俭了自己总结数据和做 PPT 汇报的期间。

另内在客服、供应链这样的电商场景中,Amazon Q 的融入使得客服人员在无需主管协助的状况下也能满足客户需求,提高客户满意度,缩小培训和疑问处置期间,降落老本。

而在供应链工具 Amazon Supply Chain 中,Amazon Q 可以基于亚马逊近 30 年的供应链阅历,联合少量地下消息回答一系列供应链疑问。比如客户可以提问「是什么造成我的发货提前以及如何加加快度」,Amazon Q 就会剖析客户的供应链,并标注大局部订单目前都在东海岸,风暴造成了延误,客户可以选用运往纽约而不是迈阿密来放慢交货速度并降落老本。

大模型在对话方面展现进去的后劲,激起了人们的构想空间,但当天的大模型还不能作为处置方案运行在上班中。详细来说,这些聊天运行程序不了解企业的业务、数据、客户、经营或许员工——如员工的上班、他们与什么人交互、运行什么消息以及可以访问什么数据。此外,这些处置方案最后也没有装备企业所需的安保和隐衷配置,无法保证员工在日常上班中的安保经常使用。

企业不得不在构建助手后再将这些配置增加到助手中,这远不如在设计之初就将安保性归入其中。这就是亚马逊云科技创立 Amazon Q 的要素,协助客户让每位员工充散施展生成式 AI 的长处。

网址推荐 网址推荐