站长之家(ChinaZ.com)2月20日信息: Groq公司推出的大模型推理芯片以每秒500tokens的速度惹起惊动,逾越了传统GPU和谷歌TPU。该芯片由初创公司Groq研发,其团队成员来自谷歌TPU,包含开创人兼CEOJonathanRoss,曾设计成功代TPU芯片的外围元件。
Groq驳回了环球LPU(LanguageProcessingUnit)方案,旨在克制计算密度和内存带宽的瓶颈,最终成功大模型推理性能比其余云平台厂商快18倍。据引见,英伟达GPU须要大约10到30焦耳才干生成照应中的tokens,而Groq仅需1到3焦耳,使得推理速度提高了10倍,老本降低十分之一,性价比提高了100倍。
Groq的芯片驳回14nm制程,搭载了230MB大SRAM以保障内存带宽,片上内存带宽高达80TB/s。在算力方面,该芯片的整型(8位)运算速度为750TOPs,浮点(16位)运算速度为188TFLOPs。基于自研的TSP架构,Groq应用机器学习上班负载的并行性对推理启动减速,并支持经过PyTorch、TensorFlow等规范机器学习框架启动推理。
Groq公司在展示中展现了其芯片的弱小性能,支持Mixtral8x7BSMoE、Llama2的7B和70B等多种模型,并可间接体验Demo。不只如此,Groq还喊话各大公司,扬言在三年内逾越英伟达。该公司的推理芯片在第三方网站上的售价为2万多美元。
Groq公司以其翻新的LPU方案和逾越性能的大模型推理芯片,成为大模型推理畛域令人注目的新兴力气,引领着技术的飞速开展。
Groq产品的特征亮点如下:
1.API访问速度极快:Groq提供了API密钥,可以访问环球上最快的开源大型言语模型(LLM)推理速度。他们的实如今Anyscale的LLMPerfLeaderboard上展现了相较于云服务提供商高达18倍的推理性能。
2.支持开源LLM模型:*Groq支持Llama2-70B和7B,这两个由MetaAI创立的上游的开源基础LLM模型。这些Groq成功经常使用4096的高低文长度。
3.支持其余模型:*除了Llama系列外,Groq还支持Mixtral8x7B,由MistralAI创立,可依据恳求提供。其余模型如Mistral和CodeLlama也可依据特定客户恳求提供。
4.不要钱试用期:提供为期10天的不要钱试用期,可以依据恳求启动刷新。在试用时期,用户将取得100万不要钱令牌,并且API与OpenAIAPI齐全兼容。
5.多少钱保障:Groq保障以击败任何已颁布的相应模型的百万令牌多少钱。他们的定价相对较低,可以提供更具竞争力的服务。
6.早期访问方案:Groq提供了Alpha版本的API的早期访问方案,不要钱供钻研和开发目的经常使用。公共可用性方案于2024年第二季度。
7.高性能配件支持:Groq引擎(LPU™InferenceEngine)在性能上优越,经过配件支持成功了18倍于云服务提供商的LLM推理性能。
Groq产品以其杰出的推理性能、对多种开源LLM模型的支持以及具有竞争力的多少钱政策等特征,成为一个有目共睹的选用。
名目入口:
欢迎大家参与AiBase交换群,扫码进入,畅谈AI赚钱心得,共享最新行业灵活,发现潜在协作同伴,迎接未来的赚钱时机!。
(揭发)
AI正版系统源码介绍:小狐狸GPT-AI付费创作系统+开源可二开+私有常识库+聚合15家干流AI接口
标签: Groq大模型、 AI头条、 GPU、 Groq、