公司动态

独家测评:Google Gemma模型在Nvidia Jetson平台的性能表现

2024-02-22 来源:米文动力新闻中心

引言——

朋友们,Google又来炸场,都听说了吧!

还热乎的米文独家测评~


继Gemini Ultra 1.0的超长token支持来拳打OpenAI,昨天又推出了Gemma脚踢Meta。

看这个数据,7b的模型都把13b的Llama-2给虐趴了呀。一下子打开了更多的可能性。

谁不希望像钢铁侠一样,身边有个智能的贾维斯呢?因此,米文火速在全Jetson Orin系列平台上进行了全方位的评测。


image-2024-2-22_10-50-57.png


PART/1 关于Google Gemma模型

在探索人工智能的边界时,不断有新的技术突破引领着行业的发展。


Google DeepMind以及Google的其他团队,作为领导者之一,在最新的创新中推出了Gemma模型——一个轻量级而先进的语言模型,旨在开启AI的新篇章。


Gemma模型采用了与创建早前广受好评的Gemini模型相同的研究和技术。它不仅在模型设计上进行了优化,还在功能性和应用范围上提供了新的可能。

Gemma的名字灵感来源于拉丁语“宝石”,象征着它在人工智能领域的珍贵价值和多面性。


Gemma模型系列包括两种尺寸的模型重量:Gemma 2B和Gemma 7B,这些模型都经过了预先训练,并通过指令调整以适应不同的应用场景。这种多尺寸策略不仅满足了不同计算能力要求的设备,也为各类开发人员提供了灵活性。



PART/2 性能评测结果


image-2024-2-22_19-10-2.png

Gemma模型在Jetson平台上展现出了令人印象深刻的性能。


2B的模型,32G的EVO可以达到60 tokens/s的速度。7B模型在EVO Orin上也可以达到21 tokens/s的速度。


而Apex Orin NX和EVO ONO,则只能运行2B的模型,速度为26tokens/s,和21tokens/s。


咋看可能觉得这个速度也不怎么样,但考虑一下7B模型的表现,可还真是挺香的。


image-2024-2-22_16-42-36.png


展望

Gemma模型在Jetson平台上的卓越性能,不仅证明了其作为一个先进的语言模型的能力,也展示了Jetson平台在支持复杂AI模型方面的强大潜力。


它不仅为Gemma模型的实际应用提供了有力的证据,也为未来在更多边缘计算场景部署复杂AI模型提供了可能。


想象一下,您的智能语音助理不再只是简单地响应命令,而是能够理解复杂的指令和提问,甚至是模糊不清的表达。例如,您对智能音箱说:“我感觉有点冷。” Gemma模型能够理解这不仅仅是状态描述,而是需要采取行动的信号。接着,它调整智能恒温器,使室温稍微升高,同时询问您是否需要一杯热饮或额外的毯子。


在厨房里,Gemma集成的智能设备能够提供定制化烹饪建议。它不仅可以根据您所拥有的食材提供食谱,还能根据您的口味偏好、营养需求甚至是最近的健康数据来调整食谱。当您说:“我今天想吃点健康的,家里有鸡蛋和西兰花。” Gemma能够即刻提供一系列健康的、以鸡蛋和西兰花为基础的食谱,并指导您一步步完成烹饪。


本次“独家测评:Google Gemma模型在Nvidia Jetson平台的性能表现”不仅展示了Gemma模型的强大能力,也证明了Jetson平台在AI领域的应用广泛性和前瞻性。我们相信,随着技术的不断进步,未来将有更多的AI模型像Gemma一样,在Jetson平台上展现出惊人的性能,为各行各业带来革命性的变化。


我们邀请全球的技术开发者、研究人员和行业伙伴,深入探索Gemma模型和Nvidia Jetson平台的潜力,共同推动人工智能技术的发展和应用。让我们携手开启AI技术的新篇章,共创美好未来。

 
咨询热线
010-82031180
商务合作:bd@miivii.com
技术支持:helpdesk@miivii.com
简历投递:hr@miivii.com
   
概览
Apex车载系列
EVO工业系列
Lite监控系列
定制项目

车路协同
工业视觉
教育机器人
远程驾驶
智慧农机
智慧零售
镜像及烧写工具
开发者社区
Jetson生态合作伙伴
Jetson资料
Jetson论坛
Jetson百科
智联招聘
BOSS直聘
猎聘
         

宁波米文动力科技有限公司:北京市朝阳区惠新东街11号紫光发展大厦A座13层
无锡全球研发中心:              无锡市锡山区丹山路66号兖矿信达大厦17层

国家高新技术企业 ISO9001认证企业 NVIDIA战略合作伙伴 人工智能百强企业 创新创业大赛优胜企业 年度三十大热门AI应用案例
 
Copyright 2015-2024 MIIVII TECHNOLOGY Inc. All Rights Reserved. 浙ICP备2024086993号  隐私条款  免责声明