您的位置:人工智能 > 大数据 > AI边缘推理与数据中心的差别在哪儿?

AI边缘推理与数据中心的差别在哪儿?

【人工智能网】

虽然推理加速器最初用于数据中心,但它们已敏捷发展到运用程序的边沿推理,如自动驾驶和医学成像。经由过程这类改变,客户发明,一样的加速器,在数据中心处置惩罚图象很顺遂,但移到边沿揣摸方面却显得蹩脚。实在缘由很简单:一个处置惩罚数据池,而另一个处置惩罚的是数据流。

当你在batch = 1时举行批处置惩罚时,池子里待处置惩罚的batch就会许多。在数据中心,客户一般是数据的处置惩罚池,比如被标记的照片。其目的是用起码的资本和功耗以及最好的耽误来处置惩罚尽量多的照片。

另一方面,边沿揣摸运用程序须要处置惩罚数据流。我们一般的相机每秒拍摄30帧,每帧一般是200万像素。一般情况下,每幅图象须要33毫秒,每秒约莫30帧。当你有一个图象从一个流进来,它怎样被处置惩罚取决于它须要做什么。

比方,运用推理举行零售剖析的市肆大概会盘算给定时候列队的人数。在这个例子中,他们真的不须要几个小时以至几天的效果。然则,假如你驾驶一辆运用自动驾驶功用的汽车,你只要毫秒来处置惩罚图象,不然你大概会撞到人。虽然在这两个例子中,相机每3毫秒生成1帧图象,但运用的推理加速器异常差别。

让我们看看数据流发作了什么。

起首,您须要清算图象以去除诸如光芒条纹之类的东西,然后运用推理。当推理完成后,您须要采用一个行为,依据你正在处置惩罚的运动,所有这些都须要在特定的时候内发作。假如你不须要几个小时的效果,你可以对图象举行批处置惩罚。在这类情况下,耽误就可有可无了。主要的是用起码的本钱和能量处置惩罚最多的图象。

最常犯的一个毛病就是在挑选边沿揣摸解决方案时没有斟酌耽误和流媒体吞吐量。比方说,你有一台每秒能处置惩罚30帧的推理加速器,另一台每秒能处置惩罚15帧。

大多数人自然则然地以为每秒30帧的解决方案更好——实在你错了。

每秒30帧的加速器大概会取得比较可观的吞吐量,缘由是它有三个引擎,每一个引擎都有差别的耽误。最典范的是英伟达Xavier推理加速器。Xavier的深度进修引擎处置惩罚图象约莫须要300毫秒,GPU约莫须要90毫秒。假如客户有两个深度进修引擎+GPU都在运转,他们大概会在数据池中取得明显的吞吐量。

然则,假如它须要从数据流一次处置惩罚一个图象,它就不能有效地运用深度进修引擎,吞吐量会明显下落。在这类情况下,你须要视察哪一个实行单位的耽误最短,即GPU的耽误为90毫秒。分割成1000毫秒就是每秒的帧数,这意味着这个吞吐量实际上只要每秒10帧(而不是宣扬的每秒30帧)。

x Logix购买了一台Xavier AGX,并将其设置为NX形式(该软件丈量芯片的功率,当功率凌驾15W时,会调低芯片的时钟,以防备芯片过热)。

上一篇:张一鸣拒绝出售TikTok多数股权——目前为止
下一篇:恰到好处的剥离:搜狐略有遗憾,但期待价值重塑,不再被低估

您可能喜欢