A Jim Keller vezette chipgyártó, a Tenstorrent kiadta következő generációs Wormhole processzorát mesterséges intelligencia alapú munkaterhelésekhez, amely várhatóan jó teljesítményt kínál megfizethető áron.A cég jelenleg két további PCIe kártyát kínál, amelyek egy vagy két Wormhole processzort képesek befogadni, valamint TT-LoudBox és TT-QuietBox munkaállomásokat szoftverfejlesztők számára. A mai bejelentések mind a fejlesztőknek szólnak, nem pedig azoknak, akik Wormhole kártyákat használnak kereskedelmi feladatokhoz.
„Mindig örömteli, ha termékeinkből több kerülhet a fejlesztők kezébe. A Wormhole™ kártyáinkat használó kiadásfejlesztő rendszerek segíthetnek a fejlesztőknek a több chipes MI-szoftverek skálázásában és fejlesztésében” – mondta Jim Keller, a Tenstorrent vezérigazgatója.Ezen a bevezetésen túl izgatottan várjuk, hogy milyen előrelépést érünk el második generációs termékünk, a Blackhole szalagos kiszerelésével és beindításával.”
Minden Wormhole processzor 72 Tensix magot (amelyek közül öt támogatja a RISC-V magokat különböző adatformátumokban) és 108 MB SRAM-ot tartalmaz, ami 262 FP8 TFLOPS-ot biztosít 1 GHz-en, 160 W hőtervezési teljesítménnyel. Az egychipes Wormhole n150 kártya 12 GB GDDR6 videomemóriával van felszerelve, és 288 GB/s sávszélességgel rendelkezik.
A Wormhole processzorok rugalmas skálázhatóságot biztosítanak a munkaterhelések változatos igényeinek kielégítésére. Egy szabványos munkaállomás-beállításban, négy Wormhole n300 kártyával, a processzorok egyetlen egységgé kombinálhatók, amely a szoftverben egységes, széles Tensix maghálózatként jelenik meg. Ez a konfiguráció lehetővé teszi a gyorsító számára, hogy ugyanazt a munkaterhelést kezelje, négy fejlesztő között elosztva, vagy akár nyolc különböző MI-modellt is futtatva egyszerre. Ennek a skálázhatóságnak a kulcsfontosságú jellemzője, hogy lokálisan is futtatható virtualizáció nélkül. Adatközponti környezetben a Wormhole processzorok PCIe-t használnak a gépen belüli bővítéshez, vagy Ethernet-et a külső bővítéshez.
Teljesítmény tekintetében a Tenstorrent egychipes Wormhole n150 kártyája (72 Tensix mag, 1 GHz-es frekvencia, 108 MB SRAM, 12 GB GDDR6, 288 GB/s sávszélesség) 262 FP8 TFLOPS-ot ért el 160 W-on, míg a kétchipes Wormhole n300 kártya (128 Tensix mag, 1 GHz-es frekvencia, 192 MB SRAM, összesített 24 GB GDDR6, 576 GB/s sávszélesség) akár 466 FP8 TFLOPS-ot is lead 300 W-on.
Hogy a 300W-os és 466 FP8 TFLOPS-os teljesítményt kontextusba helyezzük, összehasonlítjuk azzal, amit az AI piacvezető Nvidia kínál ilyen hőtervezési teljesítmény mellett. Az Nvidia A100-asa nem támogatja az FP8-at, de az INT8-at igen, 624 TOPS csúcsteljesítményt nyújtva (1248 TOPS ritka üzemmódban). Összehasonlításképpen, az Nvidia H100-asa támogatja az FP8-at, és 300 W-on 1670 TFLOPS csúcsteljesítményt ér el (3341 TFLOPS ritka üzemmódban), ami jelentősen eltér a Tenstorrent Wormhole n300-asától.
Van azonban egy komoly probléma. A Tenstorrent Wormhole n150-es processzora 999 dollárért, míg az n300-as 1399 dollárért kapható. Összehasonlításképpen, egyetlen Nvidia H100 grafikus kártya 30 000 dollárba kerül, a mennyiségtől függően. Természetesen nem tudjuk, hogy négy vagy nyolc Wormhole processzor képes-e valójában egyetlen H300 teljesítményét nyújtani, de a TDP-jük 600W, illetve 1200W.
A kártyák mellett a Tenstorrent előre összeállított munkaállomásokat is kínál a fejlesztők számára, beleértve 4 db n300 kártyát a megfizethetőbb, Xeon alapú, aktív hűtéssel ellátott TT-LoudBoxban, valamint a fejlett, EPYC alapú Xiaolong folyadékhűtési funkcióval ellátott TT-QuietBoxot.
Közzététel ideje: 2024. július 29.