A Jim Keller vezette Tenstorrent chipgyártó cég kiadta új generációs Wormhole processzorát mesterséges intelligencia terhelésekhez, amely várhatóan jó teljesítményt kínál majd megfizethető áron.A cég jelenleg két további PCIe kártyát kínál, amelyek egy vagy két Wormhole processzort, valamint TT-LoudBox és TT-QuietBox munkaállomásokat kínálnak a szoftverfejlesztőknek. A mai bejelentések a fejlesztőknek szólnak, nem pedig azoknak, akik Wormhole kártyákat használnak kereskedelmi terhelésekhez.
„Mindig örömteli, hogy egyre több termékünk kerül a fejlesztők kezébe. A Wormhole™ kártyáinkat használó fejlesztőrendszerek kibocsátása segítheti a fejlesztőket a többcsipes AI-szoftver méretezésében és fejlesztésében” – mondta Jim Keller, a Tenstorrent vezérigazgatója.A bevezetés mellett izgatottan várjuk a második generációs termékünk, a Blackhole szalagos kiszerelése és bekapcsolása terén elért előrehaladást.”
Minden egyes féreglyuk processzor 72 Tensix magot (ebből öt különböző adatformátumú RISC-V magot) és 108 MB SRAM-ot tartalmaz, amelyek 262 FP8 TFLOPS-t biztosítanak 1 GHz-en, 160 W-os termikus tervezési teljesítménnyel. Az egychipes Wormhole n150 kártya 12 GB GDDR6 videomemóriával van felszerelve, sávszélessége pedig 288 GB/s.
A féreglyuk processzorok rugalmas méretezhetőséget biztosítanak, hogy megfeleljenek a munkaterhelések különféle igényeinek. A négy Wormhole n300 kártyát tartalmazó szabványos munkaállomás-beállításban a processzorok egyetlen egységgé kombinálhatók, amely egységes, széles Tensix maghálózatként jelenik meg a szoftverben. Ez a konfiguráció lehetővé teszi a gyorsító számára, hogy ugyanazt a munkaterhelést kezelje, négy fejlesztő között megosztva, vagy akár nyolc különböző AI-modellt is futtathat egyidejűleg. Ennek a méretezhetőségnek az egyik legfontosabb jellemzője, hogy virtualizáció nélkül is futhat helyben. Adatközponti környezetben a Wormhole processzorok PCIe-t használnak a gépen belüli bővítéshez, vagy Ethernetet a külső bővítéshez.
Ami a teljesítményt illeti, a Tenstorrent egychipes Wormhole n150 kártyája (72 Tensix mag, 1 GHz-es frekvencia, 108 MB SRAM, 12 GB GDDR6, 288 GB/s sávszélesség) 262 FP8 TFLOPS-t ért el 160 W-on, míg a dual-board-chip W3mholepn. (128 Tensix mag, 1 GHz-es frekvencia, 192 MB SRAM, összesített 24 GB GDDR6, 576 GB/s sávszélesség) akár 466 FP8 TFLOPS-t biztosít 300 W-on.
A 300 W-os 466 FP8 TFLOPS kontextusba helyezéséhez összehasonlítjuk azzal, amit a mesterséges intelligencia piacvezető Nvidia kínál ebben a termikus tervezési teljesítményben. Az Nvidia A100 nem támogatja az FP8-at, de támogatja az INT8-at, a csúcsteljesítmény 624 TOPS (ritkán 1248 TOPS). Összehasonlításképpen, az Nvidia H100 támogatja az FP8-at, és 300 W-on eléri az 1670 TFLOPS csúcsteljesítményt (ritkán 3341 TFLOPS), ami jelentősen eltér a Tenstorrent Wormhole n300-tól.
Van azonban egy nagy probléma. A Tenstorrent Wormhole n150 kiskereskedelmi ára 999 dollár, míg az n300 1399 dollárért. Összehasonlításképpen, egyetlen Nvidia H100 grafikus kártya kiskereskedelmi ára 30 000 dollár, mennyiségtől függően. Természetesen nem tudjuk, hogy négy vagy nyolc Wormhole processzor valóban képes-e egyetlen H300 teljesítményét nyújtani, de a TDP-jük 600 W, illetve 1200 W.
A kártyákon kívül a Tenstorrent előre beépített munkaállomásokat is kínál a fejlesztők számára, köztük 4 n300 kártyát a kedvezőbb árú Xeon alapú TT-LoudBox aktív hűtéssel, valamint a fejlett TT-QuietBox EPYC alapú Xiaolong) folyadékhűtés funkcióval).
Feladás időpontja: 2024. július 29