Startup kehitti hirmuisen tekoälymyllyn ”järkihintaan” – sisältää kuluttajanäytönohjaimia
Kuva: @ AMD
Tiny Corp tarjoaa erikoisempaa tuotetta tekoälysovellutuksiin varsinaisten tekoälykiihdyttimien sijaan.
TinyCorp on kehittänyt tekoälytietokoneen nimeltään TinyBox. Sen sisuksista löytyy AMD:n Radeon RX 7900 XTX -näytönohjaimia peräti kuusi kappaletta.
Jokainen näytönohjain tarjoaa 96 CU-yksikköä, 96 megatavua Infinity Cachea ja 24 gigatavua GDDR6-tyyppistä VRAM-muistia. Suorittimena toimii 32-ytiminen AMD EPYC 7532, ja RAM-muistia löytyy 128 gigatavua.
TinyBox käyttää 70B FP16 LLaMA-2 LLM:ää tinygrad-neuroverkkokehyksen kautta. Muisti on tärkeässä osassa LLM-tyyppisiä kielimalleja käsiteltäessä, ja kuuden näytönohjaimen myötä VRAM-muistin määrä nousee yhteensä 144 megatavuun. Kaistanleveys on 5,76 teratavua sekunnissa, ja näytönohjaimet kommunikoivat PCIe 4.0 x16 -yhteyksien kautta.
Kuva: @ Tiny Corp
Laskentatehoa riittää, ja TinyBox tarjoaa sitä yhteensä 738 TFLOPsia (FP16). Järjestelmän virtatarpeet ovat varsin ahneella tasolla, ja mukana toimitetaankin kaksi 1500 watin virtalähdettä. Koko komeus on pakattu 12U-kokoiseen räkkilaatikkoon.
Redditin kommenttien perusteella tuote ei välttämättä ole järkevä ratkaisu verrattuna esimerkiksi kolmeen Nvidia Quadro RTX A6000 -näytönohjaimeen. TinyBoxin kyky toimia tehokkaasti suurien LLM-mallien kanssa niin ikään kyseenalaistettiin.
Tinybox sanoo speksien voivan vielä muuttua. Tuote on kuitenkin jo ennakkotilattavissa, ja hinnaksi on arvioitu 15 000 dollaria (13 865 euroa).
