Tällaisella laitteistolla OpenAI:n ChatGPT toimii – hinta satoja miljoonia
Kuva: © OpenAi
Bloombergin mukaan Microsoft rakensi uuden supertietokoneen Azure-pilveensä ChatGPT:n infrastruktuuriksi. Sitä käytettiin ChatGPT-kielimallin kouluttamiseen, ja se on edelleen käytössä ChatGPT:n toiminnassa.
Supertietokone koostuu kymmenistä tuhansista, tekoälylaskentaan soveltuvista Nvidia A100 -kiihdyttimistä. Supertietokoneen rakentaminen tuli agendalle vuonna 2019, kun Microsoft investoi miljardi dollaria nyt kaikkien huulilla olevaan start up -yritys OpenAI:hin.
Supertietokoneen rakentaminen ei ollut halpaa. Microsoftin pilvi- ja tekoälyryhmän johtaja Scott Guhtrie arvioi, että kustannukset nousivat satoihin miljooniin euroihin.
Haasteita supertietokoneen asennusprojektiin toi kiihdyttimien valtava määrä. Microsoftin täytyi keksiä, miten se sijoittaa ne ja kaikki supertietokoneen tarvitsemat virtalähteet, ja miten lämmöntuotto ja virtakatkokset pidetään hallinnassa.
Lisäksi supertietokonetta varten täytyi kehittää uudenlainen ohjelmisto kaiken tehon valjastamiseksi, varmistaa valtavan verkkoliikenteen sujuvuus, suunnitella uudenlaisia kaapelikouruja ja käyttää useita erilaisia jäähdytysratkaisuja mukaan lukien ulkoilman hyödyntäminen.
Microsoft ilmoitti nyt merkittävästä päivityksestä supertietokoneeseensa. Yritysjätti laajentaa sitä uudemmilla ja tehokkaammilla Nvidia H100 -kiihdyttimillä.
Kiihdyttimiä hyödynnetään ND H100 v5 VM -virtuaalikoneiden avulla, ja kiihdyttimet linkittyvät NVSwitchin ja NVLink 3.0:n kautta, joka tarjoaa kaksisuuntaista kaistanleveyttä 3,6 teratavun sekuntivauhdilla yhden virtuaalikoneen kiihdyttimien välillä. Jokainen yksittäinen kiihdytin tarjoaa 400 Gb/s kaistanleveyden Nvidia Quantum-2 CX7 InfiniBand ja 64 Gt/s PCIe5 -yhteyksien kautta.
Päivitetty supertietokone hyödyntää myös neljännen sukupolven Intel Xeon -suorittimia ja 16-kanavaista DDR5-4800-muistia. Supertietokonetta hyödynnetään jatkossa ainakin Bingin tekoälyhaun nopeuttamisessa, Edge-selaimessa ja Microsoft Dynamics 365 -sovelluskokonaisuudessa.
