Nvidian pelinäytönohjaimet ovat myös tekoälykiihdyttimiä – tämä voi näkyä kohta sovelluksissa

Nvidian pelinäytönohjaimet soveltuvat myös tekoälykuormien prosessointiin.

CUDA-ytimet on optimoitu monenlaisiin rinnakkaisiin laskentatehtäviin, kun taas Tensor-ytimet on suunniteltu erityisesti kiihdyttämään syväoppimisen ja tekoälyn työtehtäviä, kuten matriisioperaatioita.

Nvidian moderneista näytönohjaimista löytyy mainittuja Tensor-ytimiä. Niitä silmälläpitäen Nvidia ilmoitti uusista optimoinneista, malleista ja resursseista sovelluskehittäjille Microsoft Ignite -tapahtumassa.

Nvidian tähtäimessä on tuoda paikallisesti kiihdytetty tekoäly kaikkien ulottuville, joilla on laitteistovaatimukset täyttävä Nvidian näytönohjain. Ensimmäisenä askeleena tietotekniikkajätti esitteli päivityksen TensorRT-LLM for Windows -kirjastoon, joka hyödyntää Nvidia RTX -arkkitehtuuria suurten kielimallien (LLM) prosessoinnissa.

TensorRT-LLM-versio 0.6.0 julkaistaan myöhemmin tässä kuussa, ja se parantaa LLM:n suorituskykyä jopa viisinkertaiseksi verrattuna TensorRT-LLM:n alkuperäiseen julkaisuun lokakuulta 2023.

Lisäksi TensorRT-LLM 0.6.0 tuo tuen suosituille LLM-malleille, joihin kuuluvat ainakin Mistral 7B ja Nemtron-3 8B. Näiden prosessointiin käyttäjä tarvitsee GeForce RTX 3000- tai GeForce RTX 4000 -sarjan näytönohjaimen, jossa on vähintään 8 gigatavua keskusmuistia.

Nvidian ponnistelut voivat mahdollistaa esimerkiksi ChatGPT-tyyppisen tekoälyavustajan, joka toimii ainakin osittain paikallisesti käyttäjän omalla tietokoneella.