Nyt ei tarvita pilveä – uusi tekoäly-chatbot toimii paikallisesti PC:llä ja puhelimella

Tekoälyyn pohjautuvat chatbotit toimivat yleensä pilvessä, koska niiden vaatimat resurssit ovat niin suuret. Nyt on kuitenkin saatavilla paikallisestikin toimiva tekoäly-chatbot.

MLC LLM (Machine Learning Compilation, Large Language Model) on uusi avoimen lähdekoodin projekti, joka on tarpeeksi kevyt toimiakseen jopa vanhemmassa PC-tietokoneessa sekä iPhonessa. Tekniikan nimessä oleva MLC merkitsee prosessia, jota kehittäjät käyttivät kielimallin keventämisessä paikallista käyttöä varten.

MLC LLM käyttää kielimallia Vicuna-7B-V1.1, joka perustuu Metan LLaMA-kielimalliin. Vicuna-7B-V1.1 ei ole lähellekään niin hyvä kuin OpenAI:n GPT 3.5 tai GPT 4.0, mutta Tom’s Hardwaren mukaan kuitenkin melko pätevä. Kielimalli on koulutettu maaliskuun ja huhtikuun 2023 aikana.

MLC LLM on mahdollista saada toimimaan käyttöjärjestelmissä Windows, Linux, macOS ja iOS. Android-versiota ei vielä ole. Joidenkin iPhone-mallien kanssa voi olla hankaluuksia, mutta Tom’s Hardwaren testeissä se toimi ainakin  iPhone 14 Max ja iPhone 12 Max -puhelimissa.

MLC LLM kiinnostanee ainakin heitä, jotka haluavat oppia tekoälytekniikoiden asentamisesta ja käyttöönotosta. Lähdekoodi löytyy täältä: GitHub – mlc-ai/mlc-llm: Enable everyone to develop, optimize and deploy AI models natively on everyone’s devices.