Kuinka aloittaa Foundry Local AI:n käyttäminen

Microsoftin Foundry Local AI -työkalu helpottaa LLM:ien ajoa Windows-PC:llä. Tämä ilmainen ohjelma tarjoaa paikallisen käyttökokemuksen ilman internetyhteyttä, vaikka rajoituksia on.

LLM:n (kielimallin) ajaminen Windows-PC:llä on tullut huomattavasti helpommaksi Microsoftin Foundry Local AI -työkalun ansiosta. Työkalu on täysin ilmainen ja tarjoaa laajan valikoiman tekoälymalleja valittavaksi.

Mitä on Foundry Local AI

Microsoft ilmoitti äskettäin Foundry Localista, joka on pääasiassa suunnattu kehittäjille. Ilmainen työkalu mahdollistaa LLM:ien ajamisen paikallisesti PC:llä ilman Internet-yhteyttä. Et saa samoja tuloksia kuin suosituista pilvipohjaisista tekoälytyökaluista, kuten ChatGPT:stä, Geministä tai Copilotista, mutta se on silti hauska tapa kokeilla tekoälymalleja.

Koska työkalu on edelleen uusi ja teknisesti vain julkisessa esiversiossa, se on vielä melko perus, joten älä odota mitään hämmästyttävää. Ajan myötä Foundry Local todennäköisesti kehittyy ja saa lisää ominaisuuksia.

Foundry Local -vaatimukset

Ennen kuin asennat mitään, varmista, että PC:si pystyy käsittelemään Foundry Local AI -malleja. Kyllä, ihanteellisesti Microsoft toivoo, että sinulla on korkeamman tason Copilot+-tietokone, mutta se ei ole välttämätöntä.

Tarvitset:

• 64-bittisen version Windows 10:stä tai 11:stä, Windows Server 2025:stä tai macOS:stä
• 3 GB:n kiintolevytilaa, vaikka 15 GB on suositeltavaa, erityisesti useita malleja käytettäessä
• 8 GB RAM, vaikka 16 GB on suositeltavaa parhaan tuloksen saavuttamiseksi
• Vaikka se ei ole pakollista, Microsoft suosittelee NVIDIA GPU:ta (2000-sarja tai uudempi), Qualcomm Snapdragon X Elitea (8 GB tai enemmän muistia), AMD GPU:ta (6000-sarja tai uudempi) tai Apple-sirua

Tarvitset Internet-yhteyden vain asennuksen aikana ja uuden AI-mallin asentamisen yhteydessä. Tämän jälkeen voit irrottaa yhteyden. Varmista myös, että sinulla on järjestelmänvalvojan oikeudet Foundry Localin asentamiseen.

Kuinka asentaa Foundry Local AI

Monista sovelluksista poiketen sinun ei tarvitse mennä verkkosivustolle tai Microsoft Storeen asentamaan Foundry Localia. Sen sijaan käytät wingetiä, joka sallii ohjelmiston asentamisen komentoriviltä. Älä huoli, sinun ei tarvitse olla kehittäjä tai komentorivin mestari tämän tekemiseen.

Jos haluat perinteisemmän asennuksen, lataa se GitHubista.

Windowsissa avaa terminaali. Paina Win + X ja valitse Terminal (admin). Syötä seuraava komento:

winget install Microsoft.FoundryLocal

Hyväksy ehdot ja odota, että asennus valmistuu. Se voi kestää muutaman minuutin.

macOS:ssä avaa terminaali ja syötä seuraava:

brew tap microsoft/foundrylocal
brew install foundrylocal

Jos haluat ladata LLM:n Raspberry Pille, kokeile näitä vaiheita.

Ensimmäisen AI-mallin asentaminen

Ensimmäisellä kerralla Microsoft suosittelee kevyttä mallia – Phi-3.5-miniä. Et välttämättä tarvitse aloittaa tällä, mutta jos tilaa on vähän, tämä on hyvä tapa kokeilla asioita ilman arvokkaan tallennustilan uhraamista.

Avaa terminaali ja syötä seuraava komento:

foundry model run phi-3.5-mini

Asentaminen voi kestää useita minuutteja tai enemmän valitsemastasi mallista riippuen. Itse sain tämän mallin käyttöön vain kahdessa minuutissa. Paras osa on, että Foundry Local AI asentaa optimaalisen version mallista laitteistokokoonpanollesi, joten sinun ei tarvitse miettiä, mitä asentaa.

Jos haluat kokeilla muita malleja, tarkista koko lista käyttämällä seuraavaa komentoa:

foundry model list

Jokaisessa mallissa näkyy tarvittava tallennustila ja sen käyttötarkoitus. Tällä hetkellä kaikki mallit ovat vain keskustelun viimeistelyä varten.

Vuorovaikutus paikallisten AI-mallien kanssa

Asennettujen AI-mallien kanssa vuorovaikutukseen ei ole kätevää graafista käyttöliittymää. Sen sijaan teet kaiken komentorivillä. Mutta se ei ole kovin erilainen kuin keskustelu minkä tahansa muun AI-chatbotin kanssa. Syötä vain tekstisi, kun näet kehotteen Interactive mode, please enter your text.

Jokaisella AI-mallilla on omat rajoituksensa. Esimerkiksi syötin kehotteen Phi-3.5-minille, jossa kysyin "what is foundry local." Tein tämän erityisesti korostaakseni, että tämän mallin tieto on rajoitettua.

alkuvuonna 2023 ja aikaisemmin. Tuloksessa mainitaan tämä rajoitus, mutta se yrittää vastata kysymykseen mahdollisimman hyvin. Spoilerihälytys – se ei vastannut kysymykseen oikein, mutta sitä minä odotinkin.

Paras tulos saavutetaan yksinkertaisilla kysymyksillä, jotka eivät vaadi paljon tutkimusta tai ajankohtaista uutistietoa.

Jos haluat vaihtaa jo asentamiesi mallien välillä, käytä seuraavaa komentoa:

foundry model run modelname

Korvaa vain "modelname" haluamallasi mallilla.

Jos olet vuorovaikutustilassa, eli chattelemassa, sinun täytyy sulkea terminaaliverkkosivu ja aloittaa uusi sessio. Tällä hetkellä sulkemiskomennosta ei ole, mikä on ehdottomasti ominaisuus, jota tarvitaan.

Foundry Local AI Komennot, Joita Tarvitset Tietää

Vaikka lista, jonka voit tarkistaa, on olemassa, tarvitset todellisuudessa vain kourallisen komentoja käyttääksesi Foundry Locallia. Nämä komennot näyttävät kaikki saatavilla olevat komennot kussakin kolmessa pääkategoriassa – malli, palvelu ja välimuisti.

Näet kaikki yleiset Foundry Local -komennot seuraavalla komennolla:

foundry --help

Mallikomentoja varten käytä:

foundry model --help

Palvelukomentoja varten käytä:

foundry service --help

Välimuistikomentoja varten käytä:

foundry cache --help

Kunhan muistat nämä, et oikeastaan tarvitse koko lista. Mutta pidä mielessä, että uusia komentoja lisätään todennäköisesti ajan myötä, kun Microsoft kehittää palvelua. Toistaiseksi pidä tätä enemmän beta-testinä kuin täysin toimivana työkaluna.

Jos tarvitset enemmän kuin Foundry Local voi tarjota, pysy ChatGPT:ssä tai näissä vaihtoehdoissa. Tai kokeile näitä tekoälytyökaluja parantaaksesi elämääsi ja tuottavuuttasi.

Nyt kun olet lukenut Kuinka aloittaa Foundry Local AI:n käyttäminen loppuun, kutsumme sinut tutustumaan lisää Oppaat-kategoriaan. Löydät sieltä muita mielenkiintoisia artikkeleita, jotka laajentavat tietojasi ja pitävät sinut ajan tasalla. Älä lopeta lukemista ja löytämistä!