Installera gratis AI-chat och LLM-modeller på PC, lokalt och offline

Artificiell intelligens, som hittas i verktyg som ChatGPT, är nu lättillgänglig. Lär dig installera en lokal, gratis LLM på din dator för offline-användning.

Såvida man inte arbetar inom branschen, är artificiell intelligens idag associerad med ChatGPT, applikationen som vi alla använder för arbete, studier eller för att göra enkla experiment. Det som finns bakom ChatGPT är å sin sida en omfattande, ständigt utvecklande värld som skulle kräva djupgående studier och många tekniska färdigheter för att förstå helt och hållet.

Utan att gå in på för mycket tekniska detaljer som lätt kan sökas, ville jag i detta inlägg dela några resurser för att ha sitt eget verktyg för artificiell intelligens på PC, och på så sätt skapa sig ett eget ChatGPT lokalt på sin hem- eller kontorsdator, helt gratis, och som fungerar offline.

Kan man installera en AI som ChatGPT på sin PC?

Innan vi börjar, gör vi en megasammanfattning som är förenklad för att förstå hur applikationer drivna av AI som ChatGPT, den mest kända, men bara en av många som finns tillgängliga, fungerar.

Historien börjar med konceptet av LLM (Large Language Model), det vill säga programmet för textbaserade AI. LLM, som betyder stor språkmodell, kan förstå mänskligt språk och generera sammanhängande svar. LLM använder deep learning, en typ av maskininlärning som lär sig och tar emot nya data genom sin användning.

Om LLM kan vi läsa en välgjord och lättillgänglig guide på Cloudflares webbplats.

Utan att förlänga teorin mer, är det viktigt att veta att medan GPT från OpenAI är en betalversion av en äganderätt LLM (åtminstone GPT3 och GPT4), finns det andra LLM som Llama från Facebook, Mistral och Gemma från Google som kan användas gratis för personliga projekt och forskning (på sidan Wikipedia på engelska om LLM finns en komplett lista).

Om vi nu frågar oss om det är möjligt att använda en AI som ChatGPT gratis och utan begränsningar, så är svaret definitivt ja. Vi kan enkelt installera ett LLM-program på PC, Windows, Linux eller Mac, och använda det fritt och gratis, som även fungerar offline, utan att koppla upp sig mot servrar eller externa tjänster.

Det finns många sätt att installera en AI på PC och många program som fungerar som gränssnitt för att chatta med artificiell intelligens. Vissa av dem är enkla och gratis, andra mer komplicerade.

Det enda viktiga kravet för att använda AI på sin PC är en okej hårdvara, en modern CPU och framför allt 16 GB RAM-minne och ett dedikerat grafikkort.

LM Studio, det enklaste

Det enklaste sättet som jag har funnit för att kunna använda en textchat som drivs av AI och ett gratis LLM är genom installationen av programmet LM Studio. Jag kan inte utesluta att det finns enklare program (eftersom alternativen verkligen är många), men låt oss säga att jag blev nöjd med detta).

LMStudio är inte open source, så det nämns lite i olika guider, men det fungerar verkligen bra, är enkelt att installera och aktivera, kräver inga extra paket och är klart att användas.

Efter nedladdning och installation kommer det att be om att ladda ner en LLM-modell och valet kan vara Gemma, Mistral eller Llama som kan användas fritt.

I utvecklarsektionen kan du ladda upp den nedladdade LLM-modellen till datorn och i upptäcktssektionen kan du hitta nedladdningsbara LLM-modeller, bland vilka Gemma 2 2B och Llama 3.2 är de rekommenderade eftersom de tar upp mindre diskutrymme.

Program för open source AI och LLM-modeller på datorer lokalt

Om man vill ha en helt open source-lösning, kan man installera programmet Ollama, gratis. Att använda Ollama är dock något mer komplicerat. För det första måste man ladda ner kommandotolken Python till PC och sedan installera ett grafiskt gränssnitt.

Python kräver ingen konfiguration, även om man måste försäkra sig om att sökvägen är...

Installationen ska läggas till i miljövariablerna på datorn (i Windows, sök efter miljövariabler i startmenyn).

Via Python-kommandot (i ett Windows kommandofönster), kan du ladda ner LLM för Ollama. Här kan du också välja en modell Llama 3.2 eller Gemma 2 (som kräver mindre RAM-minne) eller även Mistral, som är större. På Ollamas Github-sida finns kommandona som ska köras för att ladda ner.

Till exempel, för att ladda ner Llama 3.2, med Ollama igång, måste du öppna en kommandotolk i Windows (eller Terminal) och skriva kommandot ollama run llama3.2.

Ollama i sig är en serverapplikation som körs i bakgrunden; för att använda chatten krävs ett grafiskt gränssnitt.

Det bästa gränssnittet för Ollama är Open Web UI, som dock kräver installation av programmet Docker (som måste startas och lämnas i bakgrunden) samt körning av vissa kommandon i terminalen (förklarade på projektets sida).

Enklare program är som Msty (gratis för privat bruk), Anything LLM (enkel och inkluderar även Ollama) och även ConfyChat, gratis och öppen källkod, mer grundläggande och enkel, bara att ladda ner och köra (i Windows, kör filen confichat.exe).

Eftersom Ollama är en serverapplikation går det att få tillgång till AI-chatten, till exempel den i ConfyChat, även via smartphone genom att öppna den angivna webbsidan (vanligtvis på adressen 127.0.0.1:portnummer), förutsatt att smartphone är ansluten till samma wifi-nätverk som datorn.

På detta sätt blir det enkelt att ha en textbaserad AI som ChatGPT. Lösningar som LM Studio, även om de inte är öppen källkod, är mycket effektiva, speciellt på mindre kraftfulla datorer. Ollama fungerar också utmärkt på min dator med 16 GB RAM, och ett grafikkort från några år tillbaka verkar inte lida av långsamhet.

Kan man chatta med AI LLM på smartphone?

Ja, det finns några appar för att installera LLM lokalt på Android, som Private AI eller Chatllama eller LM Playground, som automatiskt laddar ner de lättare modellerna för att använda och prova.

Det är ännu bättre att göra på iPhone, tack vare appen MyOllama, som kostar 3 euro.

Nyt kun olet lukenut Installera gratis AI-chat och LLM-modeller på PC, lokalt och offline loppuun, kutsumme sinut tutustumaan lisää Sovellus-kategoriaan. Löydät sieltä muita mielenkiintoisia artikkeleita, jotka laajentavat tietojasi ja pitävät sinut ajan tasalla. Älä lopeta lukemista ja löytämistä!