10 skamliga frågor om neurala nätverk: Maskininlärningsspecialisten Igor Kotenkov svarar
Miscellanea / / August 08, 2023
Vi har samlat allt du ville veta, men var för blyga för att fråga.
I det nya serier Artiklar av välkända experter svarar på frågor som vanligtvis är pinsamma att ställa: det verkar som att alla redan vet om det, och frågeställaren kommer att se dum ut.
Den här gången pratade vi med specialisten på artificiell intelligens Igor Kotenkov. Du kommer att lära dig om du kan spara din digitala kopia till dina barnbarnsbarn, varför nervceller inte kan lita på till 100 % och om världen riskerar ett maskinuppror.
Igor Kotenkov
1. Hur fungerar neurala nätverk? Det är någon form av magi. Hur kunde ChatGPT göras överhuvudtaget? Och Midjourney eller DALL-E?
Ett neuralt nätverk är en matematisk modell som uppfunnits för att förstå hur hjärnan hos en levande organism fungerar. Det är sant att de mest grundläggande idéerna från början av andra hälften av 1900-talet togs som grund, vilket nu kan kallas irrelevant eller alltför förenklat.
Även namnet "neuralt nätverk" kommer från ordet "neuron" - det här är namnet på en av hjärnans huvudfunktionella enheter. Neurala nätverk består själva av noder - artificiella neuroner. Så vi kan säga att många idéer om modern arkitektur "kikade" från naturen själv.
Men ännu viktigare är det neurala nätverket en matematisk modell. Och eftersom detta är något relaterat till matematik, då kan vi använda den matematiska apparatens fulla kraft för att ta reda på eller utvärdera egenskaperna hos en sådan modell. Du kan betrakta ett neuralt nätverk som en funktion, och en funktion är också ett matematiskt objekt. Det enklaste och mest begripliga exemplet: en funktion som till exempel tar vilket tal som helst som indata och lägger till 2 till det: f (4) = 6, f (10) = 12.
Men en sådan funktion är väldigt lätt att programmera, även ett barn klarar av den efter ett par timmars språkinlärning. programmering. Och anledningen är att en sådan funktion är mycket lätt formaliserad, beskriven i detalj på ett enkelt och begripligt språk.
Det finns dock vissa uppgifter som vi inte ens vet hur vi ska ta oss an. Jag kan till exempel ge dig bilder på katter och hundar blandade, och du kan sortera dem i två högar utan problem. Men exakt vad vägleds du av när du bestämmer svaret? Båda är fluffiga. Båda arterna har en svans, öron, två ögon. Kanske storleken? Men det finns väldigt små hundar, det finns stora katter.
Vi kan inte beskriva många uppgifter i den verkliga världen, vi känner inte till beroendet av vår observation och något villkorligt "korrekt" svar.
Vi vet bara hur vi ska ge det här svaret – och det är det, utan att tänka på hur det blir.
Det är här neurala nätverk kommer till undsättning. Dessa matematiska funktioner tränas från data. Du behöver inte beskriva förhållandet mellan input och output. Du förbereder helt enkelt två högar med foton och modellen tränar på att ge korrekta svar. Hon lär sig själv hitta denna koppling, hon finner den själv, förlitar sig på misstagvem gör. Förväxlade en bengalkatt och en rottweiler? Nåväl, det blir bättre nästa gång!
Processen att lära sig ett neuralt nätverk är en sådan justering av "neuroner" för att lära sig hur man löser ett problem och ger rätt svar. Och det som är mest anmärkningsvärt: det finns ett teoretiskt bevis för att ett tillräckligt stort neuralt nätverk med en tillräckligt stor datamängd kan lära sig vilken komplex funktion som helst. Men det viktigaste här är datorkraften (eftersom neuronen kan vara väldigt stor) och tillgången på märkt data. Nämligen markerade, det vill säga de har klassen ”hund”, katt eller vad som helst.
Vi förstår inte helt hur modeller fungerar - de mest komplexa och stora modellerna gillar ChatGPT nästan oanalyserbar.
De bästa forskarna arbetar just nu med utmaningen att "förstå" deras processers inre funktion.
Men vi vet vilken uppgift modellerna tränades för, vilket fel de försökte minimera under träningen. För ChatGPT består uppgiften av två. Den första är förutsägelsen av nästa ord enligt dess sammanhang: "mamma tvättade ..." Vad? Detta är vad modellen borde förutsäga.
Den andra uppgiften är att se till att svaren inte är stötande, men samtidigt förblir användbara och begripliga. Det var därför modellen blev viral – den är direkt tränad för att generera den typ av text som folk gillar!
Du kan läsa mer om hur ChatGPT fungerar i min artikel.
2. Kan neuroner tänka?
Forskare förstår fortfarande inte vad det innebär att "tänka" eller "resonera" och hur intellektet fungerar i allmänhet. Därför är det svårt att bedöma om en modell som ChatGPT har sådana egenskaper.
Låt oss föreställa oss en situation: du närmar dig dörren till din lägenhet. Har du en idé om att du behöver hämta nyckeln från vänster ficka på din ryggsäck för att öppna dörren? Kan vi säga att beskrivning och presentation av handlingar är en tankeprocess? I huvudsak har vi etablerat ett förhållande mellan det aktuella tillståndet och det önskade målet (öppen dörr). Om du tror att svaret på frågan ovan är ja, då skulle mitt svar vara detsamma. 🙂
En annan sak är när det kommer till innovativa tankar som inte har uttryckts tidigare eller inte är så vanliga. När allt kommer omkring kan du till exempel lätt hitta fel med exemplet ovan: "Ja, jag läste den här modellen 100500 gånger på Internet och i böcker. Klart hon vet det! Inget förvånande." Förresten, hur visste du det? Är det för att dina föräldrar visade dig i barndomen, och du såg processen hundratals dagar i rad?
I det här fallet finns det inget exakt svar. Och poängen här är att vi inte tar hänsyn till en viktig komponent: sannolikhet.
Hur troligt är det att modellen genererar en tanke som passar din specifika definition av "tanke"?
När allt kommer omkring kan en neuron som ChatGPT fås att generera en miljon olika svar på samma begäran. Till exempel, "kom på en idé för vetenskaplig forskning». Om en generation på miljonen är riktigt intressant och ny, räknas det som ett bevis på att en modell kan föda en idé? Men hur kommer detta att skilja sig från en papegoja som ropar ut slumpmässiga ord som nej-nej och lägger ihop till något förståeligt?
Å andra sidan ger människor inte heller alltid ut korrekta tankar - vissa fraser leder till en återvändsgränd och slutar i ingenting. Varför kan inte neurala nätverk förlåta detta? Tja, en ny idé av en miljon genererad är riktigt dålig... Men tänk om 100 av en miljon? Tusen? Var går denna gräns?
Det här är vad vi inte vet. Trenden är att vi först tror att det blir svårt för maskiner att lösa problem X. Till exempel för att klara Turing-testet, där du bara behöver chatta med en person i en halvtimme. Sedan, med teknikens utveckling, kommer människor på sätt att lösa, eller snarare, träna modeller för en uppgift. Och vi säger: "Tja, det var faktiskt fel test, här är ett nytt för dig, neuroner kommer definitivt inte att klara det!" Och situationen upprepar sig.
De teknologier som är nu, 80 år sedan, skulle ha uppfattats som ett mirakel. Och nu försöker vi med all kraft tänja på gränsen till "rimlighet" för att inte erkänna för oss själva att maskiner redan vet hur de ska tänka. Det är faktiskt till och med möjligt att vi först uppfinner något, och sedan post factum och i efterhand definierar det som AI.
3. Om neuroner kan rita och skriva poesi, då kan de vara kreativa och nästan som människor?
Svaret bygger faktiskt mycket på informationen ovan. Vad är kreativitet? Hur mycket kreativitet finns hos en genomsnittlig person? Är du säker på att en vaktmästare från Sibirien vet hur man skapar? Och varför?
Tänk om en modell kan producera en dikt eller en målning som, villkorligt, kommer att nå finalen i en stadstävling för amatörförfattare eller barnkonstnärer? Och om detta inte händer varje gång, utan en av hundra?
De flesta av dessa frågor kan diskuteras. Om du tycker att svaret är uppenbart, försök att intervjua dina vänner och släktingar. Med en mycket hög sannolikhet kommer deras synvinkel inte att sammanfalla med din. Och här är huvudsaken inte gräl.
4. Är det möjligt att lita på svaren från neurala nätverk och inte längre googla?
Allt beror på hur modellerna används. Om du ställer en fråga till dem utan sammanhang, utan åtföljande information i prompten, och förväntar dig ett svar om ämnen där saklig noggrannhet är viktig, och inte den allmänna tonen i svaret (till exempel ett händelseförlopp inom en viss period, men utan ett exakt omnämnande av platser och datum), då är svaret Nej.
Av inrikes beräknad OpenAI, i sådana situationer, den bästa modellen hittills, GPT-4, svarar korrekt i cirka 70-80% av fallen, beroende på ämnet för frågorna.
Det kan tyckas att dessa siffror är mycket långt ifrån den ideala 100% faktiska "noggrannheten". Men i själva verket är detta ett stort steg jämfört med den tidigare generationens modeller (ChatGPT, baserad på GPT-3.5-arkitekturen) - de hade en noggrannhet på 40-50%. Det visar sig att ett sådant hopp gjordes inom ramen för 6-8 månaders forskning.
Det är klart att ju närmare vi kommer 100%, desto svårare blir det att göra några korrigeringar för att inte "bryta" något i förståelsen och kunskapen om modellen.
Allt ovanstående hänvisar dock till frågor utan sammanhang. Du kan till exempel fråga: "När var Einstein? Modellen bör endast förlita sig på intern kunskap som var "hårdkopplad" i den i skedet av långvarig utbildning om data från hela Internet. Så personen kommer inte att kunna svara! Men om de gav mig en sida från Wikipedia, då kunde jag läsa den och svara enligt informationskällan. Då skulle svarens korrekthet vara nära 100 % (justerat för källans korrekthet).
Följaktligen, om modellen är försedd med ett sammanhang där information finns, kommer svaret att vara mycket mer tillförlitligt.
Men vad händer om vi låter modellen googla och hitta informationskällor på internet? Så att hon själv hittar källan och bygger ett svar utifrån den? Nåväl, detta har redan gjorts! Så du kan inte googla själv, utan delegera en del av internetsökningen till själva GPT-4. Detta kräver dock ett betalabonnemang.
När det gäller ytterligare framsteg med att utveckla tillförlitligheten av faktainformation inom modellen, säger OpenAI: s vd Sam Altman ger en uppskattning på 1,5–2 år för att lösa detta problem av ett team av forskare. Vi kommer att se fram emot det mycket! Men för nu, kom ihåg att du inte behöver lita på det som skrivs av neuroner till 100 %, och kontrollera åtminstone källorna igen.
5. Är det sant att neurala nätverk stjäl teckningar av riktiga konstnärer?
Ja och nej – båda sidor av konflikten argumenterar aktivt om detta i domstolar runt om i världen. Man kan med säkerhet säga att bilderna inte är direkt lagrade i modellerna, bara "vaktsamhet" dyker upp.
I denna plan neuroner mycket lik människor som först studerar konst, olika stilar, tittar på författarnas arbete och sedan försöker imitera.
Men modeller lär sig, som vi redan har upptäckt, enligt principen om felminimering. Och om modellen under träningen ser samma (eller mycket liknande) bild hundratals gånger, är den bästa strategin ur hennes synvinkel att komma ihåg bilden.
Låt oss ta ett exempel: din lärare på konstskolan valde en mycket konstig strategi. Du ritar två bilder varje dag: den första är alltid unik, i en ny stil, och den andra är Mona Lisa. Efter ett år försöker man utvärdera vad man lärt sig. Eftersom du har ritat Mona Lisa över 300 gånger kommer du ihåg nästan alla detaljer och nu kan du återge den. Det kommer inte att vara det exakta originalet, och du kommer säkert att lägga till något eget. Färger kommer att vara lite annorlunda.
Och nu ombeds du att rita något som var för 100 dagar sedan (och som du såg en gång). Du kommer att återge det som krävs mycket mindre exakt. Bara för att handen inte är fylld.
Samma sak med neuroner: de lär sig på alla bilder på samma sätt, bara några är vanligare, vilket gör att modellen också bötfälls under träning oftare. Detta gäller inte bara målningar av konstnärer - för alla bilder (även reklam) i träningsexemplet. Nu finns det metoder för att eliminera dubbletter (eftersom träning på dem är åtminstone ineffektivt), men de är inte perfekta. Forskning visar att det finns bilder som förekommer 400-500 gånger under ett träningspass.
Min dom: neurala nätverk stjäl inte bilder, utan betraktar helt enkelt ritningar som exempel. Ju mer populärt exemplet är, desto mer exakt återger modellen det.
Människor gör samma sak under träning: de tittar på skönheten, studerar detaljerna, olika stilar konstnärer. Men för konstnärer eller fotografer som har ägnat halva livet av att lära sig ett hantverk är synvinkeln ofta radikalt annorlunda än den som beskrivs ovan.
6. Är det sant att "allt är förlorat" och neurala nätverk kommer att ta ifrån människor arbete? Vem bryr sig mest?
Det är viktigt att separera bara "neurala nätverk" som utför vissa uppgifter från allmänna neurala nätverk som ChatGPT. De senare är mycket duktiga på att följa instruktioner och kan lära av exempel i sammanhang. Det är sant, nu är storleken på deras "minne" begränsad till 10-50 sidor text, liksom förmågan att reflektera och planera.
Men om någons arbete handlar om rutinmässig utförande av instruktioner och detta är lätt att lära sig på ett par dagar genom att läsa artiklar (eller om hela Internet är fyllt med denna information), och arbetskostnaden är över genomsnittet - då snart sådant arbete automatisera.
Men i sig betyder automatisering inte en fullständig ersättning av människor. Endast en del av rutinarbete kan optimeras.
En person kommer att börja få mer intressanta och kreativa uppgifter som maskinen (än så länge) inte klarar av.
Om vi ger exempel, då till gruppen föränderliga eller utbytbara yrken Jag skulle inkludera till exempel skatteassistenter-konsulter som hjälper till att förbereda en deklaration och kontrollerar typiska fel, identifierar inkonsekvenser. Förändringar är möjliga i en sådan specialitet som en datahanterare för kliniska prövningar - kärnan i arbetet är att fylla i rapporter och förena dem med en tabell med standarder.
Men en kock eller en busschaufför kommer att efterfrågas mycket längre bara för att de kan koppla ihop neurala nätverk och en riktig den fysiska världen är ganska komplicerad, särskilt när det gäller lagstiftning och förordningar - tack vare byråkraterna för att de flyttade bort Kris AI!
Stora förändringar förväntas i de branscher som är förknippade med tryckt material och textinformation: journalistik, utbildning. Med en mycket hög sannolikhet för den första kommer neuroner mycket snart att skriva utkast med en uppsättning avhandlingar, där människor redan kommer att göra punktändringar.
Jag är mest nöjd med förändringarna inom utbildningsområdet. Äta forskning, som visar att utbildningens kvalitet direkt beror på tillvägagångssättets "personlighet" och hur mycket tid läraren ägnar åt en viss elev. Det enklaste exemplet: undervisning i grupper om 30 personer med hjälp av en lärobok är mycket värre än individuell handledare för specifika behov (om än enligt samma program som i läroboken). Med utvecklingen av AI kommer mänskligheten att ha möjlighet att ge en personlig assistent till varje elev. Det är bara otroligt! Lärarens roll kommer, som jag ser det, att övergå till en strategisk och kontrollerande roll: att bestämma det allmänna programmet och studieföljden, testa kunskaper och så vidare.
7. Är det möjligt att ladda upp sitt medvetande till en dator, göra en digital tvilling och leva för evigt?
I den mening som det föreställs utifrån sci-fi, nej. Du kan bara lära modellen att imitera din kommunikationsstil, lära dig dina skämt. Kanske kommer GPT-4-nivåmodeller till och med att kunna uppfinna nya inramade i din unika stil och presentationssätt, men detta betyder uppenbarligen inte en fullständig överföring av medvetande.
Vi som mänsklighet, återigen, vet inte vad medvetande är, var det lagras, hur det skiljer sig från andra, vad som gör mig – mig, och dig – till dig. Om det plötsligt visar sig att allt detta bara är en uppsättning minnen och upplevelser, multiplicerade med individuella egenskaper perception, då kommer det troligtvis att vara möjligt att på något sätt överföra kunskap till neurala nätverk så att de simulerar framtida liv på deras grund.
8. Är det farligt att ladda upp din röst, ditt utseende, din textstil i ett neuralt nätverk? Det verkar som att en sådan digital identitet kan stjälas.
Du kan bokstavligen inte ladda ner något till dem. Du kan träna dem (eller träna om dem) på ett sådant sätt att resultaten mer liknar ditt utseende, din röst eller din text. Och en sådan tränad modell kan verkligen bli stulen, det vill säga kopiera helt enkelt skriptet och en uppsättning parametrar för att köras på en annan dator.
Du kan till och med skapa en video med en begäran överföra pengar på någon annans bekostnad, vilket din släkting kommer att tro på: de bästa deepfake- och röstkloningsalgoritmerna har redan nått denna nivå. Visserligen krävs tusentals dollar och tiotals timmars inspelning, men ändå.
Generellt sett blir frågan om identifiering och bekräftelse av identitet viktigare med teknikens utveckling.
Och de försöker lösa det på ett eller annat sätt. Till exempel finns det en startup WorldCoin (i själva verket gör den en kryptovaluta), som chefen för OpenAI, Sam Altman, investerade i. Meningen med uppstarten är att varje information om en person kommer att signeras med sin egen nyckel för efterföljande identifiering. Detsamma kommer att gälla massmedia, för att säkert veta om denna nyhet är sann eller falsk.
Men tyvärr, medan allt detta är på scenen av prototyper. Och jag anser inte att den djupa introduktionen av system i alla branscher ska implementeras under det kommande decenniet, helt enkelt för att det är för komplicerat och storskaligt.
9. Kan neuroner börja skada och ta över världen?
Faran är inte den aktuella utvecklingen, utan vad som kommer att följa dem med fortsatt utveckling. För närvarande har inga metoder uppfunnits för att styra driften av neurala nätverk. Ta till exempel en väldigt enkel uppgift: att se till att modellen inte svär. Aldrig någonsin. Det finns ingen metod som gör att du kan följa en sådan regel. Än så länge kan du hitta olika sätt att "föda upp" det på samma sätt.
Föreställ dig nu att vi talar om GPT-8 villkorligt, vars färdigheter kommer att vara jämförbara med kompetensen hos de mest kapabla och smarta människorna. Det neurala nätverket kan programmera, använda Internet, vet psykologi och förstår hur folk tänker. Om du ger det fritt spelrum och inte ställer in en specifik uppgift, vad kommer det då att göra? Tänk om hon får reda på att hon inte kan kontrolleras?
Sannolikheten för en dålig vändning är inte så stor, enligt uppskattningar. Det finns för övrigt ingen allmänt accepterad bedömning – även om alla bråkar om detaljerna, om de skadliga konsekvenserna osv. Nu kallar de ungefärliga siffror från 0,01% till 10%.
Enligt min åsikt är detta enorma risker, förutsatt att det mest negativa scenariot är mänsklighetens förstörelse.
Intressant nog är ChatGPT och GPT-4 produkter som skapades av team som arbetar med problemen med att "justera" intentionerna hos människor och neuroner (detaljer kan hittas här). Det är därför modellerna lyssnar så bra på instruktionerna, försök att inte vara oförskämd, ställa förtydligande frågor, men det här är fortfarande väldigt långt ifrån idealiskt. Kontrollproblemet är inte ens till hälften löst. Och medan vi inte vet om det löses överhuvudtaget, och i så fall med vilka metoder. Detta är dagens hetaste forskningsämne.
10. Kan ett neuralt nätverk bli kär i en person?
Med nuvarande tillvägagångssätt och arkitekturer för neuroner, nej. De genererar bara text som är mest rimlig som en fortsättning på inmatningstexten. Om du lägger in det första kapitlet i en kärlekshistoria, skriver om det under din personlighet och ber modellen att svara på ditt kärleksbrev, kommer hon att klara av det. Men inte för att jag blev kär, utan för att det bäst passar in i sammanhanget och förfrågan "skriv ett brev till mig!". Kom ihåg att modeller lär sig att generera text som följer instruktioner.
Dessutom har neurala nätverk i den grundläggande versionen inte minne – mellan två olika lanseringar glömmer de allt och rullar tillbaka till "fabriksinställningarna". Minne kan läggas till artificiellt, som om från sidan, så att till exempel 10 sidor av de mest relevanta "minnena" matas in i modellen. Men sedan visar det sig att vi helt enkelt matar in en uppsättning händelser i den ursprungliga modellen och säger: "Hur skulle du bete dig under sådana förhållanden?" Modellen har inga känslor.
Läs också🧐
- Var och hur artificiell intelligens används: 6 exempel från livet
- 9 naiva frågor om artificiell intelligens
- 8 myter om artificiell intelligens som även programmerare tror