Toodud näites peitub kaks olulist õppetundi. Esiteks, kuigi meile intuitiivselt tundub, et ühiskond on alati võimsam kui üksikisik või seltskond, siis sel ammusel päeval ei kirjutanud ajalugu mitte ühiskond, vaid üks konkreetne inimene — Petrov! Teiseks, kuigi intuitsioon ütleb meile, et ühiskond tervikuna on tark ja suudab adekvaatselt reageerida kõikidele ettetulevatele ohtudele, ei ole ühiskond siiamaani aru saanud, et tol päeval juhtus midagi erilist.
Arusaadav, miks meie intuitsioon on just selline: ta on välja kujunenud ajal, mil meie kõige arenenum tehnoloogia oli toika otsa kivi kinnitamine ja iga järgneva generatsiooni elu ei erinenud palju eelmisest. Meie kultuuriline mälu sisaldas toona retsepte kõigi ettetulevate probleemidega tegelemiseks.

Kui nüüd mõelda 21. sajandi tehnoloogiate peale — tehnoloogiate, millest osa on palju võimsamad kui see, mida Petrov käsutas –, siis peaks olema selge, et meie intuitsioon ei kõlba tänapäevaste probleemide lahendamiseks. Meie tulevikku määravad järjest enam üksikisikud ja väikesed grupid, kes kontrollivad võimsaid tehnoloogiaid. Kuna kultuurilises mälus asub selle koha peal lünk, siis ühiskond tervikuna on kriitiliste olukordade ennustamiseks ja tagajärgedega tegelemiseks täiesti ebakompetentne.

Klassikalise dihhotoomia asemel, mis vastandab indiviidi huve (nagu tervis ja perekond) ühiskonna huvidele (nagu toimiv majandus ja seadused), peame nüüd arvestama trihhotoomiat: indiviid vs. ühiskond vs. tulevikuühiskond. Meil on kolmetasemeline väljakutsete hierarhia. Esiteks indiviidi probleemid, teiseks traditsionaalsed ühiskondlikud probleemid ja kolmandaks probleemid, mille puhul meie kultuuriline mälu on puudulik, aga mis selgelt mõjutavad tulevikuühiskonna käekäiku.
Evolutsioon on meid kui sotsiaalseid olendeid üle saja tuhande aasta lihvinud indiviidi ja ühiskonna huve tasakaalustama. Meile on külge kruvitud instinktid, mis takistavad trihhotoomia kolmanda taseme nägemist, rääkimata sellega tegelemisest. Inimestel on välja arenenud mehhanismid, mis soodustavad ühiskondlikult kasulikke tegevusi. Nimelt antakse isikutele, kes on ühiskonnale kasulikud, tagasisidena tunnustust ja sotsiaalne staatus. Probleem on selles, et sotsiaalse staatuse oravarattale sattunud inimesed tegutsevad sageli selgelt alla oma võimete.
Esiteks, nad eelistavad projekte, mis tõotavad kiireid tulemusi, kuna sotsiaalse staatuse tajumiseks on seda vaja sageli kinnitada. Teiseks, kuna ühiskondlik tagasiside on tihtilugu sõltumatu tegevuse reaalsest mõjust tulevikule, siis pole oravarattas joostes põhjust olla liiga ambitsioonikas.
Kolmandaks, ühiskondlik tagasiside sõltub sellest, kuidas teised inimesed sinu tegevust mõistavad — su tegevus peab olema publikule lihtsalt arusaadav. Näiteks võib tuua Bill ja Melinda Gatesi sihtasutuse, mis katsub tegeleda võimalikult efektiivselt võimalikult suurte probleemidega (näiteks malaariaga võitlemine), piirates ennast aga valdkondadega, mida iga inimene meie planeedil suudab lihtsalt mõista.
Ma ei taha kuidagi halvustada isiklikule õnnele ja traditsioonilistele ühiskondlikele probleemidele pühendunud inimesi. Otse loomulikult on ka isiklik õnn oluline, et terve mõistuse juurde jääda ja isiklikku efektiivsust säilitada. Ent oleks kahju, kui tulevikuühiskondadel on minevikku vaadates põhjust olla kurb selle üle, mis me võimalustest hoolimata tegemata jätsime.

Oma tegude tagajärgedele saja või tuhande aasta perspektiivis mõtlejaid tuleb õnneks järjest juurde. Ma küll pole veel tabanud üldist retsepti, mis aitaks inimestel sotsiaalse staatuse oravarattast väljuda ja hakata mõtlema ka tulevikuühiskonna käekäigule, aga ma võin rääkida, mis juhtus minuga.

Esimese maitse üleilmsest mõjust sain ma suhu tiimis, mis arendas välja failivahetusprogrammi Kazaa. Mäletan, kuidas istusime kord Kazaa tiimiga mu tagasihoidlikus Mustamäe korteris: jõime veini ja arutasime, et „ahhaa, selline ongi siis tunne olla enamiku internetiliikluse põhjustajaks”. Tol hetkel moodustasid nimelt enamiku internetitorudes liikuvatest bittidest Kazaa kasutajate üles- ja allalaaditavad failid. Mõni aeg hiljem lõi sama tiim Skype’i ja kui inimesed mõnikord minult küsivad, mis tunne oli olla nii suure asja nagu Skype’i loomise ja kasvu juures, siis on mu vastus: „Tunne oli tuttav.”
Täiesti uudne oli aga hetk 2005. aastal, kui Skype maha müüdi ja nägin rööbaste lõppu — mida ma siis nüüd tegema hakkan, kui olen oma elutöö nii noorest peast ära teinud? Kas leppida sellega, et Skype jääb mu suurimaks saavutuseks, või otsida midagi veelgi suuremat, mispeale tekib küsimus: mida sõna „suur” üldse tähendab? Raha, mõjutatud elukäike või hoopis midagi muud?
Selgus tuli paar aastat tagasi, kui sattusin lugema blogisid Overcoming Bias ja Less Wrong. Sain aru, kuidas meie ürgajast pärit instinktid juhivad maailma, kuigi pole võimelised tänapäevaga toime tulema. Mõistsin, et kui tahta oma mõju tulevikule maksimeerida, pean käituma nagu kaalutlev investor: otsima valdkondi, millel on tohutu potentsiaal, aga mida üldiselt kiputakse alahindama.
Suurima alahinnatud ala leidsin valdkonnast nimega „eksistentsiaalsed riskid” — potentsiaalsed üleilmsed katastroofid, mis võivad korraga hävitada terve inimliigi. Kitsamalt tegelen ma nüüd tehisintellekti ja tema kontrollimise probleemiga. Annetan raha organisatsioonidele, kes selle probleemiga tegelevad, jälgin toimuvaid uurimistöid ja katsun tehisintellekti arendajaid tulemustest teavitada, kasutan ära oma tausta, et inimesi kuulama panna.

Nii palju, kui ma näinud olen, tehisintellekti loojad praegu kahjuks ettevaatlikkusega ei hiilga. Palehigis mõeldakse, kuidas ehitada tehisintellekt, mis inimestest ikka targem saaks. Ent tuleviku seisukohalt on hoopis olulisem välja mõelda, kuidas inimestest targemat tehisintellekti kontrollida — see on osutunud keerulisemaks probleemiks kui tehisintellekti loomine. Veelgi enam, see probleem tuleb lahendada enne, kui esimene tehisintellekt valmib! Kujutage näiteks ette superintelligentset masinat, mis meist miljardeid kordi kiiremini mõtleb — tema vaatevinklist oleme paigale tardunud kujud, millest vajaduse korral saab vett ja süsinikku ammutada.
Kuna isikliku õnne seisukohast pole liigi kui terviku käekäik inimesele otseselt oluline ja kuna kultuurilises mälus pole jälgegi inimliigi väljasuremisest ega tehisintellektist, siis kõlab sellise teemaga tegelemine paljudele lihtsalt eks­tsentrilise veidrusena.

Kuid inimkond on tehnoloogia arengu tõttu jõudnud olukorda, kus maailma ja isegi universumi tulevik ei sõltu enam ühiskonnast, vaid konkreetsetest indiviididest, kelle käeulatuses on punased nupud. Selles uudses maailmas hakkama saamiseks on meil vaja inimesi, kes usaldavad mõistust rohkem kui oma ürgseid instinkte.
Oluline on meeles pidada fakti, et universum sisaldab ka meie lapsi. Seega rääkis see kirjatükk tegelikult meie laste elude päästmisest.

Artikkel põhineb mullu Singularity Summitil New Yorgis ja konverentsil „Visioonist lahendusteni” Tallinnas peetud ettekannetel.