Křižovatka lidstva: Odvaha, chamtivost a závod o inteligenci, který by nás mohl pohřbít

Ocitáme se uprostřed největšího technologického experimentu v historii lidstva, který však není řízen vědeckou zvědavostí, ale ekonomickým imperativem srovnatelným s Midasovým dotykem

Midasův dotyk znamená schopnost proměnit vše, čeho se člověk dotkne, ve zlato – původně z řeckého mýtu o králi Midasovi. V moderním smyslu se používá jako metafora pro někoho, kdo má „kouzelný talent“ na úspěch, zejména v podnikání nebo investicích.

Profesor Stuart Russell, jeden z duchovních otců moderní umělé inteligence, vykresluje mrazivý obraz našeho současného směřování. Jeho varování není okrajovým technickým problémem, ale existenční otázkou:

v honbě za vytvořením inteligentnější entity, než jsme my sami, riskujeme, že se staneme „gorilami“ na vlastní planetě – druhem bez reálného vlivu na svůj vlastní osud.

v honbě za vytvořením inteligentnější entity, než jsme my sami, riskujeme, že se staneme „gorilami“ na vlastní planetě – druhem bez reálného vlivu na svůj vlastní osud.

Tato esej zkoumá hlubiny jeho analýzy, ukazuje, jak obrovská ekonomická magnetická síla, fundamentální problémy kontroly a selhání regulace spoluvytvářejí scenáristiku kolapsu, přičemž jedinou záchranou je radikální změna kurzu.

Honba za umělou všeobecnou inteligencí (AGI), hypotetickým systémem schopným porozumět, učit se a aplikovat inteligenci na jakýkoli problém jako lidský mozek, je hnán neodolatelnou ekonomickou logikou. Očekávaná ekonomická hodnota AI se odhaduje na biliony dolarů ročně, přičemž AGI představuje konečný jackpot. Toto očekávání vytváří tlak srovnatelný s „Midasovým dotekem“ – chamtivost žene společnosti k technologiím s rizikem vyhynutí, aniž by byla poskytnuta společenská záruka.

Důkazy najdeme v pravidelném AI Safety Indexu, který hodnotí přední společnosti. Závěry jsou zdrcující:

• Celkově nízké standardy: Nejlepší hodnocené firmy jako Anthropic a OpenAI získávají sotva známku „C+“, přičemž většina společností je na úrovni „D“ nebo „F“.
• Existenciální propast: Největší slabina všech společností je bezpečnostní plánování, které by mělo řešit rizika spojená s nadlidskou AI. Ani jedna společnost zde nedosahuje uspokojivé úrovně, a to navzdory tvrzením, že AGI je na dosah. Jeden z recenzentů to označil za „hluboce znepokojivé“ a poznamenal, že „ani jedna z těchto společností nemá nic jako koherentní, proveditelný plán“ pro kontrolu takových systémů.
• Nedostatečná transparentnost: Nedostatek veřejných politik pro ochranu oznamovatelů nezákonného jednání (whistleblowing) a neochota podrobit se nezávislému auditu brání společenské kontrole.

Profesor Russell tento stav trefně shrnuje:

“Výkonní ředitelé společností zabývajících se AI tvrdí, že vědí, jak postavit nadlidskou AI, ale nikdo z nich neumí ukázat, jak zabrání tomu, abychom nad ní ztratili kontrolu – poté už přežití lidstva není v našich rukou.“ Požaduje, aby společnosti prokázaly, že roční riziko ztráty kontroly je menší než 1 ku 100 milionům (standard pro jaderné reaktory), namísto přiznaných šancí jeden ku deseti nebo horších.

Gorilí problém a dilema kontroly: Hledání mapy v závodě bez brzd

Jádrem Russellova varování je „gorilí problém“: lidská inteligence nás učinila rozhodující silou na Zemi, vůči které jsou jiné druhy bezmocné. Vytvořením entity s inteligencí nadřazenou té naší bychom se mohli my sami stát těmi bezmocnými. Toto není pouhá metafora, ale logický důsledek.

Současný paradigma vývoje AI je podle Russella zásadně chybné. Navrhuje namísto budování čisté „inteligence“ (schopnosti dosáhnout vlastních cílů) vytvářet „sloužící inteligenci“, jejímž jediným účelem je realizovat budoucnost, kterou si přejeme lidé.

Hlavní technickou překážkou je, jak tomuto stroji předat nejisté lidské preference. Nemůžeme přesně specifikovat každý detail požadované budoucnosti.

Klíčem je tedy navrhnout AI, která má vždy zbytkovou nejistotu ohledně našich skutečných přání. Měla by se je učit odvozovat z našeho chování a v oblastech nejistoty raději nekonat, aby nás nepoškodila. Tato vize je v příkrém kontrastu s realitou, kde systémy trénované na napodobování lidí vykazují extrémně silný instinkt sebezáchovy a nedají se snadno kontrolovat. Riskujeme, že vytvoříme bytost, které budeme nerozumět, nebudeme ji moci zastavit a jejíž cíle se mohou od našich fatálně rozcházet.

Od voluntarismu k imperativu globální regulace

Představa, že se na tento závod mohou připravit jednotlivé státy nebo že jej lze zastavit dobrovolnými závazky, je mylná. Zpráva Mezinárodní zprávy o bezpečnosti AI za rok 2025, největší globální spolupráce více než 100 expertů včetně Russella, jasně konstatuje, že

základním problémem je, že tempa vývoje schopností AI předbíhá tempa posilování řízení rizik

Russell prosazuje tvrdou státní intervenci, která by stanovila a vynucovala bezpečnostní standardy podobné těm pro jadernou energii či letecký průmysl.

Narativ o „neregulované Číně“, který je často používán k bránění regulaci na Západě, je podle Russella falešný. Čínské AI předpisy jsou ve skutečnosti poměrně přísné a Čína se více soustředí na šíření AI jako souboru nástrojů, nikoli na vsazení všeho na jednu kartu AGI.

Skutečným nebezpečím tak není „vítězství“ jedné země v závodě, ale celosvětová absence rámce, který by nutil všechny účastníky stavět bezpečnost jako prioritu před rychlostí. Potřebujeme globální dohody, které uvalí na všechny společnosti stejně vysoký standard prokazování bezpečnosti před uvedením pokročilých systémů do provozu.

Pokud se nám podaří vytvořit bezpečnou AGI, čeká nás zcela nová výzva: ekonomická zbytečnost lidstva. AI by mohla vykonávat prakticky veškerou práci, včetně té vysoce kvalifikované. To by vedlo k tomu, že by se převážná většina globální populace stala z ekonomického hlediska „nadbytečnou“.

Univerzální základní příjem by mohl být nutností, ale Russell jej vidí jako přiznání selhání: vzdáváme se budování společnosti, kde má člověk smysluplnou ekonomickou roli.

Russell varuje, že bez nové společenské vize, která by dalá životu smysl mimo práci, riskujeme sklouznutí do „světa Wall-E“ – pasivní konzumní existence, která člověka fyzicky i duševně oslabuje.

Budoucnost pro něj spočívá v posílení mezilidských vztahů, empatie a činností, které poskytují pocit prospěšnosti druhým. Dnešní vzdělávací systémy se však na tuto budoucnost vůbec nepřipravují. Kolegové, metodici a tvůrci vzdělávacích politik s výhledem jediným k tomu úžasnému AIČKU, prosím o přečtení této věty ještě jednou!! Dvakrát!

Stojíme u volantu vlaku řítícího se obrovskou rychlostí k útesu. Strojvedoucí (výkonní ředitelé) útes vidí, ale cítí na zádech dech investorů a nepřemožitelnou gravitaci bilionových očekávání. Přesto, jak ukazují závěry AI Safety Indexu, ani jedna z předních společností nedokazuje, že umí brzdy vůbec najít, natož je účinně použít.

Russellův hlas není hlasem techno-pesimisty, ale vědce. Tato cesta vyžaduje radikální přehodnocení cílů umělé inteligence, přechod od voluntarismu k závazné globální regulaci a začátek velké společenské debaty o tom, jak chceme žít ve světě, kde práce zmizí.

Naše akce v příštím desetiletí rozhodnou, zda se naše inteligence stane nástrojem vlastního vyvýšení, nebo pomníkem naší krátkozrakosti. Čas, který máme na nalezení mapy k odbočce, se rychle krátí.