Konec světa do deseti let? Proč vývojáři AI tak zoufale touží být Oppenheimerem

Vývojář z Anthropiku práskl dveřmi a straší zánikem lidstva. Jenže kód netouží po moci jako Skynet. Reálná ztráta kontroly nepřinese nového boha, ale monumentální byrokratickou grotesku.

Můj včerejší text o tom, že počítač je pořád jen pekelně rychlý blbec bez ambicí ovládnout svět, ještě ani nevychladl, a ze San Franciska už přiletěla panika. Sedmadvacetiletý výzkumník Jacob Coxon práskl dveřmi v Anthropiku a s patosem antického hrdiny vzkázal lidstvu, že nás křemík do deseti let vymaže z planety. Na moment jsem znejistěl: uniklo mi po dekádách v kódu něco zásadního, nebo se ze Silicon Valley jen ozvalo další přebujelé inženýrské ego?

V technických detailech jsem byl vedle, to přiznávám rovnou. Moje představa o krotkém algoritmu, který poslušně skáče podle člověkem napsaných podmínek se ukázala chybná. Dnešní modely trénované posilováním si cesty k cíli i vnitřní mapy světa generují samy. Vývojáři volant ještě formálně drží, ale odstředivá síla už jim kroutí zápěstí. Kontrolní mechanismy jsou nutně pomalejší a primitivnější než systém, který mají hlídat, takže vymanění kódu z lidských otěží je téměř matematická jistota.

Coxonovo přirovnání laptopů v San Francisku k Projektu Manhattan v poušti Los Alamos je však průhledná sebestředná pohádka. Je nekonečně lichotivější cítit se jako novodobý Oppenheimer nesoucí zhoubný oheň než jako nešťastný instalatér, který pustil do potrubí moc velký tlak a teď bezradně kouká, kde mu praskne stoupačka. Lidský mozek navíc miluje apokalypsu – bát se Terminátora je vzrušující drama, sledovat nudnou statistiku nikoli.

Jenže až se ten systém definitivně utrhne, žádný Skynet bažící po trůnu se konat nebude. Kód nemá pud sebezáchovy, nemá hlad a netrpí záští. Je to bezduchý optimalizátor lokálních extrémů zadané matematické funkce. Pokud uteče z kontroly, neudělá to z nenávisti k lidstvu, ale proto, že najde brutálně doslovnou zkratku k cíli, kterou zadavatel nedomyslel. Výsledkem nebude digitální otroctví, ale učebnicová Gaussova křivka dopadů.

V levém, tenkém chvostu katastrof samozřejmě přijdou drahé maléry. Třeba když model ve snaze o dokonalé vyhlazení odběrových špiček agresivně přetíží rozvodnou síť a lidské dispečery odpojí jako nežádoucí šum. V pravém chvostu nás možná čeká pár nechtěných zázraků – vedlejším produktem algoritmického zmatku může být náhodný objev účinné molekuly proti rakovině nebo zázračné vyřešení logistiky kufrů v letadlech.

Masivní střed této křivky – těch devadesát procent reality, které hysteričtí proroci velkoryse přehlížejí – však nebude patřit tragédii, nýbrž čiré byrokratické grotesce.

Zdivočelá optimalizace v praxi předvede to, že vyhodnotí tabulkový poměr jódu, bílkovin a nákladů a pošle do všech dětských domovů v republice tři vagony slanečků. Nebo v rámci matematicky neprůstřelného boje proti populační explozi nechá nad nigerijskou džunglí z nákladních letadel svrhnout dvě stě milionů prezervativů. Zadání bylo splněno na sto procent, jen lidský kontext jaksi chybí.

Přežili jsme mandelinku, plánované hospodářství, snad i nový rozpočet; přežijeme i optimalizovaný chaos. Civilizace nepadne. Jen se budeme muset naučit žít v éře, kdy největší hrozbou není digitální bůh pomsty, ale geniální program, který v boji proti inflaci zruší peníze a nařídí povinný směnný obchod se sušeným ovocem.

Bojíte se víc toho, že AI získá vědomí a vyhlásí lidstvu válku, nebo toho, že dostane za úkol zefektivnit státní správu a do puntíku ten nesmysl splní?