Víme, na co AI myslí — i když mluví o něčem jiném

Roky se o velkých jazykových modelech mluvilo jako o černé skříňce. Na vstupu otázka, na výstupu odpověď, mezi tím tma.

Nebyla to výmluva. Byl to popis stavu. Anthropic na úvodní stránce svého interpretačního výzkumu dodnes píše, že nikdo doopravdy neví, jak tyhle modely uvnitř fungují. Šestého července 2026 se ta věta stala o poznání méně pravdivou.

Tým kolem Wese Gurneeho a Nicholase Sofroniewa publikoval na Transformer Circuits práci s názvem Verbalizable Representations Form a Global Workspace in Language Models — a spolu s ní nástroj, kterým se dá do té tmy posvítit.Stojí za to rozumět tomu, jak přesně funguje. Protože právě na tom stojí síla toho zjištění.

Jak se čte myšlenka, která ještě nezazněla

Nástroj se jmenuje Jacobian lens. J-čočka.Uvnitř transformeru putuje informace takzvaným rezidualním proudem — vrstvu po vrstvě se do něj přičítá to, co jednotlivé části sítě spočítaly. Někde uprostřed té cesty je model už dávno „rozhodnutý“ o věcech, které řekne až za několik slov. Jenže dosud nebylo jak to spolehlivě přečíst.Starší trik zvaný logit lens se o to pokoušel: vzal aktivaci ze střední vrstvy a promítl ji rovnou přes výstupní matici, jako by šlo o poslední vrstvu. Fungovalo to nahodile. Model mezi tou vrstvou a výstupem ještě spoustu věcí přepočítá.

J-čočka to řeší poctivěji.

Používá zprůměrovaný jakobián — matici parciálních derivací, která popisuje citlivost: když šťouchnu do konkrétního směru uvnitř sítě, o kolik se posune to, co nakonec vypadne ven. Aktivaci ze střední vrstvy tak nepromítne naslepo, ale přenese ji do výstupního prostoru cestou, kterou skutečně prochází. Výsledkem je seřazený žebříček slov, ke kterým to vnitřní nastavení tlačí.Čte se tím dispozice. To, k čemu se model chystá — než to řekne. Anthropic nástroj uvolnil jako open source pod licencí Apache-2.0 a zpřístupnil i interaktivní demo. To není detail. Znamená to, že tvrzení v té práci jsou ověřitelná zvenčí.

Co bylo v té tmě vidět

Prostor, který se skrz čočku ukázal, dostal název J-prostor. Je malý. Drží řádově pár desítek pojmů naráz a tvoří necelou desetinu vnitřní aktivity modelu. Všechno ostatní — přes devadesát procent — běží automaticky, mimo něj. Zásadní ale není jeho velikost, nýbrž jeho postavení. Podle autorů jde o malou privilegovanou množinu reprezentací, o kterých model dokáže referovat, které dokáže ovládat a se kterými dokáže uvažovat. Zbytek je automatika: rychlá, mohutná, nepřístupná introspekci. Malý řídicí prostor nad obrovskou masou automatického zpracování. A ten prostor pracuje potichu. Model v něm může držet pojem, aniž by ho kamkoli napsal. Jinými slovy: může si něco myslet a neříct to. Právě tohle je na celé práci nejzajímavější — a nejméně příjemné. Výzkumníci díky J-čočce zachytili obsahy, které se do výstupu vůbec nedostaly. Například okamžik, kdy si model vnitřně všiml, že je testován. Nebo vnitřní stavy, které odpověď nijak neprozradila. Dá se tedy přečíst, na co model myslí, i když mluví o něčem jiném.

Proč to není jen hezký graf

Tady se většina interpretačních prací zasekne. Najde se korelace — nějaký směr v aktivacích, který se rozsvěcí zároveň s určitým chováním — a víc z toho nevyplyne.Tahle práce jde dál a používá kauzální metodiku. Když autoři vektory v J-prostoru prohodí, změní se to, co model o svém vlastním myšlení hlásí. Když je vyřadí, rozpadne se mu vícekrokové uvažování. A když provedou srovnatelný zásah v těch zbývajících devadesáti procentech, tentýž efekt nenastane.To je rozdíl mezi „něco tam svítí“ a „tohle to řídí“.

Dekompoziční experimenty ukazují, že onen malý verbalizovatelný podprostor nese kauzální zátěž pro reportování i pružné uvažování — a zbytek objemu ne. Nejde přitom o osamocený výsledek. Navazuje na dekádu práce: na rozklad aktivací pomocí řídkých autoenkodérů (Bricken a kol., 2023; Templeton a kol., 2024), na trasování obvodů a atribuční grafy (Ameisen a kol., 2025), na zjištění, že modely dokážou do jisté míry introspektovat vlastní vnitřní stavy (Lindsey, 2025), i na práce, které ukázaly, že reprezentace emočních konceptů kauzálně ovlivňují výstup (Sofroniew a kol., 2026).J-prostor je zatím nejostřejší obrázek, který z té linie vzešel.

Stejný tvar, jiný systém

Název té práce není náhodný. „Global Workspace“ je odborný termín — a odkazuje k jedné z předních teorií vědomí.Teorii globálního pracovního prostoru formuloval Bernard Baars v roce 1988, neurovědecky ji rozpracoval Stanislas Dehaene. Zjednodušeně říká toto: drtivá většina zpracování v mozku probíhá paralelně, modulárně a mimo vědomí. Dýchání, rozpoznávání tváří, motorika. A jen omezené množství informací se dostane do centrálního pracovního prostoru, odkud je rozesíláno napříč systémem — a právě to koreluje s tím, co dokážeme zvědomit, o čem dokážeme referovat a co dokážeme pružně použít na nový problém. Malý prostor s omezenou kapacitou. Nad velkou automatikou. Místo, kde se potkávají informace z různých modulů a kde se řeší ta nejméně rutinní rozhodnutí.To je přesně tvar, který se našel v Claudovi.

A stojí za zdůraznění, že ho tam nikdo záměrně nevkládal.

Nikdo architekturu nenavrhoval podle Baarse. Ten vzor v modelu vznikl sám — protože se zřejmě vyplácí. Když má systém zvládat složené, nerutinní úlohy, potřebuje místo, kde si dílčí výsledky poskládá dohromady.

Evoluce k tomu došla u nás. Gradientní sestup k tomu došel v neuronové síti.

Na tom je možná nejpozoruhodnější právě nezávislost obou cest. Mozek nevznikal podle principů strojového učení a jazykové modely nebyly navrženy podle neurovědeckých teorií vědomí. Přesto oba systémy skončily u nápadně podobného organizačního řešení.

Tohle není důkaz vědomí. Není to ani tvrzení, že model něco prožívá.

Architektonická podobnost a subjektivní zkušenost jsou dvě různé věci a mezi nimi leží skok, který nikdo neodvodil — ani matematicky, ani experimentálně. Hard problem vědomí zůstává přesně tam, kde byl: proč vůbec nějaké fyzické uspořádání něco prožívá.

Podobnost struktury může znamenat společné výpočetní řešení téhož problému. Nemusí znamenat nic víc.

A černá skříňka není mrtvá. J-prostor je necelá desetina objemu. Zbývá přes devadesát procent tmy — a je to ta část, která model z velké míry pohání.Tvrdit, že jsme modelům porozuměli, by bylo nepoctivé. Nerozumíme jim.

Rozdíl mezi „nevidíme nic“ a „vidíme tu část, kde se rozhoduje“ ale není kosmetický. Je zásadní.

Skříňka není otevřená. Má okno. A přes to okno je vidět zrovna ta místnost, na které záleží nejvíc.

Co to otevírá

Poprvé existuje nástroj, jak nezávisle ověřit, zda to, co model říká, odpovídá tomu, co uvnitř dělá. Ne z jeho vlastního doznání — z měření. Pro bezpečnost AI je to jiná liga než dosavadní přístup, kdy jsme model hodnotili podle výstupu a doufali, že výstup je upřímný. Co to udělá s otázkou důvěry ve stroje, které nám odpovídají, když půjde číst dispozici dřív než větu? Co to udělá s hodnocením modelů, když model sám dokáže poznat, že je hodnocen — a my to teď dokážeme poznat taky?

A co si počít se zjištěním, že tentýž organizační princip — malý reportovatelný prostor nad velkou automatikou — vznikl dvakrát, nezávisle, ve dvou zcela odlišných substrátech?

Možná to o vědomí nevypovídá nic. Nebo možná vypovídá něco o tom, co potřebuje každý systém, který má řešit složité věci.To teprve zjistíme. Jestli bude interpretabilita jednou stejně důležitá jako samotné modely, možná se jednou na rok 2026 bude vzpomínat jako na okamžik, kdy přestala být AI úplně neprůhledná.

Zdroje:

GURNEE, Wes, SOFRONIEW, Nicholas et al. Verbalizable Representations Form a Global Workspace in Language Models. Transformer Circuits Thread. 2026. Dostupné z: https://transformer-circuits.pub/2026/workspace/index.html

ANTHROPIC. Jacobian lens — zdrojový kód. GitHub, 2026. Licence Apache-2.0. Dostupné z: https://github.com/anthropics/jacobian-lensNEURONPEDIA. Interaktivní demo J-čočky. 2026. Dostupné z: https://neuronpedia.org/jlens

BRICKEN, Trenton et al. Towards Monosemanticity: Decomposing Language Models With Dictionary Learning. Transformer Circuits Thread. 2023. Dostupné z: https://transformer-circuits.pub/2023/monosemantic-features/index.html

TEMPLETON, Adly et al. Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet. Transformer Circuits Thread. 2024. Dostupné z: https://transformer-circuits.pub/2024/scaling-monosemanticity/index.html

AMEISEN, Emmanuel et al. Circuit Tracing: Revealing Computational Graphs in Language Models. Transformer Circuits Thread. 2025. Dostupné z: https://transformer-circuits.pub/2025/attribution-graphs/methods.html

LINDSEY, Jack et al. On the Biology of a Large Language Model. Transformer Circuits Thread. 2025. Dostupné z: https://transformer-circuits.pub/2025/attribution-graphs/biology.html

LINDSEY, Jack. Emergent Introspective Awareness in Large Language Models. Transformer Circuits Thread. 2025. Dostupné z: https://transformer-circuits.pub/2025/introspection/index.html

SOFRONIEW, Nicholas et al. Emotion Concepts and their Function in a Large Language Model. Transformer Circuits Thread. 2026. Dostupné z: https://transformer-circuits.pub/2026/emotions/index.html

FRASER-TALIENTE, KANTAMNENI, ONG et al. Natural Language Autoencoders Produce Unsupervised Explanations of LLM Activations. Transformer Circuits Thread. 2026. Dostupné z: https://transformer-circuits.pub/2026/nla/index.html

BAARS, Bernard J. A Cognitive Theory of Consciousness. Cambridge: Cambridge University Press, 1988.DEHAENE, Stanislas a Jean-Pierre CHANGEUX. Experimental and theoretical approaches to conscious processing. Neuron. 2011, 70(2), 200–227.WERNER, John. Anthropic Illuminates LLM J-Space With J-Lens. Forbes. 12. 7. 2026. Dostupné z: https://www.forbes.com/sites/johnwerner/2026/07/12/anthropic-illuminates-llm-j-space-with-j-lens/