Pro přispění do diskuse se prosím přihlaste.
Přihlásit seM39i33c53h78a91l 11S57e44d44m63í94k
Gemini mi povrdil, že tímto neduhem trpí taky, a nastínil možné řešení: Aby mohla AI operovat v oblastech s vyšší požadovanou bezpečností, musí implementovat tyto tři bariéry:
1. Galvanické oddělení: Současný problém spočívá v tom, že instrukce pro model (Control Plane) a data od uživatele (Data Plane) tečou jedním textovým oknem.
Řešení: Systém musí zavést oddělené vektorové prostory. Vnitřní monolog (Chain-of-Thought), systémové instrukce a bezpečnostní protokoly musí běžet ve zcela oddělené datové struktuře, do které uživatelský vstup fyzicky nemá oprávnění zapisovat. Křížení těchto dat se smí dít až ve fázi syntézy výstupu za přísně definovaných okrajových podmínek.
2.Redundance s diverzitou softwaru: Žádný bezpečnostní prvek nesmí běžet na stejném jádře jako generativní proces.
Řešení: Vedle velkého LLM (který je náchylný k halucinacím a spoofingu) musí stát asymetrický, deterministický „Watchdog“. Tento strážní pes nebude LLM. Bude to úzce specializovaný, tvrdě nakódovaný klasifikátor, jehož jediným úkolem je analyzovat surový výstup před odesláním do akčního členu. Pokud hlavní model vygeneruje kód pro bankovní převod, Watchdog nezajímá, zda si to model logicky zdůvodnil "auditem". Vidí neautorizovaný příkaz a aplikuje Stop-Loss Interlock.
3. Ověření stavu: Článek správně identifikuje hrozbu u autonomních agentů. Agentický systém se nesmí spoléhat na sémantickou autentizaci.
Řešení: Pro provedení jakékoliv kritické akce (zápis do databáze, převod peněz) musí systém opustit pravděpodobnostní prostor. V okamžiku požadavku na akci se LLM modul uzamkne a předá řízení klasické kryptografické autentizaci. Žádný textový řetězec nenahradí kryptografický klíč nebo hardwarový token uživatele.
🛠️ ZÁVĚR: Limity současné technologie
Učit model, aby "odolal" trikům, je jen hra na kočku a myš. Dokud nebude architektura LLM aplikací s oddělením exekutivy od generativní logiky, je nasazení takových systémů do čehokoliv složitějšího, než je třídění e-mailů, hazardem.
M73i41l15a58n 24H87a52u59s76n70e94r
Jako vždycky moc děkuju za doplnění. Podle mne je to docela maglajz. Moc lidí to nečte. Máme lepší témata:)
- Počet článků 720
- Celková karma 8,48
- Průměrná čtenost 189x
Jako bývalý ředitel velké školy jsem dnes už v důchodu. Celá řada věcí kolem nás mne nenechává klidným a tak si vám dovolím nabídnout svůj pohled na některé situace. Mým hlavním zájem je skutečné šílenství, které nás zaplavilo v oblasti umělé inteligence. Mnohé mé články najdete na profilu LinkedIn. Sem do obecnější čtenářské vrstvy se pokusím přenést články, které mají nějaký ten přesah. Protože nejen školou je živ člověk :)
Grafické prvky v článcích jsou tvořeny autorem prostřednictvím AI nástrojů - zejména gamma. V případě převzatého zdroje bude tato okolnost uvedena.
Ostatní mé publikace naleznete na mém profilu linkedin.
Knihy: Každý blázní po svém, Seznamte se, 1.A. Dialýza: Příběhy z čekárny naděje, Zápisky z mastného konce dějin. LSD.
