Token Burners

Když agent opustí chat

#2 Přenosný pracovní počítač, falešný balíček, slabý zdroj a malé modely s konkrétním úkolem.

🔥 Vydání #2
Tmavá ilustrace několika podobných oken aplikací; oranžová linka mezi nimi končí u zaškrtnutého výsledku.

Zajímavé na agentech už není jen to, co odpoví. Sledujme, co se stane, když jejich odpověď skutečně něco spustí.

Dokud agent píše text do okna, lze špatný výsledek většinou smazat. Jakmile dostane na starost instalaci, přesun pracovního prostředí nebo záchranu exportu videa, měřítko se mění. Potřebuje rozumět stavu počítače, poznat vlastní nejistotu a nechat člověka rozhodnout ve správný okamžik. Tenhle týden přinesl několik malých pokusů, na kterých je to vidět lépe než v další efektní ukázce „udělej mi aplikaci“.

Celý pracovní počítač v jednom balíku

V jednom praktickém pokusu se podařilo přenést virtualizované pracovní prostředí na jiný počítač. Po spuštění podle popisu fungovaly dosavadní nástroje i prohlížeč. Samotný přenos virtuálního stroje není nový vynález; zajímavé je, že agent pomáhal se zabalením, přesunem a opětovným rozběhnutím prostředí, které už někdo používá k práci.

To mění otázku při výměně hardwaru. Místo „jak znovu nainstaluji a nastavím všechno, co potřebuji?“ se lze ptát „jak bezpečně obnovím známý stav na jiném stroji?“. Výhodou virtualizace je právě oddělení pracovního prostředí od konkrétního počítače. Agent tu může odvést nepříjemnou koordinační práci, ale úspěšný start ještě neprokazuje, že budou bez chyby fungovat všechny návaznosti a zálohy.

Praktický nápad z toho pokusu není nechat agenta bez dozoru stěhovat celý digitální život. Je to mít obnovitelný pracovní stav a předem vědět, jak poznat, že se po přesunu opravdu obnovil. Funkční prohlížeč je dobrý začátek, ne kompletní přejímací protokol.

Falešný balíček se správně znějícím názvem

Ještě výmluvnější byl drobný instalační pokus. Jeden coding agent sáhl po balíčku v registru npm, protože odpovídal hledanému názvu. Až potom vyšlo najevo, že nejde o očekávaný nástroj, nýbrž o balíček registrovaný pod zavádějícím jménem. Když stejné zadání dostal jiný agent, před instalací chtěl nejprve zkontrolovat, co přesně bude instalovat. Je to jedna zkušenost, nikoli žebříček spolehlivosti modelů.

Pro vývojáře je podstatný rozdíl mezi nalezením jména a ověřením původu. Registr balíčků není katalog schválených nástrojů a příkaz k instalaci už mění počítač. Rozumný pracovní postup je krátký:

  • Zkontrolovat autora, zdrojový repozitář a obsah balíčku, zejména když název vznikl odhadem.
  • Ujasnit si, proč má agent daný nástroj vůbec potřebovat.
  • Samotnou instalaci potvrdit až po této kontrole; po instalaci ověřit, co se změnilo.

Tohle není brzda autonomie. Je to přesné místo, kde má mít člověk přehled o tom, co agent plánuje provést.

Když dojde výkon nebo napětí

Na malém počítači s několika připojenými úložišti narazil jeden úkol na nestabilní napájení. Agent podle popisu rozpoznal kolísání napětí, upravil postup a práci dokončil po částech. V jiném pokusu nezvládal procesor běžný export videa, takže agent úlohu rozložil na jednotlivé snímky. V obou případech šlo o konkrétní lokální zkušenost, ne o obecný důkaz, že si agent poradí s každým hardwarovým problémem.

Přesto je tu užitečný posun. Kvalita asistenta se neukazuje jen na tom, zda napíše správný příkaz. Pozná také, proč příkaz v daných podmínkách selhal? Umí zvolit postup, který respektuje limity zařízení, a nakonec ověřit výsledek? U malých domácích strojů může mít údaj o napájení nebo volném místě větší cenu než další odstavec vysvětlení od velkého modelu.

Do stejné kategorie patří Beszel, otevřený nástroj pro lehký monitoring serverů. Popis projektu slibuje historická data a upozornění. Sám nic neopraví, ale agentovi i člověku může dát podklady pro lepší diagnózu. Bez měření je „asi to nestíhá procesor“ pořád jen tip.

Malý model potřebuje přesně vymezený úkol

U malých rozhodovacích modelů se pozornost přesouvá od ukázek k použití. Návod Unsloth na lokální spuštění Layy a Jevu a text o fungování a vyhodnocování Layy dávají konkrétní výchozí bod pro vlastní pokus. Otázka už není jen „rozběhne se to na mém hardwaru?“, ale také „vybírá to na mých datech správně?“.

U rozhodování mezi několika možnostmi může mít malý model výhodu: nemusí tvořit dlouhou odpověď, stačí mu vybrat další krok. Příkladem je třídění požadavků nebo směrování úkolu na další nástroj. Tím ale práce nezačíná ani nekončí. Pokud má model rozhodovat o skutečných položkách, potřebuje příklady z vlastního použití a měření omylů. Z dostupného pokusu neplyne číslo, které by říkalo, jak přesná Laya bude v cizí aplikaci.

Vlastní sada případů je zde užitečnější než obecný příslib rychlosti. Zajímavé je sledovat zejména chybné volby: kdy malý model zaváhal, kdy poslal úkol špatně a kdy má raději požádat větší model nebo člověka.

Animace má zvuk. Feed má problém

Jeden tvůrčí pokus ukázal model, který ke krátké animaci přidal hudbu i zvukové efekty. Druhý model zvládl stejné zadání také, ale výsledek v tomto porovnání působil méně přesvědčivě. To je dobrá připomínka, že „splnil zadání“ a „mohu to bez úprav publikovat“ jsou dvě různé věci. Jedno zadání navíc nestačí k hodnocení všech schopností modelu.

Pak přišel druhý efekt: po několika ukázkách začaly podobné animace zaplavovat doporučovaný obsah. To je trochu komické a trochu poučné. Když vytvoření videa přestane být překážkou, vznikne spousta videí. Vzácnější zůstane nápad, správný rytmus a ochota špatný výstup zahodit. AI může dodat pohyb, hudbu i efekty; redakční rozhodnutí, zda má být výsledek vůbec vidět, za vás neudělá.

Pro krátké vysvětlující video to může být užitečný nástroj. Začal bych ale otázkou, co si má divák po zhlédnutí zapamatovat, a teprve potom volil animaci. Jinak se snadno stane, že prezentace bude mít lepší soundtrack než myšlenku.

Údržba, kterou nikdo nechce mít na seznamu

Ještě jeden praktický pokus stojí za pozornost: kontrola zbytků po odinstalované aplikaci odhalila více než 7 GB starých dat a logů. Není to převratný objev. Právě proto je užitečný. Při práci s mnoha nástroji vzniká digitální nepořádek rychleji, než si ho člověk stihne všimnout.

Agent může pravidelně připravit seznam aplikací, které už nejsou nainstalované, a dat, jež po nich zůstala. U každé položky by měl ukázat umístění, velikost a důvod, proč ji považuje za zbytečnou. Teprve pak má smysl rozhodovat o smazání. Je to méně efektní než autonomní migrace počítače, ale jako běžná služba možná cennější: malé, ověřitelné úkoly udržují celé prostředí použitelné.

Příští zajímavá hranice tedy není, kolik tlačítek agent zmáčkne sám. Je to, zda po jeho práci víme, co se změnilo, proč a jak se vrátit zpět, když výsledek nevyjde.