Váhy s přesýpacími hodinami a podklady ke kontrole, s růžovým pískem a sponou

Představte si poradu vedení. Tým ukáže dva komentáře ke stejnému obchodnímu reportu a navrhne zpřístupnit AI dalším kolegům. První komentář zabral člověku 30 minut práce. U druhého AI vytvořila návrh za dvě minuty. Na slidu vypadá rozdíl přesvědčivě. Jenže první údaj měří lidskou práci, druhý jen čekání na návrh.

Návrh od AI ještě není výsledek, podle kterého se dá jednat. Někdo musí zkontrolovat čísla, dohledat zdroje, opravit závěr a odpovědět na otázky člověka, který komentář přebírá. Do měření patří i tahle práce.

Než bych doporučil další investici, chtěl bych vidět celý průběh: od zadání po převzetí použitelného komentáře. A vědět, na co lidé případně ušetřený čas využijí. Pilot může ukázat důvod pokračovat. Může také včas ukázat, že se další investice nevyplatí. Obojí je užitečný výsledek.

Co potřebujete vědět před další investicí

Začal bych třemi otázkami:

  • Má výsledek potřebnou kvalitu?
  • Ušetří lidé čas a dokážou ho využít?
  • Zvládneme náklady a rizika nového postupu?

Pokud odpověď chybí, pojmenujte, co ještě potřebujete ověřit.

V tomhle příkladu nestačí, aby komentář k obchodnímu reportu byl srozumitelný. Musí pracovat se správným obdobím a definicí tržeb, uvádět správná čísla a rozlišovat doložený důvod změny od domněnky. Člověk, který komentář přebírá, musí umět říct, zda se o něj může při rozhodování opřít.

Kritéria kvality si sepište před testem a použijte je pro oba postupy. Pokud se lidé neshodnou už na tom, co tržby zahrnují, potřebujete nejdřív vyjasnit význam a spolehlivost firemních čísel. Změna modelu takovou neshodu nevyřeší.

Kam se poděla slibovaná úspora

Následující čísla jsou vymyšlená pro vysvětlení výpočtu. Nejde o výsledek mého projektu ani o hodnoty, kterých byste měli dosáhnout. Předpokládejme, že příjemce v obou případech převzal komentář ve stejné požadované kvalitě.

Tabulka počítá aktivní práci lidí. První řádek zahrnuje přípravu a napsání návrhu v běžném postupu, nebo přípravu zadání pro AI. Dvě minuty generování měříme zvlášť.

Aktivní lidská práce na jednom komentářiSoučasný postupS AI
Příprava návrhu / zadání pro AI20 minut5 minut
Kontrola a opravy8 minut15 minut
Předání výsledku2 minuty2 minuty
Celkem30 minut22 minut
Aktivní práce člověka v modelovém příkladu
Délky částí odpovídají minutám: celkem 30 versus 22. Dvě minuty čekání na generování jsou mimo aktivní práci. Požadovaná kvalita zůstává stejná.

V příkladu AI zkracuje přípravu prvního návrhu, ale kontrola zabere více času. Rozdíl v lidské práci činí osm minut na komentář. Dvě minuty samostatného generování v tabulce nejsou: člověk během nich může dělat něco jiného. Pokud musí průběh sledovat, patří i tento čas do jeho práce.

Při stovce srovnatelných komentářů měsíčně vychází hrubý rozdíl na 13 hodin a 20 minut. Přidejme další modelový předpoklad: nový postup vyžaduje oproti dnešku dvě hodiny údržby měsíčně navíc. Zbývá 11 hodin a 20 minut kapacity, kterou lze využít jinde. Stále jsme nezapočítali cenu nástroje, jednorázové nastavení ani případnou další investici do rozšíření.

Pro představu, kdy dostane výsledek příjemce, měřte také skutečný čas od zadání do převzetí. Ten zahrnuje čekání a při souběhu práce jej nelze získat prostým součtem položek v tabulce.

Ušetřené hodiny potřebují konkrétní využití

Samotný součet ušetřených hodin ještě neříká, zda máte pilot rozšířit. Záleží na tom, komu se uvolní, na jaké práci a co může dělat místo ní.

U sebe vidím hlavně kratší cestu od začátku projektu k jeho dokončení a možnost stihnout víc věcí. Neznamená to automaticky více volného času pro rodinu. Často ho zaplním dalším projektem, protože mě fascinuje, co všechno už jde udělat. Někdy u práce sedím déle, než bych chtěl. Rychlejší dokončení a více volného času jsou pro mě dva různé výsledky.

Zlepšení kvality poznávám třeba na dokumentaci. Ta se při mé práci dříve snadno odsunula. Dnes může agent průběžně zapisovat, co vytváříme a proč. Buduji si tak znalostní bázi pro případné předání produktu. Samotná existence zápisů ovšem ještě neověřuje, že podle nich další člověk dokáže pokračovat; to bych potřeboval vyzkoušet při předání.

Pokud díky tomu obchodník stihne připravit nabídky, které dnes odkládá, má firma důvod přínos ověřovat dál. Když se úspora rozptýlí do několika minut mezi mnoha lidmi a jejich práce se prakticky nezmění, bude obtížnější doložit stejnou hodnotu. Ani jednu variantu nelze vyčíst jen z tabulky časů.

Podívejte se také na rozdělení práce. Jestli návrh připravuje junior a opravy přebírá nejvytíženější analytik, může součet minut klesnout a problém s kapacitou se přesto zhoršit. Proto si nechte ukázat, kdo čas ušetří a komu práce přibude.

Ušetřené hodiny samy o sobě nesnižují výdaje na mzdy. Pro finanční posouzení potřebujete znát cenu provozu, čas jednotlivých rolí a hodnotu práce, kterou mohou udělat navíc.

Jednorázové nastavení počítejte odděleně od pravidelných nákladů. Náklady i přínosy porovnávejte za stejné období. Zaznamenejte také práci, kterou už tým vložil do pilotu. O dalším rozpočtu ale rozhodujte podle toho, co může přinést odteď.

Co má tým doložit, aby srovnání mělo váhu

Vedení nemusí přebírat technické testování. Potřebuje však vědět, co výsledky opravdu pokrývají. Od člověka, který pilot vede, bych chtěl těchto pět podkladů:

  1. Co testujeme a kdo výsledek přebírá. Sepište požadavky na kvalitu. Určete, které chyby lze opravit a při kterých se musí práce zastavit. Domluvte také, jaké podklady smí nástroj číst a co smí dělat.
  2. Jak test odpovídá běžné práci. Zahrňte snadná i obtížná zadání, neúplné vstupy a obvyklé výjimky. Myslete na to, že při druhém řešení stejného úkolu už člověk zná odpověď. Střídejte proto pořadí postupů nebo použijte zadání srovnatelné obtížnosti.
  3. Kolik práce udělali lidé. Započítejte přípravu, obsluhu nástroje, kontrolu, opravy i předání. Přidejte chyby, které našel až příjemce. Pokud člověk po třech neúspěšných pokusech udělá úkol sám, počítá se celý průběh. U každé činnosti zaznamenejte roli; dobu dodání měřte zvlášť.
  4. Jak postup obstál po dokončení úprav. Část zadání si nechte až na závěrečný test. Na případech, podle kterých tým ladil instrukce, může výsledek vypadat příliš dobře. Zaznamenejte verze modelu, instrukcí a zdrojů. Pokud se během srovnání změnily, rozlište výsledky před změnou a po ní.
  5. Jak moc se výsledky liší. Ukažte počet případů, kolik jich příjemce převzal bez oprav, průměrný i mediánový čas a nejnáročnější opravy. Běžné úkoly vyhodnoťte odděleně od výjimek. Potřebný počet případů závisí na různorodosti práce a důsledcích chyby. Malý test vám neřekne, jak spolehlivý bude celý provoz.

Pokud stejný vstup vede k různým výsledkům, některé obtížné případy zopakujte. Opakované pokusy ale nepočítejte jako nové nezávislé situace z firmy. Pro rozhodnutí potřebujete rozumět tomu, co bylo skutečně ověřené, ne jen dostat větší počet v prezentaci.

Rozšířit, upravit, nebo zastavit

Když se sám rozhodnu, že mi dává smysl nějakou práci automatizovat, po neúspěšném pokusu obvykle hledám jinou cestu. Neúspěch jednoho postupu pro mě ještě neznamená, že nemá cenu řešit původní problém. Další pokus ale musí přinést nové ověření. Pokud jen opakuji totéž bez patrného přínosu, samotná vytrvalost pokračování neobhájí.

Podmínky pokračování si napište předem. Potřebná úspora, přijatelná míra oprav a hranice rizika budou jiné u interního pracovního návrhu než u podkladu, který odchází zákazníkovi. Jedno univerzální procento by tyto rozdíly zakrylo.

Rozšířit dává smysl, pokud pilot splnil domluvené podmínky, příjemci výsledek umějí použít a přínos obhájí další náklady. Schvalte konkrétní další rozsah, odpovědného člověka, potřebné prostředky a termín nového vyhodnocení. Výsledek z jednoho procesu ještě neopravňuje k nasazení všude.

Upravit a znovu ověřit má smysl, když znáte příčinu problému a dokážete vymezit další test. V našem příkladu může kontrolu prodlužovat chybějící odkaz na zdroj čísla. Pak lze ověřit, zda doplnění zdroje zkrátí kontrolu při stejné kvalitě. Další pokus má mít jasnou otázku, omezený rozpočet a předem domluvenou podmínku ukončení.

Zastavit je rozumné, pokud se přínos ztrácí v opravách, výsledek nikdo nevyužije nebo vzniká nepřijatelná chyba. Pilot tím poskytl podklad pro rozhodnutí před větší investicí. Nemusí za každou cenu skončit rozšířením.

Jak by mohl vypadat závěr pro vedení

Z našeho modelového výpočtu zatím nelze doporučit plošné nasazení. Máme odhad kapacity, ale neznáme všechny náklady ani výsledky na reprezentativní sadě úkolů. Poctivý podklad by mohl vypadat takto:

Co rozhodujeme: zda rozšířit přípravu komentářů k obchodním reportům s AI.

Co zatím ukazuje příklad: při stejné kvalitě by lidská práce klesla z 30 na 22 minut. Při 100 komentářích a dvou hodinách údržby navíc měsíčně by se uvolnilo 11 hodin a 20 minut.

Co chybí: ověření na běžných i obtížných zadáních, rozdělení práce podle rolí, náklady dalšího kroku a domluva, k čemu uvolněný čas využijeme.

Návrh dalšího kroku: zatím nerozšiřovat. Vymezit test, který doplní chybějící podklady; předem určit vlastníka, rozsah, rozpočet a datum rozhodnutí.

Pro vlastní pilot můžete použít pracovní list pro tým. Obsahuje šablonu rozhodnutí i záznam jednoho testovaného případu. Vyplněním získáte přehled také o tom, co ještě nevíte.

Tento postup se hodí pro ohraničenou práci, jejíž výsledek lze zkontrolovat. U vzácných závažných chyb nebo dopadů viditelných až za měsíce samotné měření času nestačí. A pokud AI umožňuje něco, co firma dříve vůbec nedělala, potřebujete posoudit hodnotu nového výsledku; srovnání s neexistujícím původním postupem by nedávalo smysl.

Pokud se vedení a tým neshodnou, co pilot prokázal, můžeme společně projít postup, kritéria a podklady. Na tom stavím AI workflow sprint. Napište mi, jakou práci testujete a o čem potřebujete rozhodnout.

Metodické doplnění: Anthropic popisuje vyhodnocování AI agentů, včetně kritérií úspěchu, proměnlivosti mezi běhy a kontroly skutečného výsledku. Výpočet kapacity a podklad pro vedení v tomto článku jsou návrhem postupu, nikoli převzatým standardem nebo naměřenou případovou studií.