Co to znamená v praxi
AI model (typicky LLM, například ChatGPT nebo Claude) vám dá odpověď, která zní sebevědomě a vypadá jako fakt, ale je nesprávná nebo úplně vymyšlená. Nejznámější příklad: vymyšlené zdroje, neexistující zákony, fiktivní čísla.
Důvod je technický. LLM nezná pravdu. Předpovídá nejpravděpodobnější další část textu na základě trénovacích dat. Když si není jistý, neřekne „nevím”, ale řekne něco, co zní správně.
Proč to firmy musí znát
- Zákaznická komunikace. AI agent v zákaznické podpoře halucinuje cenu, podmínky, lhůtu a vy to musíte zaplatit.
- Interní rozhodnutí. Manažer si nechá od AI udělat rešerši, dostane vymyšlená čísla, udělá podle nich rozhodnutí.
- Compliance a právo. AI vygeneruje neexistující paragraf, právník si toho nevšimne včas.
- Marketing a obsah. AI napíše „fakt”, který je vymyšlený, a vy to publikujete pod jménem firmy.
Jak se proti tomu chránit
- Neptejte se AI na fakta, která si nemůžete ověřit. AI je výborný pomocník na strukturu, koncept a první draft. Ne na pravdivost čísel.
- Použijte RAG (Retrieval-Augmented Generation). AI odpovídá jen na základě vašich dokumentů, ne z trénovacích dat.
- Vyžadujte zdroje. Ať AI cituje, odkud má každý fakt. Zkontrolujte aspoň 1 ze 3.
- Human-in-the-loop. U všeho, co má dopad (zákazník, právo, finance), to musí před odesláním schválit člověk.
- Logujte výstupy. Abyste uměli zpětně zjistit, kde halucinace vznikla.
Halucinace nejsou důvod AI nepoužívat. Jsou důvod používat ji správně. Na tréninku ukazujeme konkrétní procesy, kde halucinace nevadí, a ty, kde jsou nebezpečné, a jak je oddělit.