Generatívna AI
Kontextové okno
po anglicky: context window
Množstvo textu, ktoré model dokáže mať naraz „pred očami“.
Kontextové okno je množstvo textu, ktoré model dokáže mať naraz pred očami. Patrí doňho celý dosiaľ prebehnutý rozhovor, dokumenty, ktoré ste vložili, aj odpoveď, ktorú práve píše.
Keď sa okno naplní, najstaršia časť rozhovoru z neho vypadne. Model o nej odvtedy nevie. Nie je to zabúdanie v ľudskom zmysle, tá informácia sa k nemu jednoducho nedostane.
Preto dlhé rozhovory prestávajú fungovať
Ak ste na začiatku napísali, že píšete pre šiestakov, po tridsiatich správach to už model nemusí mať k dispozícii a začne odpovedať odbornejšie.
Riešenie je nudné a spoľahlivé: na dlhú prácu začnite nový rozhovor a to podstatné do neho zopakujte. Vyplatí sa mať tie tri vety uložené v poznámkach.
Veľkosť okna sa uvádza v tokenoch a medzi službami sa výrazne líši, od desiatok tisíc po stovky tisíc. Väčšie okno znie lepšie, ale má dve úskalia. Prvé je cena, pretože sa platí za tokeny. Druhé je, že aj keď sa dlhý dokument do okna vojde, model si v jeho strede všíma menej než na začiatku a na konci.
V praxi to znamená, že vložiť do nástroja stostránkový dokument a čakať spoľahlivé zhrnutie je nádej, nie postup. Lepšie funguje rozdeliť ho na časti.