Základní rozdíl

• Within-subject: každý účastník testuje více variant.
• Between-subject: každý účastník testuje jen jednu variantu.

Within-subject

Výhody

• Menší N (variabilita mezi lidmi se částečně „vyruší“).
• Citlivé na rozdíly mezi variantami.

Nevýhody

• Learning effect a pořadový efekt.
• Kontaminace: druhá varianta může testovat „naučenou doménu“, ne UI.

Ošetření

• Counterbalancing pořadí variant/úloh.
• Pečlivá volba úloh (aby se nepřekrývaly „paměťově“).

Between-subject

Výhody

• Menší riziko učení a přenosu strategie.
• Čistší pro zásadně odlišné flow.

Nevýhody

• Potřeba většího vzorku.
• Variabilita mezi lidmi může maskovat efekt.

Kdy komparaci nedělat

• Když jsou flow tak odlišné, že within-subject nebude interpretovatelný.
• Když hrozí silný efekt učení (např. onboarding učí doménu).
• Když prototyp neumožňuje stabilně měřit kritéria.

Doporučení

• Pokud je cílem rychlá iterativní diagnostika: často testovat jednu variantu a iterovat.
• Pokud je cílem rozhodnout mezi variantami: komparaci navrhnout s ohledem na rizika učení a na potřebu standardizace.