Modulo 4 di 6

Medie pesate, mix effect e A/B test

1. Obiettivo

Calcolare correttamente medie pesate, scomporre una variazione in effetto tasso ed effetto mix, riconoscere il paradosso di Simpson.
Avere l'intuizione statistica minima per leggere un A/B test come fa un growth manager.

2. Teoria essenziale

Media pesata

\bar{x}_w = \sum_i w_i \, x_i \qquad \sum_i w_i = 1

media pesata

\text{tasso aggregato} = \dfrac{\sum \text{numeratori}}{\sum \text{denominatori}}

non la media dei tassi

Effetto tasso ed effetto mix

\Delta = \underbrace{\sum_i w_i^{0}\,\big(r_i^{1} - r_i^{0}\big)}_{\text{effetto tasso}} + \underbrace{\sum_i \big(w_i^{1} - w_i^{0}\big)\, r_i^{1}}_{\text{effetto mix}}

w = pesi, r = tassi; 0 = prima, 1 = dopo

Il totale può peggiorare anche se ogni segmento migliora, se cresce il peso del segmento con il tasso più basso.

Paradosso di Simpson

Un confronto aggregato può invertire la direzione dei confronti per segmento quando i gruppi hanno composizioni diverse. Soluzione: confronta a parità di segmento o verifica che la composizione sia uguale.

Basi di A/B test

\text{SE} = \sqrt{\dfrac{p\,(1-p)}{n}}

errore standard di una proporzione

\text{IC}_{95\%} \approx p \pm 2\,\text{SE}

intervallo di confidenza approssimato

n \propto \dfrac{p\,(1-p)}{\text{MDE}^{2}}

MDE dimezzato: servono 4 volte gli utenti

\alpha = 5\%

falsi positivi attesi per ogni confronto senza effetto reale

Significativo non vuol dire rilevante: con milioni di utenti anche +0,01 pp è significativo.
Peeking: fermare il test appena diventa significativo aumenta i falsi positivi.
Test multipli: più metriche o varianti confronti, più è probabile un "vincitore" per caso.

3. Diagrammi

Paradosso di Simpson: B converte meglio sia su iOS sia su Android, ma nel totale perde perché ha ricevuto soprattutto utenti Android, che convertono meno. Qui la randomizzazione è rotta: il confronto corretto è per segmento.

Il flusso di un A/B test. Metrica, effetto minimo rilevabile (MDE) e sample size si decidono prima di lanciare; guardare i risultati a metà e fermarsi quando "è significativo" gonfia i falsi positivi. SRM = sample ratio mismatch, cioè split diverso da quello previsto.

4. Esempio svolto

Testo. A gennaio il traffico è 60% organico (conversione 6%) e 40% paid (3,5%). A febbraio aumenti la spesa: il traffico diventa 40% organico e 60% paid, con le stesse conversioni per canale. Il CEO vede la conversione calare e chiede cosa è successo.

Gennaio: 0,6 × 6 + 0,4 × 3,5 = 3,6 + 1,4 = 5,0%.
Febbraio: 0,4 × 6 + 0,6 × 3,5 = 2,4 + 2,1 = 4,5%.
Effetto tasso: zero, perché nessun canale ha cambiato conversione.
Effetto mix: (0,4 − 0,6) × 6 + (0,6 − 0,4) × 3,5 = −1,2 + 0,7 = −0,5 pp, cioè tutta la variazione.
Risposta al CEO: nessun peggioramento del prodotto; è cambiato il mix verso il canale che converte meno. La domanda giusta diventa se il CAC marginale del paid è ancora sostenibile.

5. Trappole tipiche

Media semplice di tassi con denominatori diversi.
Leggere il totale senza chiedersi se la composizione è cambiata.
Unità diverse mescolate nella media (piani mensili e annuali).
Confondere pp e % nell'MDE: "+10% di conversione" su una base del 5% è +0,5 pp.
Sample size lineare: pensare che dimezzare l'effetto richieda il doppio degli utenti invece del quadruplo.
Dichiarare vittoria sulla metrica che è risultata significativa tra molte.

6. Esercizi

Target: 60-90 secondi per esercizio. Cronometrati e scrivi la risposta prima di aprire la soluzione.

1. Tre canali pesano 50%, 30% e 20% del traffico, con conversione 2%, 4% e 10%. Qual è la conversione complessiva?

Soluzione

0,5 × 2% + 0,3 × 4% + 0,2 × 10% = 1,0 + 1,2 + 2,0 = 4,2%. La media semplice (5,3%) è sbagliata.

2. L'80% dei paganti ha il piano mensile a 10 € al mese, il 20% il piano annuale a 60 € all'anno. Qual è l'ARPPU mensile medio?

Soluzione

Piano annuale = 5 € al mese. 0,8 × 10 + 0,2 × 5 = 9 €. Prima si uniformano le unità, poi si pesa.

3. Conversione organica 3%, paid 6%, entrambe invariate. La quota di traffico paid passa dal 20% al 50%. Come cambia la conversione complessiva?

Soluzione

Prima: 0,8 × 3 + 0,2 × 6 = 3,6%. Dopo: 0,5 × 3 + 0,5 × 6 = 4,5%. +0,9 pp, interamente mix effect: nessun canale ha migliorato la sua conversione.

4. Mese 1: organico 70% del traffico con conversione 4%, paid 30% con 2%. Mese 2: organico 50% con 5%, paid 50% con 2%. Scomponi la variazione della conversione totale in effetto tasso ed effetto mix.

Soluzione

Totale M1 = 3,4%, M2 = 3,5%: +0,1 pp. Effetto tasso (pesi di M1): 0,7 × (5 − 4) + 0,3 × 0 = +0,7 pp. Effetto mix (tassi di M2): (0,5 − 0,7) × 5 + (0,5 − 0,3) × 2 = −0,6 pp. Somma +0,1 pp. Lettura: l'organico migliora ma pesa sempre meno.

5. Usando i dati del diagramma di Simpson, quale variante sceglieresti e quale problema segnaleresti?

Soluzione

B, perché vince in ogni segmento. Il totale è distorto dalla diversa composizione dei gruppi (A 80% iOS, B 80% Android): segnale di randomizzazione rotta o SRM, da verificare prima di decidere.

6. Conversione osservata 5% su 10.000 utenti. Calcola l'errore standard e un intervallo di confidenza al 95% approssimato.

Soluzione

SE = √(0,05 × 0,95 / 10.000) = 0,22 pp. IC 95% ≈ 5% ± 2 × 0,22 = da 4,56% a 5,44%.

7. Per rilevare un effetto minimo di 1 pp servono 8.000 utenti per variante. Quanti ne servono per rilevare 0,5 pp? E per 2 pp?

Soluzione

Sample size ∝ 1 / MDE². Dimezzare l'MDE → × 4 = 32.000. Raddoppiarlo → / 4 = 2.000.

8. Confronti 20 metriche indipendenti al livello di significatività del 5%, e in realtà nessuna è cambiata. Quanti falsi positivi ti aspetti? Probabilità di almeno uno?

Soluzione

Attesi: 20 × 5% = 1. Almeno uno: 1 − 0,95^20 = 64,2%. Per questo si fissa una metrica primaria prima del test.

Allenati su questo modulo a tempo