Modulo 3 di 6
Probabilità
1. Obiettivo
Risolvere senza esitazioni domande su "almeno uno", probabilità condizionate, Bayes e valore atteso.
È l'area dove si perdono più punti per errori di impostazione, non di calcolo.
2. Teoria essenziale
Complemento
Eventi indipendenti e unione
Si sommano direttamente solo eventi mutuamente esclusivi (non possono accadere insieme).
Probabilità condizionata e Bayes
Metodo rapido con le frequenze naturali: immagina 10.000 utenti, distribuiscili sui rami, conta i casi. È più veloce e riduce gli errori.
Valore atteso
Combinatoria base
3. Diagrammi
Albero di probabilità: il peso della piattaforma conta quanto il tasso di conversione. Ignorarlo porta a 5 / (5 + 2) = 71,4%, sbagliato.
"Almeno uno" si calcola quasi sempre passando dal complemento: è più veloce e meno soggetto a errori che sommare i casi.
4. Esempio svolto
Testo. Il 2% di chi avvia la trial diventerà un "power user". Un segnale comportamentale nei primi 3 giorni si accende per il 90% dei futuri power user e per il 10% degli altri. Se il segnale si accende, qual è la probabilità che l'utente sia un futuro power user?
- Immagina 10.000 utenti in trial: 200 power user, 9.800 altri.
- Segnale acceso tra i power user: 200 × 90% = 180.
- Segnale acceso tra gli altri: 9.800 × 10% = 980.
- P(power | segnale) = 180 / (180 + 980) = 180 / 1.160 = 15,5%.
- Lettura: il segnale sembra "accurato al 90%", ma con una base rate del 2% la maggior parte dei positivi è falsa. È l'errore classico da evitare (base rate neglect).
5. Trappole tipiche
- Sommare probabilità non esclusive: 30% + 30% = 60% per "almeno una" è sbagliato.
- Ignorare la base rate: nel Bayes i pesi dei gruppi contano quanto i tassi.
- Invertire la condizionata: P(converte | iOS) non è P(iOS | converte).
- Assumere indipendenza quando il testo dice il contrario (es. D7 dipende da D1).
- Ordine sì o no: prima di usare la combinatoria, chiediti se l'ordine conta.
- Mancato sanity check: una probabilità "almeno uno" non può essere inferiore alla più grande delle singole.
6. Esercizi
Target: 60-90 secondi per esercizio. Cronometrati e scrivi la risposta prima di aprire la soluzione.
1. Due creatività pubblicitarie indipendenti hanno ciascuna il 30% di probabilità di battere la baseline. Probabilità che almeno una la batta?
Soluzione
1 − 0,7 × 0,7 = 1 − 0,49 = 51%.
2. Lanci tre test indipendenti, ognuno con il 5% di probabilità di falso positivo. Probabilità di almeno un falso positivo?
Soluzione
1 − 0,95³ = 1 − 0,857 = 14,3%. Quasi il triplo del singolo test.
3. Il 40% dei destinatari apre l'email; chi apre clicca nel 15% dei casi. Che percentuale dei destinatari clicca?
Soluzione
P(clic) = P(apre) × P(clic | apre) = 0,40 × 0,15 = 6%.
4. Il 70% del traffico è organico (conversione 2%) e il 30% paid (conversione 5%). Preso un utente convertito, probabilità che venga dal paid?
Soluzione
Organico convertito: 0,7 × 2% = 1,4%. Paid convertito: 0,3 × 5% = 1,5%. P(paid | converte) = 1,5 / 2,9 = 51,7%.
5. Test sul paywall. Variante A: +2% di revenue certo. Variante B: 50% di probabilità di +6%, 50% di probabilità di −1%. Quale ha il valore atteso più alto?
Soluzione
EV(B) = 0,5 × 6% + 0,5 × (−1%) = +2,5% contro +2,0% di A. B per valore atteso; A è la scelta a rischio zero. Nel test rispondi a ciò che chiede la domanda (qui: valore atteso).
6. Hai 4 titoli, 3 immagini e 2 call to action. Quante varianti di annuncio puoi creare? Quante coppie distinte di varianti puoi confrontare?
Soluzione
Varianti = 4 × 3 × 2 = 24. Coppie = C(24, 2) = 24 × 23 / 2 = 276.
7. In un test a scelta multipla con 4 opzioni, una risposta giusta vale +1 e una sbagliata −0,25. Qual è il valore atteso di una risposta a caso? E se hai eliminato con certezza un'opzione?
Soluzione
A caso: 0,25 × 1 − 0,75 × 0,25 = +0,0625. Con un'opzione eliminata: 1/3 − 2/3 × 0,25 = +0,167. La penalità che azzera il tiro a caso con 4 opzioni è 1/3. Non conoscendo la penalità del test reale, vedi la regola prudente nel Modulo 6.
8. Il 40% dei nuovi utenti torna il giorno 1. Chi torna al D1 torna al D7 con probabilità 50%, chi non torna al D1 torna al D7 con probabilità 10%. Qual è la retention D7? Se un utente è attivo al D7, probabilità che fosse attivo al D1?
Soluzione
P(D7) = 0,4 × 0,5 + 0,6 × 0,1 = 0,20 + 0,06 = 26%. P(D1 | D7) = 0,20 / 0,26 = 76,9%. Probabilità totale, poi Bayes.