Machine Learning: email e classificatori di Bayes

di

l laboratorio “Machine Learning: email e classificatori di Bayes” ha come focus quello di mostrare in che modo la matematica e l’informatica possano dialogare per portare alla risoluzione di problemi complessi e di introdurre il concetto di machine learning di tipo supervisionato.

Problema: classificare le email in arrivo in spam e ham (non spam).

  1. Introduzione al problema della classificazione delle email e prima modellizzazione matematica di un caso semplice con sole due parole chiave.
  2. Introduzione al software e prima implementazione del codice per il modello trovato.
    Ampliamento del modello con tre parole chiave per avvicinarsi al caso reale.
    Modellizzazione matematica e informatica del problema ampliato con 47 parole.
  3. Implementazione del codice per il modello finale e discussione sulla validazione dello stesso.

Eventi

  • D: c’è la parola dollars
  • \overline{D}: non c’è la parola dollars
  • S: la mail è spam
  • H: la mail è ham, ovvero non spam

Probabilità

  • Dati due eventi A e B, P_A(B) è la probabilità che avvenga B sapendo che è avvenuto A.

PRIMO QUESITO

Vogliamo calcolare la probabilità che un messaggio sia di spam sapendo che contiene la parola dollars.
Supponiamo che la casella di posta suddivida le email in spam e ham con la stessa probabilità.
Sappiamo che l’85% delle email di spam contiene la parola dollars e che la stessa è contenuta nel 5% dei messaggi ham.
Qual è la probabilità che un’email sia di spam sapendo che contiene la parola dollars?

  • P(S) = 50\%
    • P_S(D) = 85\%
    • P_S(\overline{D}) = 15\%
  • P(H) = 50\%
    • P_H(D) = 5\%
    • P_H(\overline{D}) = 95\%

Osserva

\displaystyle P_D(S) = \frac{P(S)\cdot P_S(D)}{P(S)\cdot P_S(D) + P(H)\cdot P_H(D)} = \displaystyle \frac{50\% \cdot 85\%}{50\% \cdot 85\% + 50\% \cdot 5\%} = \displaystyle \frac{17}{18} = 94,44… %

\displaystyle P_D(H) = \frac{P(H)\cdot P_H(D)}{P(H)\cdot P_H(D) + P(S)\cdot P_S(D)} = \displaystyle \frac{50\% \cdot 5\%}{50\% \cdot 5\% + 50\% \cdot 85\%} = \displaystyle \frac{1}{18} = 5,55… %

\displaystyle P_{\overline{D}}(S) = \frac{P(S)\cdot P_S(\overline{D})}{P(S)\cdot P_S(\overline{D}) + P(H)\cdot P_H(\overline{D})} = \displaystyle \frac{50\% \cdot 15\%}{50\% \cdot 15\% + 50\% \cdot 95\%} = \displaystyle \frac{3}{22} = 13,6363… %

\displaystyle P_{\overline{D}}(H) = \frac{P(H)\cdot P_H(\overline{D})}{P(H)\cdot P_H(\overline{D}) + P(S)\cdot P_S(\overline{D})} = \displaystyle \frac{50\% \cdot 95\%}{50\% \cdot 95\% + 50\% \cdot 15\%} = \displaystyle \frac{19}{22} = 86,3636… %

SECONDO QUESITO

Cosa succede se invece siamo interessati a calcolare la probabilità che un messaggio sia di spam sapendo che contiene due parole (es. dollars e congratulations)?
Ci aspettiamo che tale probabilità risulti più alta o più bassa?
Calcoliamo allora la probabilità che una certa email sia di spam sapendo che contiene le parole dollars e congratulations.
Questa volta sappiamo che il 92% delle email di spam contiene la parola congratulations e che la stessa è contenuta nel 12% dei messaggi ham.
Supponiamo ancora che la casella di posta suddivida le email in spam e ham con la stessa probabilità.
I dati della parola dollars sono gli stessi del problema precedente.

  • P(S) = 50\%
    • P_S(D) = 85\%
    • P_S(\overline{D}) = 15\%
    • P_S(C) = 92\%
    • P_S(\overline{C}) = 8\%
  • P(H) = 50\%
    • P_H(D) = 5\%
    • …
    • …
    • P_H(\overline{D}) = 95\%
    • …
    • …

https://sites.google.com/unitn.it/emaileclassificatoridibayes