7. Verifica ipotesi. Medie

NB Ricordarsi sempre delle assunzioni sulle variabili come prima fase della verifica di ipotesi.

Se la varianza è nota ricordarsi che si applica statistica test z con distribuzione di Gauss standard.
$z = \frac{\bar{x} - \mu_0}{\sigma/\sqrt{n}}$
Tramite statistica test si fissano i limiti dell'intervallo di accettazione, ricordando che z è una distribuzione di guass standard quindi simmetrica. |L1| = |L2|
Se $z_{calcolato}$ cade all'esterno dell'intervallo di non-rifiuto (o accettazione), l'ipotesi nulla è da rifiutare. Viceversa è da accettare.

La decisione statistica può essere presa
- confrontando $z_{calc}$ con $z_{tab}$ (posto $\alpha = 0,05$, se ipotesi alternativa bidirezionale, si deve cercare il valore di $z_{tab}$ in corrispondenza di $\alpha/2$): se il valore calcolato cade al di fuori dell'intervallo delimitato dai valori di $z_{tab}$, si rifiuta ipotesi nulla
- confrontando p-value con $\alpha$: se p-value è < $\alpha$ si può rifiutare l'ipotesi $H_0$

Se la varianza non è nota si applica t test con una distribuzione di tipo t di Student con n-1 gradi di libertà.

$t = \frac{\bar{x}-\mu_0}{S/\sqrt{n}}$
Si usa pertanto la deviazione standard campionaria S.

Il risultato ottenuto va confrontato con i valori critici di t dati $\alpha = ...$ e n-1 gradi di libertà (definizione di una zona di rifiuto e zona di non rifiuto)

La scelta del tipo di test statististico dipende non solo dalle assunzioni sulla distribuzione della variabile ma anche dal tipo di studio ossia dal tipo di campioni selezionati:
- Se la stessa variabile viene misurata in in ogni soggetto prima e dopo un interventi si parla di campioni appaiati
- se i soggetti vengono reclutati in coppia e abbinati per variabili come età, codice postale, diagnosi si parla di campioni abbinati

1.Assunzioni:
- campioni estratti da popolazioni con distribuzione di Gauss
- campioni indipendenti (v. dopo)
- varianza della popolazione nota
2. Sistema di ipotesi

3.Statistica test
Data l'assunzione sulla distribuzione di Gauss, data l'assunzione sull'indipendenza dei campioni, dato il valore noto della d.s.,
si può usare un test parametrico: z test per la differenza di due medie.
$z = \frac{(\bar{x}_1 - \bar{x}_2) - (\mu_1 - \mu_2)}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}}$
4. Regola di decisione ($\alpha = ?$)
5. Calcolo statistica test
6. Decisione statistica e decisione clinica

Tra le assunzioni si pone "varianza delle popolazioni omogenee". Questa assunzione permette il calcolo della varianza comune $S_p^2$

Questa assunzione va dimostrata con una statistica test preliminare per verificare omogeneità delle varianze
$F=S_1^2/S_2^2$

La varianza comune $S_p^2$è calcolabile solo se le varianze dei due campioni sono omogenee tra loro.
Si costruiisce una "verifica delle ipotesi nella verifica delle ipotesi" con statistica test F

$\left\{\begin{matrix} H_0: \sigma_1^2=\sigma_2^2 \\ H_1: \sigma_1^2\neq \sigma_2^2 \end{matrix}\right.$

Statistica test F
$F = S_1^2/S_2^2$ si raccomanda di porre a numeratore la varianza maggiore quando si usano le tavole F-Fisher
Distribuzione della statistica test:
F ha una distribuzione F-Fisher, assimmetrica e sempre positiva e dipende dai gradi di libertà del numeratore e del denominatore.

Se dopo aver calcolato $F_{calcolato}$ e dopo averlo confrontato con $F_{tab}$, NON rifiuto ipotesi nulla -> le varianze si possono considerare omogenee, si può calcolare $S_p^2$ e procedere con statistica test t

$F = \frac{S_1^2}{S_2^2}$
Se test F porta a NON RIFIUTARE ipotesi nulla, questo implica che le varianze sono omogenee pertanto si può utilizzare calcolare e utilizzare $S_p^2$
Allora: t-test
$t = \frac{(\bar{x}_1-\bar{x}_2)-(\mu_1-\mu_2)}{\sqrt{\frac{S_p^2}{n_1}+\frac{S_p^2}{n_2}}}$

Se test F porta a RIFIUTARE ipotesi nulla allora varianze non omogenee: non si può usare $S_p^2$
Allora la formula del t-test diventa la seguente
$t' = \frac{(\bar{x}_1-\bar{x}_2)-(\mu_1-\mu_2)}{\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}}}$
Questa statistica test ha una distribuzione t-Student

I gradi di libertà sono determinati mediante la formula di Dixon e Massey
$ g.l. = \frac{(\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2})^2}{\frac{(\frac{S_1^2}{n_1})^2}{n_1}+ \frac{(\frac{S_2^2}{n_2})^2}{n_2}} $

I test parametrici:
- presuppongono la presenza di distribuzioni di tipo approssimativamente normale;
- riguardano variabili continue o di tipo intervallo e una dimensione del campione abbastanza numerosa (diciamo > 30).
- potere statistico più elevato
Esempi: test Z, test t di Student, analisi della varianza ANOVA, coefficiente di correlazione r di Pearson

I test non parametrici:
- NON presuppongono alcun tipo di distribuzione e non implica la stima di parametri statistici come la media, la varianza o la deviazione standard.
Esempi: test chi quadro, test di Wilcoxon, coefficiente di correlazione per ranghi di Spearman

Se non si possono fare assunzioni sulla distribuzione di una variabile nella popolazione si devono usare metodi non parametrici.

Il test di Wilcoxon della somma dei ranghi è utilizzato per confrontare due cambioni selezionati da popolazioni indipendenti. Può essere considerato il corrispondente non parametrico del test t per due campioni.

Assunzioni:
Campioni indipendenti
Non è possibile fare assunzioni sulla distribuzione e sui parametri

Ipotesi (nel test di Wilcoxon si testa un'ipotesi nulla riferita alla mediana)
$H_0$: mediana 1 $=$ mediana2
$H_1$: mediana 1 $\neq$ mediana 2

Si crea un campione combinato mettendo insieme in ordine crescente tutte le osservazioni provenienti dai due campioni.

Successivamente si creano i ranghi assegnando una posizione alle osservazioni ordinate in maniera crescente.

A valori uguali si attribuisce rango pari alla media dei ranghi che i valori avrebbero se fossero diversi.

Se la variabile differisce davvero nei due campioni, le osservazioni si stratificano: quelle provenienti da un gruppo nella parte bassa, quelle provenienti dall'altro gruppo nella parte alta.

Si sommano i ranghi delle osservazioni di un gruppo e i ranghi delle osservazioni dell'altro gruppo.

Si tiene conto dei valori critici L1,L2 dipendenti dall'errore $\alpha$ (livello di significatività), dalla numerosità dei campioni (tabulati per le tavole di Wilcoxon).

Se le numerosità campionarie sono diverse tra loro:
si confronta la sommatoria dei ranghi del campione con numerosità minore con L1 tabulato.

Se le numerosità campionarie sono uguali: si confronta la sommatoria dei ranghi minore con L1 e la sommatoria dei ranghi maggiore con L2. Se entrambi cadono fuori della zona di accettazione cioè si allocano nella zona di rifiuto (<L1; >L2), si può rifiutare ipotesi nulla.
Se una somma cade fuori della zona di accettazione e una all'interno, non si può prendere una decisione corretta.

Esmpio: si vuole valutare effetto di un intervento su una variabile. Si effettuano misurazioni sullo stesso gruppo di soggetti prima e dopo (campioni non indipendenti)
Assunzioni:
- campioni non indipendenti, appaiati
- variabile quantitativa comune, segue la distribuzione di Gauss

Si deve tenere presente che in questo caso:
- media è la media delle differenze $\bar{d}= \frac{\sum d_i}{n}$
- la deviazione standard è la deviazione standard delle differenze $S_d^2=\frac{\sum(d_i - \bar{d})^2}{n-1}$

Ipotesi statistiche
NB qui si formula una ipotesi alternativa unidirezionale
$\left\{\begin{matrix} H_0: \mu_d = 0 \\ H_1: \mu_d<0 \end{matrix}\right.$
Statistica test
$t = \frac{\bar{d} - \mu_d}{\frac{S_d}{\sqrt{n}}}$
Statistica test t-Student con n-1 gradi di libertà

Si fissa $\alpha$ in genere pari a 0,05.
Si consideri che in questo caso ipotesi alternativa è unidirezionale: il valore di alfa si riferisce a una sola coda.

Si calcola il valore $t_{calc}$ tramite statistica test

Si prendono decisione statistica e decisione clinica

Assunzioni:
- I campioni sono non indipendenti, appaiti
- La variabile non segue la distribuzione di Gauss
- Non si possono fare assunzioni sulla varianza delle popolazioni

Ipotesi statistiche
$\left\{\begin{matrix} H_0: mediana1=mediana2 \\ H_1:mediana1 \neq mediana2 \end{matrix}\right.$

Si dispongono le differenze considerate in valore assoluto in ordine crescente

Si attribuisce a ogni valore ordinato un rango. A valori uguali si atribuisce un rango pari alla media dei ranghi.

Il segno rappresenta il criterio di raggruppamento per la somma dei ranghi.
cioè:
Si esegue la sommatoria dei ranghi con segno positivo e la sommatoria dei ranghi con segno negativo.

Si confrontano i valori calcolati con i valori critici tabulati nella tavola di Wilcoxon per campioni appaiati (con n= numero di differenze, NB le differenze nulle vanno escluse dal computo).

Se entrambi i valori cadono fuori dell'intervallo di accettazione, quindi nella zona di rifiuto, si può rifiutare ipotesi nulla.

Un test chiamato analisi della varianza a una via (ANOVA) viene utilizzato per confrontare le medie di tre o più gruppi. Se facessimo tanti test t-Student avremmo l'amplificazione della probabilità di errore di I tipo.
Il nome del test deriva dal fatto che il test utilizza le varianze per confrontare le medie (si riferisce al medoto utilizzato, non alle ipotesi da verificare).

Se la varianza dei singoli gruppi è molto più piccola della varianza complessiva, allora le medie dei gruppi devono differire in modo sostanziale.

Dopo ANOVA è prassi comune eseguire un test di confronto multiplo. ANOVA ci dice che le medie differiscono tra loro, ma quali differiscono? Es. tutte o una sola?

Es. si dispone del peso in grammi di 24 cavie, assegnate casualmente a 4 trattamenti diversi. (4 gruppi, $k=4$)
Le osservazioni relative a ciascun trattamento possono essere indicate genericaemnte $y_{ij}$
con
$i = 1,2,3,...,k$ gruppi
$j=1,2,3,4,...,n_i$ osservazioni (prendono anche il nome di repliche)

Assunzioni
- Distribuzione della variabile segue una distribzione di Gauss (questo permette di usare test parametrico)
- Campioni indipendenti
- Varianze omogenee

NB: L'omogeneità delle varianze andrebbe dimostrata prima di procedere con il test di Verifica delle ipotesi mediante test di Bartlett (v.dopo)

$\left\{\begin{matrix} H_0: \mu_a=\mu_b=\mu_c =\mu_d=...=\mu_k=\mu \\ H_1: \mu_r \neq \mu_s \end{matrix}\right.$
Nell'esempio:
- ipotesi nulla H0 le medie del peso dei quattro gruppi di cavie sono uguali tra loro
- ipotesi alternativa H1 almeno due delle quattro medie sono diverse tra loro

Si possono tabulare i dati all'interno di una tabella

La statistica test si conduce "sotto l'ipotesi nulla".
Considerata la media totale $\bar{y}$, possiamo affermare che la variabilità totale in termini di devianza totale è data dalla formula.

NB. Devianza è un indice di dispersione dei dati
${\displaystyle SS=\sum _{i=1}^{n}(x_{i}-\mu )^{2}}$ rappresentato dalla somma degli scostamenti al quadrato.

La scomposizioni della devianza in due quantità che si sommano è alla base del test ANOVA

Ricordare che devianza è il numeratore della varianza. Il rapporto tra la devianza e i corrispondenti gradi di libertà si definisce varianza.

Considerando che
1. la devianza totale è data dalla somma della devianza dentro i gruppi con la devianza tra gruppi,
2. la varianza è definita dal rapporto tra la varianza e i corrispondenti gradi di libertà,

la statistica test F mira a valutare quale di queste due variabilità prevalga: quella tra gruppi o quella dentro i gruppi.

La distribuzione della statistica test è f-Fisher, dipendente dai gradi di libertà del numeratore (k-1) e del denominatore (n-K)

Fissato $\alpha$ accettabilmente basso (convenzionalmente pari a 0,05), in corrispondenza dei gradi di libertà del numeratore e del denominatore si cerca il valore tabulato.

A destra del valore tabulato ($F_{calcolato} > F_{tabulato}$) si ha la zona di rifiuto dell'ipotesi nulla.
A sinistra del valore tabulato ($F_{calcolato}< F_{tabulato}$
si ha la zona di accettazione dell'ipotesi nulla.

Solo se le varianze sono omogenee tra loro e quindi i gruppi sono confrontabili, è appropriato procedere con il metodo di analisi della varianza per il confronto di più medie.

Il test di Bartlett è una verifica di ipotesi preliminare all'interno della verifica di ipotesi
Ipotesi statistiche
H0: Dati $k$ gruppi di osservazioni, le corrispondenti varianze devono risultare tutte stime della stessa varianza incognita della popolazione e in base a questo presupposto la varianza di errore può essere ottenuta come media ponderata delle $k$ varianze stimate in ciascun gruppo.
$H_0: \sigma_1^2 = \sigma_2^2 = ... = \sigma_k^2 = \sigma^2$
H1: Il valore di almeno una delle $k$ varianze stimate risulta diverso dai rimanenti $k-1$

Il test di Bartlett ha una distribuzione $\chi^2$ che dipende sia dal valore di $\alpha$ sia dai gradi di libertà $k-1$

Si effettua il confronto tra $\frac{A}{B}$ e $\chi_{tab}^2$
Se $\frac{A}{B} < \chi_{tab}^2$ si accetta ipotesi nulla quindi le varianze possono ritenersi omogenee
Se $\frac{A}{B} > \chi_{tab}^2$ si rifiuta ipotesi nulla quindi le varianze non possono ritenersi omogenee

Se il test ANOVA porta a rifiutare ipotesi nulla: le medie dei gruppi non sono tutte uguali. Ma questo punto bisogna eseguire dei confronti a due a due per stabilire quale coppia di gruppi porti a rifiutare ipotesi nulla.

Si tratta di:
- test LSD di Fisher
- test multiplo di Bonferroni
- test di Duncan

La devianza ENTRO gruppi è detta anche devianza residua è pari alla somma algebrica delle devianze dei singoli gruppi. La devianza fra gruppi si può calcolare come differenza fra la devianza TOTALE e la devianza TRA gruppi, perciò "residua".

Lo stesso per la varianza entro gruppi (o varianza residua).

Si calcola il valore LSD

Si dispongono le medie in ordine crescente

Si esegue il confronto tra le differenze delle medie e il valore:
- se la differenza tra due medie risulta maggiore del valore LSD, si conclude che per $\alpha = 0,05$, le medie dei due gruppi confrontati sono significativamente differenti
- se la differenza tra due medie risulta minore, le medie dei due due gruppi non sono significativamente differenti

Si basa sulla costruzione di intervalli di confidenza sulla differenza delle medie messe a confronto.

L'errore di ogni singolo sotto-esperimento è dato dal rapporto tra l'errore dell'esperimento globale $\alpha$ e il numero di confronti che potrebbero essere generati dall'esperimento globale $m$
$\alpha_{sottoesperimento}= \frac{\alpha}{m}$
$m = \frac{k(k-1)}{2}$
Per chiarire il numero dei sottoesperimenti è il numero di confronti effettuati con il test LSD

Ipotesi statistiche:
- ipotesi nulla H0: le coppie a confronto sono uguali tra loro
- ipotesi alternativa H1: le coppie a confronto sono differenti tra loro

Come nel test LSD si dispongono le medie in ordine crescente

Si confrontano le medie a due a due calcolandone la differenza
A questo punto sulle tavole t-student si deve cercare il valore t per $\alpha_{sottoesperimento}=\frac{\alpha{ANOVA}}{m}$. Inoltre si deve ricordare che le tavole t-Student offrono a considerare il valore alfa in una sola coda, quindi poiché ipotesi alternativa è bidirezionale bisogna cercare $t_ {tab}$ in corrispondenza di $\alpha_{sottoesperimento}/2=\frac{\alpha{ANOVA}}{2m}$ con $g.d.l._{devianza entro gruppi}= N-k$

A questo punto si può calcolare $\sqrt{\frac{2 \cdot S_{residua}^2}{n}}$

Tenendo conto dell'espressione che permette di definire intervalli di confidenza per le differenze delle medie, conoscendo $t_{tab}$ e $\sqrt{\frac{2 \cdot S_{residua}^2}{n}}$
Si costruiscono gli intervalli di confidenza per coppie di medie.

Regola di decisione
Se l'intervallo di confidenza contiene lo zero, tra i possibili risultati del confronto vi è anche l'uguaglianza delle medie, quindi i due gruppi non possono ritenersi significativamente differenti.
Se l'intervallo di confidenza non contiene lo zero, allora i due gruppi si possono ritenere significativamente differenti.

Seguono decisione statistica e decisione clinica

Test conservativo sui livelli di significatività, non provoca elevata perdita di potenza

Si pongono in ordine crescente le medie dalla più piccola alla più grande
Il test tiene conto di quante medie (r) sono presenti tra quelle poste a confronto.
definendo livello di protezione la quantità $(1- \alpha)^{r-1}$ per due medie separate da r passi.

Il livello di significatività viene approssimato dal valore $1- (1-\alpha)^{r-1}$

Si ottiene un sistema di moltiplicatori per $\sqrt{\frac{Var_{residua}}{n}}$ -> utili per calcolare la statistica critical range

Se la differenza fra le medie è maggiore del critical range -> si rifiuta ipotesi nulla di uguaglianza delle medie.

Quando non si possono fare assunzioni sulla distribuzione gaussiana della variabile il confronto di più gruppi si deve effettuare con un test non parametrico.
L'ipotesi nulla si definisce sulle mediane (come nel test di Wilcoxon).

Le n osservazioni provenienti da k campioni sono aggregate in un'unica serie di dati di dimensione n e messe in ordine crescente.
Alle n osservazioni vengono assegnati i ranghi. Quando due o più osservazioni hanno lo stesso valore, ad ogni osservazione viene assegnata la media dei ranghi di tutte le osservazioni con lo stesso valore.
I ranghi assegnati alle osservazioni in ognuno dei k gruppi vengono sommati tra loro ottenendo k somme dei ranghi.

La statistica test H fornisce un valore di Hcalcolato da confrontate
- con i valori riportati nelle tavole di Kruskal-Wallis per 3 campioni con <5 osservazioni ciascuno
- con i valori tabulati per $\chi^2$ con k-1 gradi di libertà e un certo livello di significatività

Regola di decisione
Se $H_{calcolato}>H_{tab}$ allora ipotesi nulla da rifiutare
Se $H_{calcolato}<H_{tab}$ allora ipotesi nulla da accettare

Se esistono osservazioni con lo stesso valore, questo potrebbe influenzare la decisione statistica.
In questo caso si deve procedere con una correzione

$Correzione = 1- \frac{\sum T}{n^3-n}$
dove $T=t^3-t$
$T$ dipende dal numero di insieme di osservazioni che hanno lo stesso valore
$t$ è il numero di osservazioni che costituiscono l'insieme
$H_{corr}= \frac{H}{Correzione}=\frac{H}{1- \frac{\sum T}{n^3-n}}$

Il confronto tra le medie può essere espresso con un modello generale del tipo
$y_{ij}= \mu + \beta_j + e_{ij}$
dove
$y_{ij}$ = i-mo valore campionario osservato nel j-mo gruppo
$\mu$ = livello di base (media globale)
$\beta_j$= parametro che misura effetto attribuibile al trattamento j-mo
$e_{ij}$= errore casuale

Es. un generico valore di BMI si può ottenere partendo dal valore medio del BMI ottenuto da un'indagine sulla popolazione, cui si aggiunge o sottrae un valore che esprime l'effetto di un certo trattamento e un valore che esprime la variabilità fisiologica a prescindere da quel trattamento
Spostando $\mu$ al primo membro si ottiene
$y_{ij} - \mu = \beta_j + e_{ij}$

In questo contesto l'ipotesi di uguaglianza delle medie si traduce nell'ipotesi di trattamento nullo ($B_j=0$).
Di quando la singola osservazione si discosti dalla media globale ($y_{ij} - \mu$) dipende esclusivamente dalla variabilità interindividuale fisiologisca espressa dall'errore casuale ($e_{ij}$)

Il sistema di ipotesi pertanto è il seguente
$H_0: \beta_j =0$ per tutte le $j$
$H_1: \beta_j \neq 0$ per alcune $j$

$y_{ijl}=\mu+\tau_i+\beta_j+\tau\beta_{ij}+\epsilon_{ijl}$
dove
$y_{ijl}$ = l-mo valore campionario osservato nella i-ma popolazione trattata con il j-esimo trattamento
$\mu$ = livello di base
$\tau_i$ = parametro che misura l'effetto attribuibile al livello i-mo del fattore T
$\beta_j$ = parametro che misura l'effetto attribuibile al livello j-mo del fattore B
$\tau\beta_{ij}$ = effetto dell'interazione dei livelli $T_i$ e $B_j$ (effetto simultaneo)
$\epsilon_{ijl}$ = deviazione del l-mo valore osservato dalla media del i-mo livello del fattore T e del j-mo livello del fattore B

Questa analisi è utile quando si voglia studiare l'influenza di DUE fattori sulla medesima variabile.

Nell'analisi della varianza a due vie i fattori che possono determinare variabilità tra le osservazioni sono due.
Le ipotesi nulle da verificare pertanto diventano:
$H_0$: le medie dei livelli del fattore T sono uguali
$H_0$: le medie dei livelli del fattore B sono uguali
$H_0$: le medie delle diverse interazioni dei livelli di T e B sono uguali

Come prima cosa si procede alla scomposizioned ella devianza totale.
Le fonti di variazione (devianze):
- livelli del fattore T
- livelli del fattore B
- combinazione dei livelli dell'interazinoe
- errore
Si calcolano varianze (devianze/ g.d.l). Poi si calcolano le statistiche F (varianza della fonte/varianza residua) per verificare le varie ipotesi.
Dal confronto F-calcolato vs F-tab (oppure considerando p-value se calcoli tramite software) si procede con rifiuto o meno dell'ipotesi nulla.

1. Si verifica preliminarmente che in questo caso non è significativa
2. Si valutano i fattori principali (main effect): significativo l'effetto del trattamento e l'effetto del tipo di carcinoma

Si passa alle conclusioni: per quali fattori si evidenzia un effetto e per quali no.