Taille d'échantillon et puissance pour un test de comparaison de moyennes, Excel

Ce tutoriel explique comment calculer et interpréter une taille d’échantillon et une puissance avec Excel en utilisant XLSTAT.

Qu'est-ce que la puissance d'un test statistique ?

XLSTAT, dans son module Tests paramétriques propose plusieurs tests afin de comparer des moyennes. Ainsi, on peut utiliser le test t ou le test z. XLSTAT permet d'estimer la puissance de ces tests ou de calculer le nombre d'observations nécessaires afin d'obtenir une puissance suffisante.
Lorsqu'on teste une hypothèse à l'aide d'un test statistique, on a plusieurs éléments à choisir :

• L'hypothèse nulle H0 et l'hypothèse alternative Ha.

• Le test statistique à utiliser.

• L'erreur de première espèce (erreur de type I) que l'on appelle aussi alpha. Elle se produit lorsqu'on rejette l'hypothèse nulle alors qu'elle est vraie. Elle est fixée a priori pour chaque test et vaut 5%.

L'erreur de seconde espèce ou beta est moins étudiée, mais elle revêt une grande importance. En effet, elle représente la probabilité que l'on ne rejette pas l'hypothèse nulle alors qu'elle est fausse. On ne peut pas la fixer a priori mais on peut essayer de la minimiser en jouant sur les autres paramètres du modèle.
La puissance d'un test est calculée comme 1-beta et représente la probabilité que l'on rejette l'hypothèse nulle alors qu'elle est bien fausse.
Nous voulons donc maximiser la puissance du test. XLSTAT calcule la puissance (ainsi que beta) lorsque les autres paramètres sont connus. Pour une puissance donnée, il permet également de calculer la taille d'échantillon nécessaire pour atteindre cette puissance. Les calculs de puissance en statistique se font généralement avant que l'expérience ne soit menée. On s'en sert principalement pour estimer le nombre d'observations nécessaires pour que l'expérience ait la qualité statistique requise.

But de ce tutoriel

Nous nous placerons dans un exemple de comparaisons de deux échantillons indépendants.
On désire connaître le nombre d'observations nécessaires afin d'obtenir une puissance de 0,9 en se basant sur l'hypothèse nulle Moyenne1-Moyenne2=0. Comme nous ne connaissons pas encore les paramètres de nos échantillons, nous allons utiliser le concept de taille de l'effet (effect size). Cohen (1988) a introduit ce concept qui permet de donner un ordre de grandeur pour l'importance de l'effet, c'est-à-dire la différence relative entre les moyennes.

On testera donc 3 tailles d'effets : 0,2 pour un effet faible, 0,5 pour un effet modéré et 0,8 pour un effet fort. Comme la taille de l'effet se base sur la différence entre les moyennes, on s'attend à ce que plus l'effet est fort (donc la différence est grande), plus la taille d'échantillon nécessaire sera petite.

Paramétrer le calcul de la taille de l'échantillon nécessaire pour un test de comparaison de moyennes

Une fois XLSTAT lancé, cliquez sur l'icône Power et choisissez la fonction comparer des moyennes.

Une fois le bouton cliqué, la boîte de dialogue apparaît.
Vous devez alors choisir l'objectif Trouver la taille de l'échantillon, puis sélectionner le test Test t pour deux échantillons indépendants. On prendra comme hypothèse alternative Moyenne1 <> Moyenne 2.
L'alpha est de 0,05. La puissance recherchée est de 0,9.
On suppose que nos échantillons sont de tailles égales donc le rapport N1/N2 est égal à 1. Plutôt que de rentrer des paramètres, on sélectionne l'option Taille de l'effet et on prend 0,2 pour un effet faible.

Dans l'onglet Graphiques, l'option graphique de simulation est activée et on représentera la taille de l'échantillon 1 sur l'axe vertical et la puissance sur l'axe horizontal.
La puissance varie entre 0,8 et 0,95 par intervalle de 0,01.

Une fois que vous avez cliqué sur le bouton OK, les calculs sont effectués, puis les résultats sont affichés.

Interpréter les résultats du calcul de la taille de l'échantillon nécessaire pour un test de comparaison de moyennes

Le premier tableau rassemble les résultats du calcul ainsi qu'une interprétation des résultats.

On voit qu'il faut 526 observations par échantillon pour obtenir une puissance la plus proche possible de 0,9.
Le tableau suivant rassemble les calculs obtenus pour chaque valeur de la puissance comprise entre 0,8 et 0,95.

Le graphique des simulations montre l'évolution de la taille de l'échantillon en fonction de la puissance. On voit que pour une puissance de 0,8, il suffit d'un peu plus de 393 observations par échantillon et que pour une puissance de 0,95 on arrive à 651 observations.
Pour des tailles d'effet de 0,5 et 0,8, on obtient les résultats suivants :


La taille de l'échantillon va donc baisser car la différence entre les moyennes augmente et on voit que pour une forte différence, 34 observations par échantillon seront suffisantes.
XLSTAT est un outil puissant aussi bien pour rechercher la taille de l'échantillon requise pour une analyse que pour calculer la puissance d'un test. Évidemment, si l'utilisateur dispose de plus d'informations sur ses échantillons, il pourra donner des détails sur les paramètres en entrée, plutôt que de rentrer la taille de l'effet.