Taille d'échantillon et puissance pour une ANOVA dans Excel

Ce tutoriel explique comment calculer et interpréter une taille d’échantillon et une puissance pour une anova avec Excel en utilisant XLSTAT.

Qu'est-ce que la puissance d'un test statistique ?

XLSTAT propose des outils permettant d'appliquer un modèle d'analyse de la variance, d'analyse de la variance à mesures répétées et d'analyse de la covariance. XLSTAT permet également d'estimer la puissance ou de calculer le nombre d'observations nécessaires dans le cadre de ces méthodes.

Lorsqu'on teste une hypothèse à l'aide d'un test statistique, on a plusieurs éléments à choisir :

• L'hypothèse nulle H0 et l'hypothèse alternative Ha.

• Le test statistique à utiliser.

• L'erreur de première espèce (erreur de type I) que l'on appelle aussi alpha. Elle se produit lorsqu'on rejette l'hypothèse nulle alors qu'elle est vraie. Elle est fixée a priori pour chaque test et vaut 5%.

L'erreur de seconde espèce ou beta est moins étudiée, mais elle revêt une grande importance. En effet, elle représente la probabilité que l'on ne rejette pas l'hypothèse nulle alors qu'elle est fausse. On ne peut pas la fixer a priori mais, on peut essayer de la minimiser, en jouant sur les autres paramètres du modèle. La puissance d'un test est calculée comme 1-beta et représente la probabilité que l'on rejette l'hypothèse nulle alors qu'elle est bien fausse.
On voudra donc maximiser la puissance du test. XLSTAT permet de calculer cette puissance (ainsi que beta) lorsque les autres paramètres du test sont connus. D'autre part, il permet pour une puissance donnée d'évaluer la taille de l'échantillon nécessaire à l'obtention de cette puissance.
Les calculs de puissance en statistique se font généralement avant que l'expérience ne soit menée. On s'en sert principalement pour estimer le nombre d'observations nécessaires pour que l'expérience ait la qualité statistique requise.

But de ce tutoriel

On souhaite réaliser une expérience où trois types de micro-ondes ont été testés afin d’expliquer le pourcentage de popcorn comestibles après cuisson. Les cuissons diffèrent en fonction de la marque du micro-onde, de la puissance, et de la durée. Nous chercherons ici à déterminer s'il existe une influence significative de la marque, de la puissance, de la durée de cuisson, et éventuellement de leurs interactions.

On se trouve dans le cas d’une anova à 3 facteurs. La marque du micro-onde a 3 niveaux, la puissance et la durée ont deux niveaux chacun. On a donc 3 x 2 x 2 = 12 groupes. On va chercher dans notre cas à connaitre la taille de l’échantillon nécessaire afin que le facteur marque ait une puissance de 0.9.

Comme nous ne connaissons pas encore les paramètres de notre échantillon, nous allons utiliser le concept de taille de l'effet (effect size). Cohen (1988) a introduit ce concept qui permet de donner un ordre de grandeur pour l'importance de l'effet. On testera donc 3 tailles d'effets : 0.1 pour un effet faible, 0.25 pour un effet modéré et 0.4 pour un effet fort. On s'attend à ce que plus la taille de l'effet est grande, plus la taille d'échantillon nécessaire sera petite.

Paramétrer le calcul de la taille de l'échantillon nécessaire dans le cadre d’une anova

Une fois XLSTAT lancé, cliquez sur l'icône Puissance et choisissez la fonction ANOVA/ANCOVA.

Une fois le bouton cliqué, la boîte de dialogue apparaît.

Vous devez alors choisir l'objectif Trouver la taille de l'échantillon, puis sélectionner le test ANOVA Facteurs et interactions.

L'alpha est de 0,05. La puissance recherchée est de 0,9.

Le nombre de groupes, comme expliqué plus tôt, est de 12. Le nombre de degrés de liberté du numérateur (Num DDL) est égal au nombre de niveaux du facteur marque – 1, donc 2.

Dans l'onglet Graphique, l'option graphique de simulation est activée et on représentera la taille de l'échantillon 1 sur l'axe vertical et la puissance sur l'axe horizontal.

La puissance varie entre 0,8 et 0,95 par intervalle de 0,01.

Une fois que vous avez cliqué sur le bouton OK, les calculs sont effectués, puis les résultats sont affichés.

Interpréter les résultats du calcul de la taille de l'échantillon nécessaire dans le cadre d’une anova

Le premier tableau rassemble les paramètres utilisés en entrée.

Le second tableau rassemble les résultats du calcul ainsi qu'une interprétation des résultats.

On voit qu'il faut 83 observations dans notre échantillon pour obtenir une puissance la plus proche possible de 0,9.

Le tableau suivant rassemble les calculs obtenus pour chaque valeur de la puissance comprise entre 0,8 et 0,95.

Le graphique de simulation montre l'évolution de la taille de l'échantillon en fonction de la puissance. On voit que pour une puissance de 0,8, il suffit de 64 observations par échantillon et que pour une puissance de 0,95 on arrive à 100 observations.

Pour des tailles d'effet de 0.1 et 0.25, on obtient les résultats suivants :

Plus la taille de l’effet est faible, plus les paramètres en entrée seront restrictifs et donc plus la taille de l’échantillon sera élevée.

XLSTAT est donc un outil puissant aussi bien pour rechercher la taille de l'échantillon requise pour une analyse que pour calculer la puissance d'un test. Évidemment, si l'utilisateur dispose de plus d'informations sur son échantillon, il pourra donner des détails sur les paramètres en entrée, plutôt que de rentrer la taille de l'effet.