Pourquoi les résultats diffèrent-ils d'un test de vitesse à l'autre ?

 

A chaque outil sa spécialisation 

Prendriez-vous pour faire un test de vitesse (sur circuit), une voiture familiale, un monospace, un SUV, une berline sportive.... Toutes ces voitures vous permettront de faire un test de vitesse mais les résultats ne seront pas les mêmes avec chacune. Cela paraît évident !

Pour les tests de vitesse internet, il peut en être de même et c'est beaucoup moins évident. C'est pour cette raison que nous vous recommandons d'être prudent et de confirmer vos tests avec plusieurs outils.

Par exemple: 

  • L'outil Speedtest.net (d'Ookla) est un outil conçu et utilisé mondialement pour mesurer les vitesses internet. 
  • La solution utilisée par Test Achats est l'outil NDT (M-Lab), originellement conçu par des universités pour le dépannage des réseaux. (Plus d'infos)
  • FAST.com est un outil très simple conçu par Netflix (Plus d'infos)
  • La solution nPerf.com est très complète et proche d'une utilisation habituelle de l'internet. (Plus d'infos)

Beaucoup d'éléments peuvent influencer les résultats

Votre navigateur, votre ordinateur, l'utilisation du WiFi, la présence d'autres utilisateurs, ..., le réseau mais aussi l'outil de mesure.

Des éléments dans la conception de ce genre d'outil influencent fortement le résultat.

  • La capacité de l'outil à faire des tests simultanés

Les tests nPerf, Ookla/Speedtest, Fast.com effectuent un ensemble de tests simultanés.
C'est la meilleure manière d'exploiter au mieux les capacités de votre navigateur, processeur, de votre bande passante disponible. C'est d'ailleurs comme cela que fonctionnent la plupart des applications aujourd'hui. 
Le test NDT ne fait qu'un seul test, qu'une seule session. Le résultat peut donc fluctuer énormément d'un essai à l'autre.

  • L'algorithme d'agrégation des résultats des tests simultanés.

Par exemple, pour calculer la moyenne, nPerf ne prend pas en compte les 5 (%) plus rapides et les 5 (%) plus lents. Pour Ookla, le  resultat est calculé en prenant en compte la meilleure moyenne sur un ensemble tests consécutifs. (L'ensemble représentant 50% des mesures).

Une explication plus approfondie

Le MIT (Massachusetts Institute of Technology) a publié, en 2010, une étude intéressante comparant les différents outils de mesure de vitesse (incluant Ookla/Speedtest et NDT M-Lab).

Dans la section Ookla, vous trouverez:

  • Une explication sur l'intérêt du multi-sessions pour une mesure de vitesse. Ceci étant d'autant plus utile que les vitesses à mesurer sont élevées.

(...) By employing multiple TCP connections they don’t harm the performance of tests running from machines that would be capable of saturating a single TCP connection, and they gain the benefit of moving the likely performance bottleneck back into the network (assuming that is what the measurements are trying to understand). 
Multiple simultaneous TCP connections are representative of many typical applications on the Internet today. Web browsers like Firefox, Microsoft’s Internet Explorer 8, and Google’s Chrome open four to six simultaneous connections per domain. Coupled with the common practice of websites using two or more sub-domains, the number of simultaneous TCP connections can easily be four to eight.48 Other applications like peer-to-peer traffic similarly open multiple simultaneous TCP connections. (There are exceptions to this -- web-based video traffic tends to be carried on a single TCP connection and large file transfers also employ a single TCP connection.) So employing multiple TCP connections both increases the odds that the test will measure a bottleneck in the network and is a representative test for many common usage patterns.
(Page 28)

  • Une explication sur l'algorithme utilisé par Ookla pour résumer les résultats obtenus des différents tests effectués simultanément. C'est la partie qui est le plus souvent critiquée. Ookla ne prenant pas en compte une partie des resultats obtenus. (Ci-dessous, la methode utilisée par Ookla en 2010 pour les tests Http. Cette méthode a été changée depuis 2010).

(...) The next important differentiator for the Speedtest/Ookla methodology relates to how they filter the test results. Ookla's results are based on disregarding the fastest 10% and slowest 30% of the measurements collected while the TCP connections were in progress. This is important because they deliberately do not take the total data transferred divided by the total time ...(Page 18)

Dans la section NDT, vous trouverez:

  • Une explication sur l'intérêt de l'outil NDT pour le dépannage et l'identification des problèmes réseau et sur le fait que l'outil n'utilise qu'une connexion TCP.

(...) Understanding these local bottlenecks is indeed one of the prime reasons the test was built in the first place. 
Several studies have shown that the majority of network performance problems occur in or near the users’ desktop/laptop computer. These problems include, but are not limited to, duplex mismatch conditions on Ethernet […] links, incorrectly set TCP buffers in the user’s computer, or problems with the local network infrastructure. The NDT is designed to quickly and easily identify a specific set of conditions that are known to impact network performance...
(Page 30)