Le mois dernier, on a découvert que Samsung, HTC et d'autres fabricants de terminaux mobiles falsifient les résultats du benchmark pour les smartphones, modification du système d'exploitation pour détecter une application de référence et augmenter les fréquences CPU/GPU à des valeurs supérieures à la normale. Cela donne l'impression que les terminaux sont très puissants, mais ils fonctionnent à des fréquences plus élevées que d'habitude, donc les résultats sont faux, et ceux de Futuremark Ils ont décidé pour éliminer les scores enregistrés par certains terminaux Samsung et HTC dans le benchmark 3D Mark.
Les gens s'appuient sur les références Futuremark pour produire des résultats précis et impartiaux. C'est pourquoi nous avons des règles claires pour les fabricants de matériel et les développeurs de logiciels qui précisent comment une plateforme peut interagir avec notre logiciel de référence. En termes simples, un appareil doit exécuter nos tests sans modification comme s'il s'agissait de n'importe quelle autre application. La plateforme peut ne pas détecter le lancement de l'exécutable de référence. La plateforme ne doit pas altérer, remplacer ou outrepasser aucun paramètre ou partie du test, ni modifier le fonctionnement habituel de la plateforme en fonction de la détection du benchmark.
Soupçonnant les deux constructeurs d'altérer les scores des benchmarks, Futuremark a pris la décision de précaution de retirer de ses listes les scores enregistrés pour deux smartphones et tablettes Samsung, ainsi que pour deux autres smartphones HTC. Bien que l'on ait longuement discuté de l'erreur de cette stratégie des fabricants de terminaux Android, il semble que certains ne veulent tout simplement pas apprendre à faire des affaires correctement, et cela les affectera à long terme.
