Vorige maand werd dat ontdekt Samsung, HTC en andere fabrikanten van mobiele terminals vervalsen benchmarkresultaten voor smartphones: het aanpassen van het besturingssysteem om een benchmarkapplicatie te detecteren en de CPU/GPU-frequenties te verhogen tot hoger dan normale waarden. Dit wekt de indruk dat de terminals erg krachtig zijn, maar ze werken op hogere frequenties dan normaal, dus de resultaten zijn vals, en die van Futuremark Ze hebben besloten om de scores van sommige Samsung- en HTC-terminals in de 3D Mark-benchmark te elimineren.
Mensen vertrouwen op Futuremark-benchmarks om nauwkeurige en onbevooroordeelde resultaten te produceren. Daarom hebben we duidelijke regels voor hardwarefabrikanten en softwareontwikkelaars die specificeren hoe een platform kan communiceren met onze benchmarksoftware. Simpel gezegd: een apparaat moet onze benchmarks zonder aanpassingen uitvoeren alsof het een andere applicatie is. Het platform detecteert mogelijk de lancering van het uitvoerbare benchmarkbestand niet. Het platform mag geen parameters of delen van de test wijzigen, vervangen of terzijde schuiven, noch de gebruikelijke werking van het platform wijzigen op basis van de detectie van de benchmark.
Futuremark vermoedde dat de twee fabrikanten de benchmarkscores hadden gewijzigd en nam uit voorzorg de scores van twee Samsung-smartphones en -tablets, plus nog twee HTC-smartphones, van zijn lijsten. Hoewel er intensief is besproken hoe verkeerd deze strategie van Android-terminalfabrikanten is, lijkt het erop dat sommigen simpelweg niet willen leren hoe ze correct zaken moeten doen, en dit zal op de lange termijn gevolgen voor hen hebben.
