W zeszłym miesiącu odkryto, że Samsung, HTC i inni producenci terminali mobilnych fałszują wyniki testów porównawczych w przypadku smartfonów modyfikacja systemu operacyjnego w celu wykrycia aplikacji wzorcowej i zwiększenia częstotliwości procesora/GPU do wartości wyższych niż normalne. Stwarza to wrażenie, że terminale są bardzo mocne, ale działają na wyższych częstotliwościach niż zwykle, więc wyniki są fałszywe, a te z Futuremark Zdecydowali aby wyeliminować wyniki zarejestrowane przez niektóre terminale Samsung i HTC w teście porównawczym 3D Mark.
Ludzie polegają na benchmarkach Futuremark, aby uzyskać dokładne i bezstronne wyniki. Dlatego mamy jasne zasady dla producentów sprzętu i twórców oprogramowania, które określają, w jaki sposób platforma może współdziałać z naszym oprogramowaniem testowym. Krótko mówiąc, urządzenie musi uruchamiać nasze testy porównawcze bez modyfikacji, tak jakby były jakąkolwiek inną aplikacją. Platforma może nie wykryć uruchomienia pliku wykonywalnego benchmarku. Platforma nie może zmieniać, zastępować ani zastępować żadnych parametrów lub części testu, ani modyfikować zwykłego funkcjonowania platformy w oparciu o wykrycie testu porównawczego.
Podejrzewając, że obaj producenci zmienią wyniki testów porównawczych, Futuremark podjął zapobiegawczą decyzję o usunięciu ze swoich list wyników uzyskanych dla dwóch smartfonów i tabletów Samsung oraz dwóch kolejnych smartfonów HTC. Choć intensywnie dyskutowano o tym, jak błędna jest taka strategia producentów terminali z Androidem, wydaje się, że niektórzy po prostu nie chcą się uczyć, jak poprawnie prowadzić biznes, a to odbije się na nich w dłuższej perspektywie.
