Waarom we niets geven om Galaxy S7-benchmarks

Heb je iemand gehoord over de man die enthousiast werd over de benchmarkprestaties van de niet-geteste processor in een onbevestigde omgeving die op weg is naar een onaangekondigde telefoon die mogelijk nog niet klaar was voor productie en officiële testen? Het is een echte knieslapper, je zult het geweldig vinden.

Het is die tijd van het jaar, wanneer we dat gestage straaltje informatie over telefoons beginnen te krijgen waarover we de komende twee maanden officieel zullen horen. Om voor de hand liggende redenen staat de Samsung Galaxy S7 hoog op de lijst van dingen waar mensen meer over willen horen. Dat leidt tot een heleboel onbevestigde rapporten, wazige cam-lekken en handenwringen over wat het allemaal betekent. Bovenal hebben we benchmarks, de meest nutteloze informatie die we kunnen krijgen over niet-vrijgegeven hardware met gloednieuwe processors.

De waarheid is dat de meeste smartphone-benchmarks zinloos zijn, maar vroege onvoltooide en niet-officiële benchmarks zijn dubbel zo. Hier is een korte blik op waarom.

We zien nog lang niet de eindproducten

Alle benchmarks die we de komende weken zullen zien verschijnen, komen uit twee plaatsen. We zien de door Samsung gemaakte Snapdragon 820-ontwikkelaarsborden of onafgemaakte prototypes van de Samsung Galaxy S7. Geen van beide zal u ergens in de buurt van de resultaten opleveren die u krijgt met de benchmarking-apps op uw winkel wanneer het tijd is om de telefoon te kopen. Deze pre-release benchmarknummers hebben nooit de resultaten van release-eenheden geëvenaard en zullen dat ook nooit doen.

Eenvoudig en eenvoudig, deze resultaten vertellen u niets.

Ontwikkelaarsborden hoeven vaak geen rekening te houden met het feit dat ze op batterijstroom zitten of op de hoogte zijn van zaken als temperatuur. Deze kits zijn gebouwd voor ontwikkelaars om hun software snel te optimaliseren voor de nieuwe verwerkingsarchitecturen of onderliggende softwaretools die Qualcomm dit jaar biedt voor zaken als betere beeldverwerking in camera's of betere audio-ondersteuning. Benchmarks op ontwikkelaarsbord geven je niet eens echt een breed idee van waar deze chips toe in staat zijn, omdat vaak het besturingssysteem dat erop draait in het begin niet bijzonder goed is geoptimaliseerd. Eenvoudig en eenvoudig, deze resultaten vertellen u niets.

Pre-productie-eenheden zijn ook niet indicatief voor de praktijkervaring. Deze versies van telefoons draaien vaak onafgemaakte software, of missen opgeblazen apps zoals beveiligingssoftware die telefoons vertragen door alleen op de achtergrond te draaien. Prototype benchmarks zijn vaak dichter bij de realiteit dan ontwikkelkits, maar nog steeds ver genoeg verwijderd van de praktijkervaring die ze het niet waard zijn serieus te nemen.

Kortom, tot we cijfers op winkelunits zien, zeg gewoon nee.

Benchmarks worden vaak toch gemanipuleerd

In de afgelopen paar jaar hebben we rapport na rapport gezien van fabrikanten van benchmarkapps van fabrikanten die een beetje duister worden met de manier waarop hun telefoons omgaan met deze apps met prestatiebeoordeling. We hebben speciale code gezien die de kloksnelheid van de processor alleen verhoogt wanneer een benchmark actief is, wat leidt tot nummers die lang niet in de buurt van de echte wereldervaring voor deze telefoons zijn. Samsung is hier geen engel - en dat geldt ook voor anderen - het is meer dan eens gebeurd en om welke reden dan ook lijken veel gebruikers er niet om te geven.

Waarom enthousiast worden over benchmarks wanneer er herhaaldelijk gevallen zijn waarin fabrikanten code schrijven om hun aantal te verhogen op een manier die niet overeenkomt met het gebruik op deze telefoons in de praktijk? We weten allemaal dat de meeste reden waarom de meeste gebruikers benchmarks gebruiken, is om te concurreren met de andere telefoons die er zijn, alsof hun telefoons in een soort rare digitale sterke concurrentie zijn, maar wat is het punt wanneer de informatie niet echt is?

Het enige dat er echt toe doet, is hoe de telefoon - of het nu de Galaxy S7 is of iets anders - presteert wanneer hij in zijn hand de dingen doet die je wilt doen, en als benchmarking-apps dit niet nauwkeurig kunnen meten omdat de fabrikanten resultaten dan hebben we betere manieren nodig om de prestaties in de echte wereld te meten.

De software die u installeert terwijl u de telefoon gebruikt, is van belang

Benchmarks zien die iemand anders op zijn Galaxy S7 plaatst, zelfs als het een winkelversie is en zelfs als er geen software is om resultaten te fudgen, zal het je nog steeds niet nauwkeurig vertellen hoe de ervaring zal zijn als je eenmaal bent ingetrokken naar je eigen Galaxy S7. Een nieuwe telefoon uit de doos met niets anders dan de stock-apps gaat anders presteren als je al je apps hebt geladen en ze bent gaan gebruiken. Appcache, actieve processen en zelfs toegang tot gegevens uit externe opslag hebben allemaal invloed op de algehele prestaties van uw telefoon.

Benchmarks laten u zien hoe dingen eruit zullen zien wanneer u probeert de telefoon tot het uiterste te duwen.

Dit betekent niet dat benchmarks onder vergelijkbare omstandigheden absoluut waardeloos zijn, het betekent alleen dat je nog steeds niet het hele plaatje ziet. En dat doe je niet, want er is echt geen manier voor benchmarks om je een goed idee te geven van hoe je telefoon zich zal gedragen zodra hij in je hand ligt en door jou wordt gebruikt. Wat u krijgt van benchmarks, wanneer deze afkomstig zijn van retailapparatuur zonder prestatieveranderende software, is een wazige blik op het plafond van potentiële prestatievermogen. Je kunt een beetje zien hoe dingen eruit zullen zien wanneer je de telefoon tot het uiterste probeert te duwen, wat alleen echt gaat gebeuren met resource-intensieve games of plezier hebben met de camera-instellingen. Je krijgt niet echt veel gevoel voor iets anders.

Dit wil niet zeggen dat je niet enthousiast moet worden over de Samsung Galaxy S7. We hebben het afgelopen jaar veel indrukwekkende dingen van Samsung gezien, en als de geruchten over drie telefoons die met deze branding op weg zijn naar de wereld waar zijn, zullen er nog meer redenen zijn om aandacht te schenken aan hoe deze telefoons zodat u het beste kunt bepalen welke ervaring het beste bij u past. Wat het wel betekent, is dat benchmarks je niet op een betrouwbare manier de gewenste informatie zullen bieden, en het beste wat je nu kunt doen is wachten tot deze telefoons hun weg vinden naar mensen die je kunnen laten zien hoe deze telefoons zich gedragen in de echte wereld.