Wat betekenen benchmarkaantallen in 2017 eigenlijk ??

Update, maart 2017: dit bericht is bijgewerkt met informatie over de nieuwste telefoons en benchmarktechnieken.

Wanneer het tijd is voor Samsung om ons een nieuwe telefoon te laten zien, spreekt de hardware onvermijdelijk over het onderwerp benchmarks. De Galaxy S8, de showcase-telefoon van Samsung voor 2017, is niet anders. En zoals verwacht kregen deze aantallen al door veel mensen erover te praten.

De cijfers staan ​​erin, maar wat betekenen ze?

Een gesprek over benchmarks is gewoon inactief geklets. "Oh, cool! De Leeuwebek berekent de" dingen "in een benchmark-applicatie over evenals de Exynos" is leuk om over te praten. het is een interessant gesprek dat ertoe leidt te praten over hoe een nieuwe telefoon aan onze verwachtingen kan voldoen of deze kan overtreffen, omdat deze geavanceerde hardware gebruikt om coole dingen te doen. Dat is waarom de meesten van ons hier zijn om te praten over dingen die Android draaien en hoe we ze kunnen gebruiken om ons leven te verrijken.

Maar sommige mensen worden serieus met benchmarkcijfers en beschouwen ze als een belangrijk onderdeel van een koopbeslissing. We moeten dit allemaal aanmoedigen, omdat het altijd geweldig is om mensen ergens enthousiast over te maken, maar we moeten ook praten over wat benchmarknummers echt betekenen in het grote geheel van dingen. Een manier om dingen te relativeren is om de benchmarks van een paar nieuwe processors die Android-fabrikanten zullen kopen, te vergelijken met de nieuwste van Apple.

Voor iedereen die obsedeert over welke CPU beter is voor de Galaxy S8. pic.twitter.com/28TTXdIDhW

- Jerry Hildenbrand (@gbhil) 17 maart 2017

Dit betekent niet dat een iPhone die de A10 gebruikt, automatisch een betere ervaring is dan een Galaxy S8. Er is zoveel meer dat bepaalt wat beter is, en het grootste deel ervan is gebruikersvoorkeur. je houdt van wat je leuk vindt en ik hou van wat ik leuk vind. Getallen in een tweet zullen daar niets aan veranderen en de getallen betekenen niet wat u denkt dat ze betekenen.

Hoe die cijfers komen te zijn

Benchmarks op mobiele telefoons zijn niet echt een benchmark voor hardware, althans niet zoals we denken dat ze zijn. Ze hebben geen toegang tot de hardware zelf omdat ze de applicatielaag van het besturingssysteem gebruiken. Ze hebben een waslijst van dingen die ze de telefoon laten doen via de API's die door het besturingssysteem worden weergegeven, en berekenen vervolgens hoe goed het hen heeft gedaan. Er is een soort tussenlaag om door te gaan naar de 'hersens' achter het besturingssysteem, het gedeelte dat de hardware rechtstreeks aanstuurt. Dus een benchmark-app benchmarkt de hardware via sommige software.

Je hebt misschien iOS-mensen over Metal horen praten of Android-mensen over een NDK. Dit zijn manieren waarop applicaties kunnen communiceren met de hardware, via die tussenliggende laag zonder de hele softwarestapel te hoeven doorlopen. Merk op dat de referentienummers voor Samsung's Exynos 8895 en Qualcomm's Snapdragon 835 heel dicht bij elkaar liggen. Beide gebruiken dezelfde software en de prestatieverschillen tussen hen worden hierdoor geminimaliseerd.

Als u een telefoon koopt omdat u graag benchmarks uitvoert, moet u waarschijnlijk een iPhone kopen.

De "tussenlaag van Apple" is beter. Laten we dat daar weggooien waar we het allemaal kunnen zien. Apple bouwt zijn eigen processor met een focus op het echt goed doen van bepaalde dingen en bouwt vervolgens software die hiervan profiteert. Google moet software bouwen die kan worden aangepast om met alles te werken. Het heeft geweldig werk verricht en de software die een Android-telefoon van stroom voorziet, is iets prachtigs dat ongelooflijk ingewikkeld is. Zoiets als een benchmark-app die de Apple-interface voor de hardware gebruikt, heeft automatisch een voordeel ten opzichte van Android, ongeacht wie deze heeft gebouwd, omdat de interface zelf meer gestroomlijnd en "sneller" is met iOS. Dat gebeurt omdat de hardware en de software zijn ontworpen om met elkaar en niets anders te werken.

Je benchmarkt de telefoon als geheel, niet alleen de processor. Als het gaat om het kraken van cijfers op elke CPU-kern, doet de iPhone 7 Plus het een stuk beter.

Laten we eens kijken naar die kernen in de A10-processor van Apple. Dat ding is ontegenzeggelijk de beste ARM-chip voor consumenten ooit ontworpen als het gaat om ruwe prestaties per kern. Dat komt omdat de hardware is ontworpen om precies dat te doen en de software is ontworpen om het te gebruiken. We hebben het eerder gehad over ARM-architectuur en de A10 is een goed voorbeeld van hoe je ARM kunt schalen om zo ongeveer alles te doen wat je wilt. Net als de Qualcomm 835 en de Exynos 8895, ze zijn net ontworpen met verschillende criteria in gedachten.

Het verschil in benchmarkaantallen is geen ongeval

We vergelijken ze omdat ze allemaal in een telefoon zitten, maar Apple heeft dorst om één ARM-processor te bouwen die een iPhone, een iPad en een MacBook van stroom kan voorzien. Qualcomm en Samsung bouwen processoren om aan andere bedrijven te verkopen voor kleine mobiele apparaten. Qualcomm en Samsung zouden een processor kunnen bouwen die uitblinkt in dezelfde gebieden als de A10 en die prima zou werken voor een Windows-laptop. Qualcomm is er eigenlijk in geïnteresseerd en de Snapdragon 835 is de eerste stap van het bedrijf in de richting van dat doel.

Over een paar jaar zullen we een Snapdragon-chip zien die hard genoeg kan worden gewerkt om een ​​volledige laptop te draaien en toch efficiënt genoeg is om te worden gebruikt in een mobiel apparaat met een kleine batterij. We zullen ook meer chips zien die niet zo krachtig zijn, nog efficiënter zijn als het gaat om batterijgebruik en een stuk goedkoper zijn. Dit zullen de CPU's zijn die bedrijven die telefoons maken zullen kopen.

Wanneer u een tool neemt die is ontworpen om alleen bepaalde dingen in een bepaalde volgorde te doen en ziet hoe "snel" ze kunnen worden gedaan, wint de A10 altijd. Het moet altijd winnen, en we moeten willen dat het altijd wint. Een CPU die is ontworpen voor een 13-inch MacBook moet sneller één kernberekening uitvoeren dan een Exynos 8895. De A10 is niet die CPU, maar het is een stap in die richting. En Apple is een technologiebedrijf dat we echt coole dingen zouden willen doen om technologie vooruit te helpen, net zoals we Samsung, Google of Microsoft willen laten doen.

Qualcomm of Samsung zouden een ARM-processor kunnen bouwen die net zo krachtig is als de A10, maar ze hebben geen reden om dit te doen.

Het kleine stukje van een benchmark-scorebord dat geen context heeft, zie je het belangrijkste: deze cijfers hebben weinig invloed op hoe geweldig zoiets als een telefoon moet worden gebruikt. De gebruikerservaring heeft weinig te maken met de hardware omdat de hardware al een tijdje goed genoeg is. De ingewanden van een Galaxy S5 of Nexus 7 of Note 4 zijn meer dan genoeg om de dingen te doen die we van een telefoon verwachten te doen, zolang de software maar snuffelt. Je hoeft me daar niet aan te houden, struikel gewoon naar XDA, waar mensen die geen nieuwer willen of kunnen betalen, voor elk een aangepaste software hebben gebouwd. We vragen een telefoon niet om iets ingewikkelds te doen dat meer verwerkingskracht nodig heeft dan deze apparaten kunnen leveren.

Ik ben ervan overtuigd dat zelfs mobiele VR prima zou zijn als bedrijven voldoende zorg zouden dragen om Vulkan correct te ondersteunen op hun oudere processors. We zullen het nooit weten omdat de betrokken bedrijven bestaan ​​om nieuwe dingen te maken en aan ons te verkopen en dat is waar ze hun tijd en geld op richten. Nieuwe chips zijn niet alleen nieuw ontworpen. Ze bieden allemaal kleine incrementele verbeteringen in prestaties, beveiliging en efficiëntie en die kleine stijgingen tellen op in de tijd. Op dit moment is de wet van Moore niet gericht op het verviervoudigen van prestaties in elke generatie, maar op het gebruik van betere productietechnieken om meer energie-efficiënte chips te leveren en prestatieverbeteringen zijn gewoon natuurlijke evolutie.

Wat we echt zien aan deze benchmarks

Wat we kunnen wegnemen van deze benchmarkscores is dat de manier waarop een CPU-kern dingen berekent en werkt met GPU-kernen niet is gebroken. Nummers kunnen iets sneller worden gekraakt met nieuwere hardware die is ontworpen om energie-efficiënter te zijn. De manier waarop een CPU-kern een aantal kan kraken, is niet langer het knelpunt, dus deze kleine verschillen en verhogingen worden niet opgemerkt wanneer u geen benchmarkapplicatie uitvoert. Nieuwere hardware is misschien beter dan die van vorig jaar, en de ene processor is misschien beter dan de andere. De prestatieverbeteringen zijn echt, maar ze vertalen zich niet in een merkbaar verschil wanneer je ze gebruikt en niet, tenzij je een paar generaties overslaat. De overstap van een Qualcomm S4 Pro naar een Qualcomm 835 brengt een prestatieverlies teweeg dat u meteen zult merken. Van een Qualcomm 821 naar een Qualcomm 835 gaan doet dat niet.

De Galaxy S8 biedt een gebruikerservaring die beter is dan de Galaxy S7 van vorig jaar. Velen van ons zullen het als een betere ervaring beschouwen dan Apple biedt met de iPhone 7, terwijl velen het tegenovergestelde zullen voelen. Dit alles is niet vanwege een benchmarkscore.