Galaxy note 7 benchmarks en de nerds die ze graag haten

Ondanks het feit dat hij momenteel enorm wordt teruggeroepen, is de Galaxy Note 7 nog steeds een van de beste telefoons op de markt. En er is iets diep in het hart van elke smartphone-nerd dat twinkelt elke keer dat ze een telefoon bezitten die iemand met enige mate van autoriteit "de beste" noemt en die verklaring verdedigt op een manier waarmee ze het eens zijn.

Noot 7-fans hadden dat gevoel onlangs van hen weggenomen door de slimme mensen van XDA-Developers. Door een combinatie van 'echte wereld'-tests, benchmarks en systeemmonitoringstools vertelden de XDA-schrijvers een verhaal over stotterende prestaties die leken aan te tonen dat deze glimmende nieuwe telefoon in sommige opzichten de ruimte bovenaan de hoop niet verdiende, dus veel technische reviewers hebben het geplaatst.

Het is leuk om te lezen, vooral als je maar een beetje begrijpt wat je leest. Voordat je overweegt je Note 7 terug te gooien naar de winkel waar het vandaan kwam met die zelfgemaakte katapult, zijn er een paar dingen die je moet weten over benchmarks en "real world" -tests.

Benchmark-apps zijn zinloos

Als u een benchmark-app gebruikt om u te vertellen hoe geweldig of verschrikkelijk uw telefoon presteert, krijgt u niets in de buurt van een compleet beeld. Vroeger waren benchmark-apps geweldig voor het oplossen van problemen, zodat je kon zien of er in de loop van de tijd sprake was van prestatieverlies of schade aan je apparatuur. Tegenwoordig implementeren veel fabrikanten speciale code die die hardware dwingt om boven de typische drempels te presteren wanneer een benchmark-app wordt gebruikt, die de resultaten onherstelbaar verandert. U meet een versie van de hardware waartoe uw telefoon anders nooit toegang heeft, dus u krijgt niets anders dan een poging om de hoogste score te halen wanneer u vandaag benchmark-apps uitvoert.

Als je een Note 7 bijna net zo soepel ziet presteren als een Nexus 6P, bedenk dan hoeveel meer dingen die Note 7 doet.

Die prestatieveranderende softwarewijzigingen leiden tot een veel groter probleem. Wanneer je een Galaxy Note 7 vergelijkt met een Moto Z Droid Edition en een Nexus 6P, vergelijk je drie verschillende ervaringen die nooit hetzelfde zullen doen. Samsung en Lenovo hebben beide achtergrondtaken die niet kunnen worden gerepliceerd op de Nexus 6P. Functies die niet kunnen worden uitgeschakeld om een ​​1: 1 vergelijking van de softwareprestaties te krijgen. Als je een Note 7 bijna net zo soepel ziet presteren als een Nexus 6P, bedenk dan hoeveel meer dingen die Note 7 doet. Beter nog, bekijk de onmetelijk diepgaandere Anandtech-beoordeling van de prestaties van de Note 7 in vergelijking met alle andere goed presterende telefoons, en zie hoe deze regelmatig de Nexus 6P overtreft.

Het testen van dingen zoals gevallen frames is waardevol, en het rapporteren van die gevallen frames in context is een belangrijk ding om te doen als uw doel is om potentiële kopers te informeren en te informeren. Het is moeilijk te zeggen dat dit is gebeurd met de presentatie van XDA, gezien het gebrek aan context of een juiste vergelijking. Laat de Note 7 meer of minder frames vallen dan de Galaxy S7 of S7 Edge? Is dit een probleem exclusief voor de Snapdragon-variant van dit model? Gebeurt dit omdat de nieuwe Grace UI van Samsung eruit is gehaald en in een toekomstige update kan worden opgelost? Geen van deze vragen worden beantwoord, omdat het doel niet was om te informeren.

Kersen plukken in de "echte wereld"

Niet lang nadat XDA hun bevindingen publiceerde, probeerde een bericht van Vlad Savov van The Verge enige realiteit toe te passen op de eerste internetexplosie. In deze Vladitorial werd erop gewezen dat sommige bevindingen op XDA niet echt bevindingen waren. Met name beweren dat een verschil van 200 ms bij het starten van apps een voorbeeld was van 'gênante prestaties', is dom en niet representatief voor hoe mensen smartphones daadwerkelijk gebruiken. XDA schoot terug met meer gegevens in een poging hun positie te versterken. Het tegenargument, dat een vertraging van 200 ms in de loop van de tijd op een zodanige manier zou oplopen dat een Note 7-gebruiker een Nexus 6P zou pakken en verbaasd zou zijn over hoeveel sneller het "voelt", wordt afgedwongen door GIF's die deze prestatieverschillen aantonen.

Het fascinerende van deze demonstratie is het plukken van kersen. De software van Samsung is verre van perfect; in feite, nadat ik 13 apps van mijn glimmende nieuwe Verizon Note 7 heb verwijderd en er acht meer heb gevonden die ik niet kan uitschakelen, wil ik de mijne nu met een hamer slaan. Zittend die telefoon naast mijn vers met Nougat gevulde Nexus 6P, zijn er absoluut aspecten van deze Note 7 die aantoonbaar sneller zijn. De camera start bijvoorbeeld routinematig een volledige seconde sneller. Het zou niet moeilijk zijn om een ​​half dozijn voorbeelden te kiezen, ze op te geven en iets te schrijven dat lijkt op een bewijs van hoe superieur de Note 7 is aan de Nexus 6P.

Het punt is, dat is niet hoe het testen in de echte wereld werkt. Het doel van testen in de echte wereld, zoals de naam al suggereert, is het aanbieden van prestatievoorbeelden van hoe de hele telefoon functioneert alsof een "gemiddelde" gebruiker de telefoon gaat gebruiken. Het is lastig om die gegevens te gebruiken om de ene ervaring met de andere te vergelijken, in plaats van het aanbieden van een 1: 1 vergelijking van software omdat het werkt, biedt u een 1: 1 vergelijking van de ervaring, hoe het voelt om de telefoons te gebruiken. Tonen hoe een deelmenu laadt, vooral wanneer die telefoons duidelijk niet op dezelfde manier zijn ingesteld met dezelfde apps, past niet echt bij die beschrijving. Tenzij je natuurlijk een ander verhaal hebt.

Betere tools en daadwerkelijke analyse

De echte fout in dit alles is een verkeerde veronderstelling dat Samsung's Note 7 en Google's Nexus 6P voor hetzelfde doel zijn gebouwd. Eenvoudig en eenvoudig niet. De Nexus-ervaring van Google is geëvolueerd van schone Developer Kit naar een demonstratie van het Android Open Source Project met een handvol extra's. De telefoons van Samsung zijn al lang niet meer begonnen met AOSP en er is geen reden voor het bedrijf om nu een ander pad te overwegen.

Samsung-telefoons zijn op Android gebaseerd, niet op Android.

Samsung-telefoons zijn op Android gebaseerd, niet op Android. Als gevolg hiervan zijn Samsung-telefoons geoptimaliseerd op de manier die zij het belangrijkst vinden. Op dit moment zijn die optimalisaties voor het leveren van unieke Samsung-functies, zoals de camera van Samsung, Samsung Pay en de unieke S Pen-functies. Android, waarmee ik het besturingssysteem bedoel, geeft geen prioriteit aan die dingen. In recente releases is er een focus geweest op zaken als batterijverbruik wanneer u de telefoon niet gebruikt, beveiliging te allen tijde en een consistente 60FPS-gebruikersinterface. Het is moeilijk om te beweren dat al deze dingen niet belangrijk zijn, maar noch Android van Samsung noch Google's Android geeft prioriteit aan al deze dingen.

Dit komt echt neer op wat jij als gebruiker prioriteit geeft. Als je de veiligste telefoon wilt met een gelikte, onbelaste interface, wil je waarschijnlijk datgene wat Google en HTC binnenkort gaan aankondigen. Als je geïnteresseerd bent in een geweldige camera en software die is gebouwd om je een hoop functies te bieden die je al dan niet kunt gebruiken, is de Galaxy Note 7 van Samsung momenteel moeilijk te verslaan. Proberen te beweren dat de Note 7 op de een of andere manier achterblijft, omdat hij zich niet gedraagt ​​als een telefoon waarop hij niet is gebouwd, is belachelijk, ongeacht hoe strak je dat verhaal in benchmarks probeert te wikkelen.