Benchmark บนมือถือไม่ได้บ่งบอกประสิทธิภาพของการใช้งานจริง

เป็นเรื่องปรกติที่สินค้าแต่ละชนิดจะมีการวัดประสิทธิภาพ ซึ่งรวมไปถึงสินค้าด้านเทคโนโลยีอย่างโน๊ตบุ๊ค คอมพิวเตอร์ และมือถือด้วย แต่ประเด็นมีอยู่ว่าการทำ Benchmark เพื่อวัดประสิทธิภาพบนมือถือนั้นไม่ได้บ่งบอกว่าใช้จริงแล้วเครื่องจะลื่นไหลหรือหน่วง

Benchmark ไม่ได้บ่งบอกความเร็วในการใช้งานจริง

ในการสร้างสถานการณ์จำลองเพื่อวัดประสิทธิภาพ เหมาะกับการทดสอบที่ไม่ซับซ้อน แต่สิ่งเหล่านี้ไม่เหมาะจะนำมาทดสอบกับมือถือสมาร์ทโฟน เพราะมีการประมวลผลที่ซับซ้อนและมีปัจจัยความต่างหลายอย่าง ทำให้การ Benchmark ไม่สะท้อนถึงการใช้งานจริง

benchmark ไม่ได้บอกว่ามือถือจะลื่นไหลหรือหน่วง มันเป็นการจำลองสถานการณ์เพื่อทดสอบ ซึ่งอาจไม่สอดคล้องกับความเป็นจริงโดยเฉพาะในยุคที่มี AI และการ Optimize เข้ามาเกี่ยว

ตัวอย่างที่ชัดเจนก็คือมือถือที่ Google ผลิตอย่าง Pixel ซึ่งถือว่าเป็นต้นแบบของ Android และได้รับการยอมรับว่าใช้จริงแล้วลื่นไหลที่สุด แต่เมื่อนำมาทดสอบ AnTuTu Benchmark กลับได้คะแนนอยู่ที่อันดับ 20

ตารางคะแนน AnTuTu ล่าสุด (เดือนกันยายน 2018)

ตารางคะแนน AnTuTu (เดือนมีนาคม 2018 ซึ่งเป็นเดือนเดียวที่ Pixel 2 ติดอันดับ Top 10)

สาเหตุเพราะ Benchmark เป็นการจำลองสถานการณ์ เพื่อทดสอบว่ามือถือสมาร์ทโฟนสามารถประมวลผลได้ดีมากน้อยแค่ไหน แต่ประเด็นก็คือในความเป็นจริงแล้วสมาร์ทโฟนมีเรื่องของการ Optimize Software รวมถึงมีการออกแบบโครงสร้างสถาปัตยกรรมด้าน Hardware ที่ต่างกันออกไป แม้จะใช้ชิปเซ็ต SoC เดียวกันก็ให้ผลลัพธ์การใช้งานจริงที่ลื่นไหลต่างกัน

ความลื่นไหลของมือถือสมาร์ทโฟนมีปัจจัยหลายอย่าง ตั้งแต่ Hardware ที่เป็นเรื่องของชิปเซ็ตรวมถึงการออกแบบจัดวางและคุณภาพของแผงวงจร ไปจนถึง Software ในส่วนของ ROM รวมถึงความร่วมมือกับผู้พัฒนา Application และยังมีการจัด Priority ลำดับความสำคัญที่ต่างกัน กับระบบ AI ที่เข้ามาช่วยปรับแต่งให้ประสบการณ์ใช้งานดียิ่งขึ้น ซึ่งทั้งหมดนี้ไม่สามารถวัดได้ด้วยการ Benchmark

ในการใช้งานจริงโดยเฉพาะใช้ช่วงปีที่ผ่านมา มือถือสมาร์ทโฟนเข้าสู่ยุค AI อย่างเต็มตัว ทำให้ระบบมีการเรียนรู้และคาดเดาพฤติกรรมการใช้งาน เพื่อเร่งประสิทธิภาพหรือลดความเร็วเพื่อประหยัดพลังงานตามความเหมาะสม ทำให้ Benchmark ยิ่งไม่สอดคล้องกับประสบการณ์ใช้งานจริงเข้าไปใหญ่

รวมไปถึงการทดสอบความอึดของแบตเตอรี่ ซึ่งถ้าจะว่ากันจริงๆ แล้วการทดสอบความอึดของแบตเตอรี่ด้วยการเปิด YouTube หรือดูหนังไปเรื่อยๆ จนแบตเตอรี่หมด ก็ยังให้ข้อมูลที่ไม่สอดคล้องกับการใช้งานจริง เพราะในความเป็นจริงแล้วการ Optimize ของแต่ละรุ่นต่างกันออกไป เช่น บางรุ่นออกแบบมาให้ดูหนังได้นานแต่บางรุ่นสามารถ Standby ปิดหน้าจอได้นานกว่า หรือบางรุ่นพบอาการแบตเตอรี่หมดเร็วเมื่อเล่นเกม

ในกรณีของการทดสอบความอึดของแบตเตอรี่ ทาง Sony ก็เคยใช้วิธีจำลองพฤติกรรมของผู้ใช้ส่วนใหญ่ แทนการทดสอบเปิดแอพหรือดูหนังอย่างต่อเนื่อง เพื่อให้ได้ค่าที่ใกล้เคียงกับประสบการณ์จริงที่สุด

เพราะ Benchmark ไม่สอดคล้องกับการใช้จริง ผู้คนจึงถามหาค่า Framerate

การที่ Benchmark สร้างสถานการณ์จำลองเพื่อวัดประสิทธิก็ย่อมไม่เท่ากับการใช้จริง ทำให้หลายคนหันมาสนใจค่าเฟรมเรทจากการเล่นเกมแทน ซึ่งค่านี้จะสื่อสารได้แม่นยำกว่า เพราะเป็นค่าที่ได้จากสถานการณ์จริง โดยเฉพาะค่าเฟรมเรทจากเกม RoV ที่คนไทยนิยมเล่น

Benchmark ไม่สัมพันธ์กับการใช้งานจริง แต่ได้ผลดีในแง่การตลาด

แม้ว่า Benchmark ไม่สามารถสะท้อนความลื่นไหลในการใช้งานจริงได้เสมอไป แต่เหตุผลที่คะแนน Benchmark ถูกนำมาอ้างอิงอยู่เสมอ ก็เพราะมันเป็นสิ่งที่สื่อสารและเข้าใจได้ง่ายที่สุด และคนส่วนใหญ่ยังให้ความสำคัญกับคะแนนส่วนนี้อยู่ ทำให้ทางแบรนด์จำเป็นต้องนำคะแนน Benchmark มาใช้ในการโฆษณา โดยเฉพาะคะแนน AnTuTu

ข่าวด้านลบของการโกงคะแนน Benchmark

ถ้าลองหาข่าวย้อนหลังมาอ่าน จะพบว่ามีหลายแบรนด์ที่โดนข้อหาโกงคะแนน Benchmark เรียกได้ว่าราวครึ่งวงการกันเลยทีเดียว ซึ่งเทคนิคที่ใช้ก็แตกต่างกันออกไปแต่มีแนวทางเดียวกันคือ การเร่งประสิทธิภาพเมื่อทำการทดสอบ Benchmark

แม้ว่าเราจะเรียกเหมารวมการเร่งความเร็วว่าโกงคะแนน แต่ที่จริงแล้วมีอยู่ 2 ประเภทคือ

1. โกงคะแนน Benchmark โดยที่ไม่สามารถใช้งานความเร็วนี้ได้จริง
2. โกงคะแนน Benchmark แต่สามารถใช้งานได้เร็วจริง

การโกงคะแนนแบบที่ใช้จริงแล้วช้าเป็นสิ่งที่เกิดขึ้นในช่วงประมาณปี 2013 โดยกรณีที่โด่งดังที่สุดคือ Samsung Galaxy S4 ด้วยการเร่งความเร็วเมื่อทดสอบ Benchmark ให้สูงเกิน 480 MHz ซึ่งความเร็วนี้จะพบได้เฉพาะตอน Benchmark เท่านั้น และการโกงในลักษณะนี้ไม่พบเห็นมานานพอสมควร

ส่วนการโกงคะแนนแบบที่ใช้จริงก็เร็ว เกิดจากการที่บริษัท Benchmark มีกฎว่าห้ามตั้งค่าระบุการเร่งความเร็วเป็นรายแอพ เช่น ห้ามตั้งค่าว่าเปิด 3DMark แล้วเข้าสู่โหมดเร่งประสิทธิภาพ ซึ่งในความเป็นจริงแล้วมือถือในยุคหลังมีการจับมือกับผู้ผลิตแอพ เพื่อดูว่าแอพไหนที่ต้องใช้ทรัพยากรสูงและทำการเร่งประสิทธิภาพให้เหมาะสมเพื่อให้ใช้งานได้ลื่นไหล ซึ่งทำให้เครื่องใช้จริงได้เร็วแต่ผิดกฎของบริษัท Benchmark

กรณีที่ HUAWEI โดนข้อหาโกงคะแนนก็เป็นแบบหลังที่โกงคะแนนแต่ใช้จริงก็ลื่นไหล นั่นทำให้ HUAWEI บอกว่าการ Benchmark ไม่สามารถชี้วัดอะไรได้ และบอกว่าค่ายอื่นก็ทำ หลังจากนั้นก็มีข่าว OPPO โกงคะแนนเช่นกัน และ OPPO ก็ให้ข้อมูลในทิศทางเดียวกับ HUAWEI ว่ามีการปรับแต่งประสิทธิภาพเป็นรายแอพเพื่อให้ใช้จริงได้ลื่นไหล โดยดูว่าแอพไหนที่ต้องการทรัพยากรสูงก็จะเร่งให้เป็นพิเศษ ซึ่งวิธีแก้ไขของ HUAWEI คือเพิ่มโหมดปรับเปลี่ยนความเร็วให้ผู้ใช้งานเลือกได้เอง ซึ่งเป็นวิธีที่หลายค่ายเลือกใช้และถือว่าไม่ผิดกฎการ Benchmark เพราะผู้ใช้งานเป็นฝ่ายเลือกเอง

แนวทางการ Optimize ปัจจุบันที่ขัดแย้งกับแนวทางการ Benchmark

แม้ว่าบริษัท Benchmark จะมีกฎว่าห้ามเร่งความเร็วโดยการระบุชื่อแอพ แต่ในความเป็นจริงแล้วระบบยุคใหม่โฟกัสที่ความลื่นไหลในการใช้งานจริง โดยไม่สนว่าจะเป็นการระบุรายแอพ หรือเป็น AI ปรับแต่งความเร็วเอง

ยกตัวอย่างให้เห็นภาพที่สุดก็เช่น RoV ที่บางรุ่นถูกล็อกไว้ที่ 30 FPS และจะได้ 60 FPS ก็ต่อเมื่อผู้ผลิตมือถือจับมือกับทางค่ายเกมเพื่อพัฒนาร่วมกัน นั่นหมายความว่ามีการปรับแต่ง Optimize ประสิทธิภาพให้เล่นเกม RoV ได้ลื่นไหลจริง แต่สิ่งนี้อาจเข้าข่ายผิดกฎของบริษัท Benchmark เพราะว่ามีการเร่งประสิทธิภาพโดยมีการระบุชื่อแอพ

ซึ่งส่วนนี้ก็คาบเกี่ยวกับระบบ Optimize สมัยใหม่อย่าง HUAWEI GPU Turbo, OPPO Hyper Boost หรือแม้แต่ระบบที่ Samsung กำลังพัฒนาอยู่ รวมถึงระบบ Optimize Gaming จำพวก Game Suite ซึ่งทั้งหมดนี้จะมีการปรับแต่งรีดประสิทธิภาพเป็นกรณีพิเศษ ที่ทำให้ใช้งานจริงได้ลื่นไหลมากขึ้นแต่อาจผิดกฎของบริษัท Benchmark เพราะมีการเร่งประสิทธิภาพโดยการระบุชื่อเป็นรายแอพ

สิ่งที่เราควรให้ความสำคัญนอกจาก Benchmark

ที่ผมบอกมาทั้งหมด ไม่ได้หมายความว่า Benchmark เป็นสิ่งไร้สาระที่เชื่อถือไม่ได้ เพียงแต่เราควรใช้เป็นส่วนหนึ่งในการตัดสินใจเท่านั้น ดังนั้นสิ่งที่เราควรให้ความสำคัญคือสิ่งที่เกี่ยวกับการใช้งานจริง เช่น ค่าเฟรมเรท, ฟีเจอร์ต่างๆ, ตัวอย่างภาพถ่าย รวมถึงรีวิว และควรดูจากหลายๆ ที่ประกอบกัน

ในกรณีที่ต้องดูคะแนน Benchmark ก็ควรเข้าใจค่าแต่ละอย่างว่าหมายถึงอะไรเช่น CPU, GPU, Memory, UI ส่วนสาเหตุที่ผมบอกให้ดูรีวิวหลายที่ประกอบกัน ไม่ได้หมายความว่าใครรีวิวดีหรือไม่ดี เพียงแต่คนเราใช้งานภายใต้เงื่อนไขที่ต่างกัน อาจให้ผลลัพธ์ที่ไม่เหมือนกัน ดังนั้นการดูข้อมูลจากหลายแหล่งประกอบกันจึงเป็นวิธีที่ดีที่สุด

ภาพประกอบ: crossyroad.wikia.com