StoryTech

Benchmark บนมือถือไม่ได้บ่งบอกประสิทธิภาพของการใช้งานจริง

- Benchmark บนมือถือไม่ได้บ่งบอกประสิทธิภาพของการใช้งานจริง

เป็นเรื่องปรกติที่สินค้าแต่ละชนิดจะมีการวัดประสิทธิภาพ ซึ่งรวมไปถึงสินค้าด้านเทคโนโลยีอย่างโน๊ตบุ๊ค คอมพิวเตอร์ และมือถือด้วย แต่ประเด็นมีอยู่ว่าการทำ Benchmark เพื่อวัดประสิทธิภาพบนมือถือนั้นไม่ได้บ่งบอกว่าใช้จริงแล้วเครื่องจะลื่นไหลหรือหน่วง

Benchmark ไม่ได้บ่งบอกความเร็วในการใช้งานจริง

ในการสร้างสถานการณ์จำลองเพื่อวัดประสิทธิภาพ เหมาะกับการทดสอบที่ไม่ซับซ้อน แต่สิ่งเหล่านี้ไม่เหมาะจะนำมาทดสอบกับมือถือสมาร์ทโฟน เพราะมีการประมวลผลที่ซับซ้อนและมีปัจจัยความต่างหลายอย่าง ทำให้การ Benchmark ไม่สะท้อนถึงการใช้งานจริง

benchmark ไม่ได้บอกว่ามือถือจะลื่นไหลหรือหน่วง มันเป็นการจำลองสถานการณ์เพื่อทดสอบ ซึ่งอาจไม่สอดคล้องกับความเป็นจริงโดยเฉพาะในยุคที่มี AI และการ Optimize เข้ามาเกี่ยว

ตัวอย่างที่ชัดเจนก็คือมือถือที่ Google ผลิตอย่าง Pixel ซึ่งถือว่าเป็นต้นแบบของ Android และได้รับการยอมรับว่าใช้จริงแล้วลื่นไหลที่สุด แต่เมื่อนำมาทดสอบ AnTuTu Benchmark กลับได้คะแนนอยู่ที่อันดับ 20

- Benchmark บนมือถือไม่ได้บ่งบอกประสิทธิภาพของการใช้งานจริง
ตารางคะแนน AnTuTu ล่าสุด (เดือนกันยายน 2018)
- Benchmark บนมือถือไม่ได้บ่งบอกประสิทธิภาพของการใช้งานจริง
ตารางคะแนน AnTuTu (เดือนมีนาคม 2018 ซึ่งเป็นเดือนเดียวที่ Pixel 2 ติดอันดับ Top 10)

สาเหตุเพราะ Benchmark เป็นการจำลองสถานการณ์ เพื่อทดสอบว่ามือถือสมาร์ทโฟนสามารถประมวลผลได้ดีมากน้อยแค่ไหน แต่ประเด็นก็คือในความเป็นจริงแล้วสมาร์ทโฟนมีเรื่องของการ Optimize Software รวมถึงมีการออกแบบโครงสร้างสถาปัตยกรรมด้าน Hardware ที่ต่างกันออกไป แม้จะใช้ชิปเซ็ต SoC เดียวกันก็ให้ผลลัพธ์การใช้งานจริงที่ลื่นไหลต่างกัน

ความลื่นไหลของมือถือสมาร์ทโฟนมีปัจจัยหลายอย่าง ตั้งแต่ Hardware ที่เป็นเรื่องของชิปเซ็ตรวมถึงการออกแบบจัดวางและคุณภาพของแผงวงจร ไปจนถึง Software ในส่วนของ ROM รวมถึงความร่วมมือกับผู้พัฒนา Application และยังมีการจัด Priority ลำดับความสำคัญที่ต่างกัน กับระบบ AI ที่เข้ามาช่วยปรับแต่งให้ประสบการณ์ใช้งานดียิ่งขึ้น ซึ่งทั้งหมดนี้ไม่สามารถวัดได้ด้วยการ Benchmark

ในการใช้งานจริงโดยเฉพาะใช้ช่วงปีที่ผ่านมา มือถือสมาร์ทโฟนเข้าสู่ยุค AI อย่างเต็มตัว ทำให้ระบบมีการเรียนรู้และคาดเดาพฤติกรรมการใช้งาน เพื่อเร่งประสิทธิภาพหรือลดความเร็วเพื่อประหยัดพลังงานตามความเหมาะสม ทำให้ Benchmark ยิ่งไม่สอดคล้องกับประสบการณ์ใช้งานจริงเข้าไปใหญ่

รวมไปถึงการทดสอบความอึดของแบตเตอรี่ ซึ่งถ้าจะว่ากันจริงๆ แล้วการทดสอบความอึดของแบตเตอรี่ด้วยการเปิด YouTube หรือดูหนังไปเรื่อยๆ จนแบตเตอรี่หมด ก็ยังให้ข้อมูลที่ไม่สอดคล้องกับการใช้งานจริง เพราะในความเป็นจริงแล้วการ Optimize ของแต่ละรุ่นต่างกันออกไป เช่น บางรุ่นออกแบบมาให้ดูหนังได้นานแต่บางรุ่นสามารถ Standby ปิดหน้าจอได้นานกว่า หรือบางรุ่นพบอาการแบตเตอรี่หมดเร็วเมื่อเล่นเกม

- Benchmark บนมือถือไม่ได้บ่งบอกประสิทธิภาพของการใช้งานจริง

ในกรณีของการทดสอบความอึดของแบตเตอรี่ ทาง Sony ก็เคยใช้วิธีจำลองพฤติกรรมของผู้ใช้ส่วนใหญ่ แทนการทดสอบเปิดแอพหรือดูหนังอย่างต่อเนื่อง เพื่อให้ได้ค่าที่ใกล้เคียงกับประสบการณ์จริงที่สุด

เพราะ Benchmark ไม่สอดคล้องกับการใช้จริง ผู้คนจึงถามหาค่า Framerate

การที่ Benchmark สร้างสถานการณ์จำลองเพื่อวัดประสิทธิก็ย่อมไม่เท่ากับการใช้จริง ทำให้หลายคนหันมาสนใจค่าเฟรมเรทจากการเล่นเกมแทน ซึ่งค่านี้จะสื่อสารได้แม่นยำกว่า เพราะเป็นค่าที่ได้จากสถานการณ์จริง โดยเฉพาะค่าเฟรมเรทจากเกม RoV ที่คนไทยนิยมเล่น

- Benchmark บนมือถือไม่ได้บ่งบอกประสิทธิภาพของการใช้งานจริง

Benchmark ไม่สัมพันธ์กับการใช้งานจริง แต่ได้ผลดีในแง่การตลาด

แม้ว่า Benchmark ไม่สามารถสะท้อนความลื่นไหลในการใช้งานจริงได้เสมอไป แต่เหตุผลที่คะแนน Benchmark ถูกนำมาอ้างอิงอยู่เสมอ ก็เพราะมันเป็นสิ่งที่สื่อสารและเข้าใจได้ง่ายที่สุด และคนส่วนใหญ่ยังให้ความสำคัญกับคะแนนส่วนนี้อยู่ ทำให้ทางแบรนด์จำเป็นต้องนำคะแนน Benchmark มาใช้ในการโฆษณา โดยเฉพาะคะแนน AnTuTu

- Benchmark บนมือถือไม่ได้บ่งบอกประสิทธิภาพของการใช้งานจริง

ข่าวด้านลบของการโกงคะแนน Benchmark

ถ้าลองหาข่าวย้อนหลังมาอ่าน จะพบว่ามีหลายแบรนด์ที่โดนข้อหาโกงคะแนน Benchmark เรียกได้ว่าราวครึ่งวงการกันเลยทีเดียว ซึ่งเทคนิคที่ใช้ก็แตกต่างกันออกไปแต่มีแนวทางเดียวกันคือ การเร่งประสิทธิภาพเมื่อทำการทดสอบ Benchmark

แม้ว่าเราจะเรียกเหมารวมการเร่งความเร็วว่าโกงคะแนน แต่ที่จริงแล้วมีอยู่ 2 ประเภทคือ

  1. โกงคะแนน Benchmark โดยที่ไม่สามารถใช้งานความเร็วนี้ได้จริง
  2. โกงคะแนน Benchmark แต่สามารถใช้งานได้เร็วจริง

การโกงคะแนนแบบที่ใช้จริงแล้วช้าเป็นสิ่งที่เกิดขึ้นในช่วงประมาณปี 2013 โดยกรณีที่โด่งดังที่สุดคือ Samsung Galaxy S4 ด้วยการเร่งความเร็วเมื่อทดสอบ Benchmark ให้สูงเกิน 480 MHz ซึ่งความเร็วนี้จะพบได้เฉพาะตอน Benchmark เท่านั้น และการโกงในลักษณะนี้ไม่พบเห็นมานานพอสมควร

ส่วนการโกงคะแนนแบบที่ใช้จริงก็เร็ว เกิดจากการที่บริษัท Benchmark มีกฎว่าห้ามตั้งค่าระบุการเร่งความเร็วเป็นรายแอพ เช่น ห้ามตั้งค่าว่าเปิด 3DMark แล้วเข้าสู่โหมดเร่งประสิทธิภาพ ซึ่งในความเป็นจริงแล้วมือถือในยุคหลังมีการจับมือกับผู้ผลิตแอพ เพื่อดูว่าแอพไหนที่ต้องใช้ทรัพยากรสูงและทำการเร่งประสิทธิภาพให้เหมาะสมเพื่อให้ใช้งานได้ลื่นไหล ซึ่งทำให้เครื่องใช้จริงได้เร็วแต่ผิดกฎของบริษัท Benchmark

กรณีที่ HUAWEI โดนข้อหาโกงคะแนนก็เป็นแบบหลังที่โกงคะแนนแต่ใช้จริงก็ลื่นไหล นั่นทำให้ HUAWEI บอกว่าการ Benchmark ไม่สามารถชี้วัดอะไรได้ และบอกว่าค่ายอื่นก็ทำ หลังจากนั้นก็มีข่าว OPPO โกงคะแนนเช่นกัน และ OPPO ก็ให้ข้อมูลในทิศทางเดียวกับ HUAWEI ว่ามีการปรับแต่งประสิทธิภาพเป็นรายแอพเพื่อให้ใช้จริงได้ลื่นไหล โดยดูว่าแอพไหนที่ต้องการทรัพยากรสูงก็จะเร่งให้เป็นพิเศษ ซึ่งวิธีแก้ไขของ HUAWEI คือเพิ่มโหมดปรับเปลี่ยนความเร็วให้ผู้ใช้งานเลือกได้เอง ซึ่งเป็นวิธีที่หลายค่ายเลือกใช้และถือว่าไม่ผิดกฎการ Benchmark เพราะผู้ใช้งานเป็นฝ่ายเลือกเอง

แนวทางการ Optimize ปัจจุบันที่ขัดแย้งกับแนวทางการ Benchmark

แม้ว่าบริษัท Benchmark จะมีกฎว่าห้ามเร่งความเร็วโดยการระบุชื่อแอพ แต่ในความเป็นจริงแล้วระบบยุคใหม่โฟกัสที่ความลื่นไหลในการใช้งานจริง โดยไม่สนว่าจะเป็นการระบุรายแอพ หรือเป็น AI ปรับแต่งความเร็วเอง

ยกตัวอย่างให้เห็นภาพที่สุดก็เช่น RoV ที่บางรุ่นถูกล็อกไว้ที่ 30 FPS และจะได้ 60 FPS ก็ต่อเมื่อผู้ผลิตมือถือจับมือกับทางค่ายเกมเพื่อพัฒนาร่วมกัน นั่นหมายความว่ามีการปรับแต่ง Optimize ประสิทธิภาพให้เล่นเกม RoV ได้ลื่นไหลจริง แต่สิ่งนี้อาจเข้าข่ายผิดกฎของบริษัท Benchmark เพราะว่ามีการเร่งประสิทธิภาพโดยมีการระบุชื่อแอพ

- Benchmark บนมือถือไม่ได้บ่งบอกประสิทธิภาพของการใช้งานจริง

ซึ่งส่วนนี้ก็คาบเกี่ยวกับระบบ Optimize สมัยใหม่อย่าง HUAWEI GPU Turbo, OPPO Hyper Boost หรือแม้แต่ระบบที่ Samsung กำลังพัฒนาอยู่ รวมถึงระบบ Optimize Gaming จำพวก Game Suite ซึ่งทั้งหมดนี้จะมีการปรับแต่งรีดประสิทธิภาพเป็นกรณีพิเศษ ที่ทำให้ใช้งานจริงได้ลื่นไหลมากขึ้นแต่อาจผิดกฎของบริษัท Benchmark เพราะมีการเร่งประสิทธิภาพโดยการระบุชื่อเป็นรายแอพ

สิ่งที่เราควรให้ความสำคัญนอกจาก Benchmark

ที่ผมบอกมาทั้งหมด ไม่ได้หมายความว่า Benchmark เป็นสิ่งไร้สาระที่เชื่อถือไม่ได้ เพียงแต่เราควรใช้เป็นส่วนหนึ่งในการตัดสินใจเท่านั้น ดังนั้นสิ่งที่เราควรให้ความสำคัญคือสิ่งที่เกี่ยวกับการใช้งานจริง เช่น ค่าเฟรมเรท, ฟีเจอร์ต่างๆ, ตัวอย่างภาพถ่าย รวมถึงรีวิว และควรดูจากหลายๆ ที่ประกอบกัน

ในกรณีที่ต้องดูคะแนน Benchmark ก็ควรเข้าใจค่าแต่ละอย่างว่าหมายถึงอะไรเช่น CPU, GPU, Memory, UI ส่วนสาเหตุที่ผมบอกให้ดูรีวิวหลายที่ประกอบกัน ไม่ได้หมายความว่าใครรีวิวดีหรือไม่ดี เพียงแต่คนเราใช้งานภายใต้เงื่อนไขที่ต่างกัน อาจให้ผลลัพธ์ที่ไม่เหมือนกัน ดังนั้นการดูข้อมูลจากหลายแหล่งประกอบกันจึงเป็นวิธีที่ดีที่สุด

ภาพประกอบ: crossyroad.wikia.com

Advertisements
เรื่องที่คุณอาจสนใจ :  รีวิว OPPO Reno 10x Zoom สวยเด่นด้วย Pivot Rising Camera
Tags
Back to top button
Close
Close