Author

Alva "Lucky_n00b" Jonathan

Reading time:

VGA

March 25, 2020

readmode

Selain unit RT Core khusus untuk melakukan akselerasi Real-time Ray Tracing, GeForce RTX masih memiliki satu ‘senjata’ lagi, yakni Tensor Core. Unit Tensor Core tersebut secara spesifik akan mengakselerasi berbagai perhitungan AI / Deep Learning, yang umumnya kurang efisien ditangani GPU.

Satu bentuk aplikasi AI yang diimplementasikan oleh NVIDIA bernama DLSS (Deep Learning Super Sampling), sebuah teknik yang dikembangkan untuk meningkatkan kualitas visual pada Game, sekaligus meningkatkan performa.

Ya, Anda tidak salah baca. NVIDIA mencoba menghadirkan tampilan cantik, dengan performa lebih tinggi. Bagaimana hal ini bisa dikerjakan? Mari simak lebih dekat!

Performance vs Visual

Pada konteks grafis real-time seperti yang terjadi pada berbagai Game modern, performa dan kualitas gambar adalah dua hal yang biasanya berbanding terbalik.

• Performa makin tinggi biasa didapatkan dengan penurunan kualitas gambar, sedangkan
• Peningkatan kualitas gambar biasanya didapatkan dengan penurunan performa / framerate.

Trade-off antara performa dan kualitas gambar ini adalah topik hangat yang sering dibicarakan para gamer PC, dimana kebanyakan pengguna berusaha mencari sebuah titik temu dimana kualitas gambar yang mereka temui sudah cukup baik, namun performa-nya juga memadai. Selain ini, ada juga para enthusiast yang berusaha memeras ekstra performa dengan memaksa hardware mereka di luar batas pabrikan, seperti Overclocking.

Ekstra Performa dengan optimalisasi

Namun perlu diketahui, peningkatan performa juga bisa dilakukan dengan optimalisasi metode rendering tertentu, mulai dari pemanfaatan resource lebih optimal dengan Graphics API modern (seperti Vulkan dan DX12), sampai ke mode rendering lebih pintar untuk mengurangi beban hardware (Variable Rate Shader adalah salah satu contoh-nya).

Dalam hal ini, NVIDIA mencoba memberikan optimalisasi dengan sebuah metode yang mereka namakan DLSS, yang diklaim untuk meningkatkan Performa DAN Kualitas Visual.

DLSS (Deep Learning Super Sampling) : Sekilas Sejarah, Konsep, dan Cara Kerja

DLSS: Berbagai Istilah Rumit dan Marketing membuat Rancu ?

Ketika pertama diperkenalkan berbarengan dengan GeForce RTX di tahun 2018 lalu, konsep DLSS nampak begitu menghebohkan dengan menawarkan sesuatu yang tadinya tidak masuk akal, seperti peningkatan performa sekaligus kualitas gambar.

Berikut ini salah satu penjelasan di tahun 2018 seputar DLSS dari NVIDIA:

“DLSS makes extensive use of the TensorCores in the Turing GPU to implement a deep neural network (DNN) that offers high-resolution gaming at high FPS and improves image quality to super-sampled levels.”

“Deep Learning Super Sampling (DLSS) is an NVIDIA RTX technology that uses the power of AI to boost your frame rates in games with graphically-intensive workloads. With DLSS, gamers can use higher resolutions and settings while still maintaining solid framerates.”

DLSS diperkenalkan sebagai metode rendering yang menggunakan AI / Deep Learning untuk mem-boost performance dan image quality.

Yang disayangkan, sebelum pembahasan cara kerja DLSS dipaparkan dengan jelas, NVIDIA sudah mulai menyodorkan berbagai klaim seputar performa ekstra yang didapatkan, misalnya seperti sebuah slide di bawah ini mengenai bagaimana RTX 2080 bisa memiliki 2x performa GTX 1080 dengan bantuan DLSS.

Klaim performa ekstra yang bombastis, berbagai terminologi rumit, serta minim-nya demonstrasi dari game yang mendukung DLSS membuat pembahasan DLSS menjadi rancu pada saat rilis.

Konsep & Cara Kerja DLSS

Untuk sebuah game bisa mendukung DLSS, NVIDIA akan membutuhkan kerjasama dengan developer game tertentu, dimana developer tersebut akan:

• Memberikan sejumlah data untuk NVIDIA untuk memulai proses Training
• Melakukan integrasi ke game dengan menyediakan opsi DLSS pada game mereka

Dari sisi NVIDIA, Implementasi DLSS akan berlangsung sebagai berikut :

1. Pre-processing: Pertama-tama tim NVIDIA mengumpulkan banyak sampel gambar/frame dari game spesifik, lalu menciptakan sebuah versi ‘Perfect Frame’ (a.k.a ‘Ground Truth’) dengan kualitas luar biasa berkat metode accumulation rendering atau super-sampling (hingga 64x super-sample per pixel!), dan sejumlah pasangan frame (frame awal dan perfect frame) ini dimasukkan ke NVIDIA Saturn V DGX-based supercomputing cluster untuk memulai proses ‘Training’.
2. ‘Training‘ : Pada supercomputer mereka, NVIDIA menciptakan sebuah deep neural network model, dimana mereka membandingkan frame awal dengan versi ‘Perfect Frame’-nya. Tujuannya adalah menciptakan sebuah proses untuk ‘mengubah’ input berupa frame awal, untuk menghasilkan gambar yang semirip mungkin dengan ‘perfect frame’, Tahap ini dilakukan berulang, hingga proses akhirnya akan menciptakan sebuah metode ‘post processing’, untuk mengubah sebuah input frame resolusi rendah menjadi frame resolusi tinggi.  Berdasarkan proses ini, NVIDIA akan menciptakan sebuah library (bernama NVIDIA NGX) untuk diintegrasikan ke driver.
3. Implementasi : Pada Game dan GPU yang mendukung, ketika DLSS diaktifkan, Tensor Cores akan membaca informasi yang diintegrasikan ke driver tersebut untuk melakukan post-processing setiap frame untuk menghasilkan kualitas visual lebih baik. Post-processing ini dikerjakan Tensor Core, sehingga tidak menambah beban Shader Unit GPU seperti proses Anti-Aliasing.

Ekstra Performa Darimana?

Anda yang membaca proses di atas mungkin mulai memahami cara kerja DLSS yang mencoba meningkatkan kualitas visual, tapi darimana performa ekstranya?

Salah satu kunci dari proses DLSS, adalah menghasilkan frame resolusi tinggi dari sebuah input frame resolusi rendah.

Ini berarti pada kebanyakan game saat DLSS aktif, resolusi Internal Game akan diturunkan terlebih dahulu, baru proses DLSS akan melakukan ‘rekonstruksi’ gambar untuk menyamai target resolusi native, sembari menjaga kualitas gambar semaksimal mungkin.

Salah satu hal yang memberikan performa ekstra pada metode DLSS bukan hanya post-processing yang di-offload ke Tensor Core, tapi game yang berjalan pada resolusi lebih rendah dari target native-nya (berarti pada sebagian besar game, jika Anda memilih Resolusi 4K lalu mengaktifkan DLSS, berarti kemungkinan besar Game-nya akan berjalan pada Resolusi yang lebih rendah dari 4K)

Hal penggunaan resolusi lebih rendah pada DLSS adalah satu dari beberapa hal yang kurang dikomunikasikan dengan baik saat DLSS rilis. Belum lagi, resolusi input/internal saat DLSS aktif kadang tidak bisa diatur oleh user dalam game, mereka hanya bisa melakukan setting resolusi target(output resolution) dan disable/enable DLSS.

Limitasi DLSS, ‘Blurry Image’ & Doesn’t Look So Sharp

Setelah dukungan game pada DLSS mulai bermunculan, ternyata limitasi teknik DLSS juga mulai nampak..

Lihat sebuah frame dari game Shadow of The Tomb Raider (SOTTR) yang kami jalankan pada GeForce RTX 2060 di resolusi 1080p dan 4K berikut ini :

*Gambar Resolusi Tinggi – Klik untuk memperbesar*

1080p Highest DX12 – TAA vs DLSS

4K (3840×2160) Highest DX12 – TAA vs DLSS

Nampak bahwa:

• Dari sisi performa, peningkatan performa signifikan (34%) terjadi saat resolusi 4K digunakan, bukan 1080p.
• 1080p DLSS hampir tidak menunjukkan peningkatan performa
• Pada sisi visual di 4K, DLSS masih memberikan kualitas image yang memadai, dan bahkan kadang temporal ‘artifact’ (‘Grain’) bisa diminimasi dengan DLSS.
• Sebaliknya, di 1080p, walaupun temporal artifact bisa diminimasi dengan DLSS, namun detail objek sudah agak hilang dan kabur di berbagai texture.

Terlihat jelas bahwa klaim DLSS untuk memberikan performa DAN kualitas visual tidak terjadi pada beberapa skenario.

Efektivitas DLSS hanya nampak pada target resolusi tinggi. Pada target resolusi rendah seperti 1080p, yang terjadi pada DLSS adalah gambar yang sudah terlalu blur dan hilang detailnya padahal performa tidak meningkat.

Kebanyakan pengguna yang terlanjur kecewa dengan gambar yang blur ini akhirnya menciptakan candaan bahwa DLSS merupakan singkatan dari Doesn’t Look So Sharp. Ouch!

Dari observasi beberapa game, Limitasi DLSS yang terdahulu kurang lebih dapat dirangkum menjadi beberapa poin:

• Peningkatan performa optimal jika target resolusi tinggi (seperti 4K), dengan GPU menjadi limitasi performa (‘GPU-bound’)
• Tidak ada peningkatan performa berarti pada resolusi rendah seperti 1080p
• Image Quality agak bermasalah di resolusi 1080p
• DLSS hanya akan tersedia pada resolusi tertentu bergantung jenis GPU (resolusi yang didukung RTX 2060 akan berbeda dengan resolusi yang didukung RTX 2080 Ti)
• Kebanyakan game hanya memberikan opsi DLSS ON vs OFF, jarang ada opsi resolusi dari input frame vs target/upscaled frame (Game Control menyediakan Opsi ini)
• DLSS akan memberikan kualitas image lebih tajam jika implementasi TAA dari game-nya relatif ‘blurry’ (seperti Final Fantasy XV)

DLSS 2.0 : Peningkatan pada berbagai Aspek

Ketika kritik seputar DLSS bermunculan, NVIDIA berjanji: “DLSS is a new technology and we are working hard to perfect it.”

Dan beberapa hari lalu, NVIDIA datang dengan update terbaru seputar DLSS, yang mereka namakan DLSS 2.0

Fitur utama dari DLSS 2.0 ini adalah:

1. Limitasi Opsi resolusi akan dihilangkan : semua RTX GPU akan punya akses ke semua resolusi.
2. DLSS lama membutuhkan proses training per game, namun NVIDIA mengklaim DLSS 2.0 didasarkan pada generalized AI Network sehingga proses integrasi akan lebih cepat dan mendukung jauh lebih banyak game
3. DLSS sekarang memiliki 3 preset : Performance, Balanced, dan Quality

Cara kerja DLSS 2.0 tidak jauh berbeda dengan DLSS sebelumnya. Dengan menganalisa gambar dan motion vectors dari input frame, NVIDIA menciptakan rekonstruksi gambar resolusi tinggi dari input resolusi rendah.

Mode Performance pada DLSS ini secara spesifik dapat memberikan resolusi target 4K dengan input 1080p, sehingga ada kemungkinan mode Quality akan menggunakan input/internal resolution lebih tinggi.

Dan seperti diutarakan pada poin pertama, NVIDIA melakukan berbagai optimalisasi dari penggunaan Tensor Core, membuat performance scaling akan lebih baik.

Game Support

Game yang akan mendukung DLSS 2.0 pada saat rilis adalah:

• Control
• MechWarrior 5
• Deliver Us The Moon
• Wolfenstein : Youngblood

Tentu, sama halnya dengan DLSS versi awal, DLSS 2.0 hanya akan didukung oleh GPU GeForce RTX, yang memiliki Tensor Core. NVIDIA juga menyatakan untuk membutuhkan Windows 10 November 2019 Update (‘1909’), dan Game Ready Driver terbaru, setidaknya versi 445.75.

Contoh Peningkatan Framerate  & Image Quality 

Berikut beberapa contoh peningkatan performa dan kualitas gambar sebagai berikut (catatan: Data dari NVIDIA):

Performance – Control, 1080p

Performance – Control, 4K

Image – Control

Image – Control

Penutup

DLSS 2.0 nampak menunjukkan performa yang menarik pada berbagai resolusi terutama 1080p, dan bahkan image pada saat DLSS aktif lebih terdefinisi dengan jelas (terutama bagian texture di dinding, dan berbagai teks).

Selain dukungan DXR, DLSS dengan implementasi yang tepat bisa jadi fitur yang lebih banyak menarik gamer untuk memilih NVIDIA GeForce RTX.

Kami tidak sabar menunggu berbagai game update untuk dukungan DLSS 2.0, dan melihat lebih jauh potensi performa yang ditawarkan. Good job, NVIDIA!

Simak Juga:

Game Ready Driver For Half-Life: Alyx and NVIDIA DLSS 2.0 Available

NVIDIA DLSS: Your Questions, Answered

DLSS: What Does It Mean for Game Developers?

With DLSS 2.0, AI Continues to Revolutionize Gaming