Attention Is All You Need

Coba bayangin kamu baca kalimat ini:

Kucing itu nggak mau naik ke meja karena dia lagi capek.

Gampang, kan? Kamu langsung tahu “dia” itu si kucing.

Tapi buat komputer, pertanyaan “dia itu siapa?” dulu lumayan susah dijawab. Paper inilah yang mengubah cara AI menjawabnya.

Dulu, AI baca kayak orang ngeja

Sebelum 2017, model bahasa terbaik umumnya membaca kalimat kata demi kata, berurutan. Kata kedua harus menunggu kata pertama selesai diproses, dan seterusnya.

Kalimat tadi punya 11 kata, dan “dia” ada di urutan ke-9. Pas sampai sana, info soal “Kucing” sudah diteruskan dari langkah ke langkah, jadi makin samar.

Geser →

Cara ini juga lambat dilatih, karena langkah-langkahnya nggak bisa dikerjakan barengan. Model yang membaca berurutan begini termasuk keluarga Istilah aslinya: Recurrent neural network (RNN).

Senter vs lampu kamar

Nah, itu ide besar paper ini. Transformer membuang cara baca berurutan dan cuma mengandalkan satu mekanisme: tiap kata langsung “melirik” semua kata lain di kalimat.

Mekanisme melirik ini namanya Istilah aslinya: Self-attention.

Karena semua kata diproses barengan, latihannya bisa dikerjakan paralel. Hasilnya jauh lebih cepat dilatih dibanding model berurutan.

Setiap kata cari teman sekelompok

Gimana caranya “dia” tahu harus melirik “Kucing”? Gampangnya, bayangin hari pertama kerja kelompok.

Setiap kata datang membawa tiga hal:

• Pertanyaan: “aku lagi cari info apa?”
• Kartu nama: “aku bisa kasih info soal apa?”
• Isi: info yang benar-benar dibagikan kalau ternyata cocok.

Kata “dia” membandingkan pertanyaannya dengan kartu nama setiap kata. Makin cocok, makin besar perhatiannya, dan makin banyak isi kata itu yang ikut ia bawa.

Geser →

Garis tebal = paling diperhatikan

Diagram di atas ilustrasi, ya. Bobot perhatian yang sebenarnya dipelajari sendiri oleh model dari data.

Ketiga hal tadi punya nama resmi: Istilah aslinya: Query · Key · Value.

Kalau ditulis sebagai rumus, bentuknya begini:

$$\mathrm{Attention}(Q, K, V) = \mathrm{softmax}\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V$$

Bagian $QK^{\top}$ menghitung skor cocok antara pertanyaan dan kartu nama. Skor itu dibagi $\sqrt{d_k}$ biar angkanya nggak kegedean, lalu softmax mengubahnya jadi porsi perhatian yang totalnya 100%.

Delapan pasang mata

Kalau cuma melirik sekali, berbagai jenis hubungan antarkata jadi tercampur rata. Jadi Transformer melirik beberapa kali sekaligus, masing-masing dengan “kacamata” yang berbeda.

8head attention yang berjalan berdampingan di model dasar Transformer

Tiap lirikan itu disebut satu head. Gabungannya bernama Istilah aslinya: Multi-head attention.

Dilatih berapa lama?

Model terbesar di paper ini dilatih sekitar 3,5 hari di satu mesin dengan 8 GPU NVIDIA P100. Versi dasarnya cuma butuh sekitar 12 jam.

Hasilnya, model ini mencetak skor terjemahan terbaik saat itu untuk Inggris–Jerman dan Inggris–Prancis. Biaya latihannya pun jauh lebih kecil dibanding model-model terbaik sebelumnya.

Dari satu paper, lahir satu era AI

Transformer awalnya dibuat untuk menerjemahkan bahasa. Ternyata arsitekturnya jadi fondasi banyak terobosan sesudahnya.

• 2017 — Transformer diperkenalkan lewat paper ini.¹
• 2018 — GPT dari OpenAI dan BERT dari Google, dua model bahasa yang dibangun di atas Transformer.^{2, 3}
• 2021 — AlphaFold 2 dari DeepMind memprediksi struktur protein, dengan attention sebagai salah satu komponen utamanya.⁴
• 2022 — ChatGPT dari OpenAI, chatbot yang berbasis model GPT.⁵

Jadi, gampangnya…

Untuk memahami kalimat, AI nggak perlu membaca kata demi kata. Cukup biarkan setiap kata melirik semua kata lain, lalu pelajari mana yang paling penting.