Ududtoto – Subquadratic, sebuah perusahaan yang berfokus pada pengembangan model bahasa, telah memperkenalkan inovasi yang diharapkan dapat merevolusi cara kerja Large Language Models (LLM). Meskipun tidak akan menggantikan model-model teratas secara menyeluruh, teknologi yang ditawarkan Subquadratic diklaim mampu meningkatkan kecepatan pemrosesan dengan signifikan, sekaligus mengurangi biaya operasional. Justin Dangel, salah satu pendiri dan CEO Subquadratic, menyatakan bahwa penemuan ini berpotensi membuka era efisiensi baru dalam pengembangan LLM.
Untuk memahami pentingnya klaim ini, perlu dijelaskan mekanisme yang paling umum dalam LLM saat ini. Sebagian besar LLM menggunakan jaringan saraf yang disebut transformer, dengan proses pemrosesan yang dikenal sebagai dense attention. Dalam sistem ini, setiap kata atau token dari teks akan diubah menjadi angka yang kemudian dikalikan satu sama lain, yang dapat menghasilkan jumlah komputasi yang sangat besar. Misalnya, teks sepanjang 10.000 kata dapat menghasilkan hampir 50 juta perkalian individual, yang menjadi penyebab utama tingginya penggunaan energi oleh LLM.
Peningkatan panjang teks akan mengakibatkan lonjakan jumlah komputasi, di mana penggandaan jumlah kata dapat mengakibatkan peningkatan komputasi hingga empat kali lipat. Dengan kata lain, penambahan satu token dapat memperluas jumlah hubungan yang perlu dipertimbangkan dalam pemrosesan.
Solusi yang ditawarkan Subquadratic adalah mengalihkan fokus dari dense attention menuju sparse attention. Metode ini mengurangi jumlah komputasi yang diperlukan dengan hanya memilih beberapa hubungan penting antar kata untuk dikalikan, bukan semua. Pendekatan ini menjanjikan efisiensi yang lebih baik, yang diyakini dapat mengubah cara pengembangan model bahasa masa depan.