Dalam perkembangan terbaru di dunia kecerdasan buatan, tim peneliti dari Microsoft telah memperkenalkan teknik inovatif yang memungkinkan model bahasa besar (LLMs) untuk memodifikasi dan ‘melupakan’ informasi spesifik.
Teknik revolusioner ini menawarkan solusi potensial untuk tantangan penggunaan materi berhak cipta selama pelatihan LLMs dan adaptasi model ini tanpa pelatihan ulang yang luas. Simak berita lengkapnya berikut ini!
Model bahasa besar seperti ChatGPT dari OpenAI dan Llama 2 dari Meta telah menarik perhatian karena kemampuan mereka untuk menghasilkan konten teks berdasarkan dataset yang luas, yang mungkin termasuk materi berhak cipta.
Namun, kemampuan untuk menyesuaikan model ini untuk melupakan atau menghilangkan informasi spesifik telah menjadi perhatian utama. Peneliti Microsoft, Ronen Eldan dan Mark Russinovich, telah menemukan solusi elegan untuk tantangan ini.
Mereka memperkenalkan teknik tiga langkah yang dirancang untuk mendekati proses penghapusan informasi spesifik dalam LLMs. Aspek paling menonjol dari pendekatan mereka adalah efisiensinya. Mereka menunjukkan kemampuan untuk menghapus semua pengetahuan tentang buku Harry Potter, termasuk karakter dan detail plot, hanya dengan satu jam penyetelan GPU.
Baca Juga: Microsoft Siapkan Dukungan Lebih Baik untuk Dompet Crypto di Generasi Hardware Mendatang!
Teknik Eldan dan Russinovich menandai perbedaan signifikan dari pendekatan tradisional terhadap pembelajaran mesin, yang terutama berfokus pada akumulasi pengetahuan tanpa menyediakan mekanisme yang mudah untuk melupakan.
Pendekatan inovatif mereka terdiri dari tiga langkah dasar: identifikasi token yang relevan, penggantian ekspresi unik, dan penyetelan halus dan penghapusan.
Dengan melakukan serangkaian tes yang komprehensif, mereka menemukan bahwa setelah hanya satu jam penyetelan halus, model tersebut bisa ‘melupakan’ narasi detail dari buku Harry Potter.
Baca Juga: Microsoft Luncurkan ‘Microsoft Copilot’ yang Didukung AI: Fitur Baru Windows 11, Gratis Akses!
Meskipun teknik revolusioner ini menunjukkan janji yang signifikan, penting untuk menekankan bahwa penelitian lebih lanjut diperlukan untuk memperhalus dan memperluas metodologi ini, terutama dalam hal tugas penghapusan yang lebih luas dalam model bahasa besar.
Teknik ini mewakili langkah dasar menuju pengembangan LLMs yang lebih bertanggung jawab, dapat beradaptasi, dan patuh hukum. Ini memiliki potensi untuk mengatasi pedoman etika, nilai-nilai masyarakat, dan persyaratan pengguna tertentu seiring berkembangnya bidang AI.
Dengan terus bermain peran penting di berbagai bidang, kemampuan untuk melupakan atau menghilangkan informasi spesifik menjadi sangat penting. Metodologi ini mewakili langkah awal menuju pengembangan model bahasa besar yang lebih bertanggung jawab, dapat beradaptasi, dan patuh hukum.
Ikuti kami di Google News untuk mendapatkan berita-berita terbaru seputar crypto. Nyalakan notifikasi agar tidak ketinggalan beritanya.
*Disclaimer
Konten ini bertujuan memperkaya informasi pembaca. Selalu lakukan riset mandiri dan gunakan uang dingin sebelum berinvestasi. Segala aktivitas jual beli dan investasi aset crypto menjadi tanggung jawab pembaca.
Referensi: