Belakangan ini, saya sering memikirkan tentang batas mendasar dari AI. Seperti tokoh utama dalam film 'Memento', saya berpikir bahwa LLM saat ini mungkin juga mengalami semacam amnesia anterograde.

Jika parameter tetap statis, model tidak dapat belajar secara benar dari pengalaman baru. Mereka mencoba mengimbangi dengan riwayat obrolan atau sistem pencarian, tetapi pada akhirnya, ini hanya mengandalkan memori eksternal. Mereka belum menginternalisasi pengetahuan tersebut.

Menurut analisis a16z, pembelajaran dalam konteks (ICL) hanyalah pencarian, bukan pembelajaran sejati. Karena tidak melakukan kompresi, mereka tidak mampu melakukan penemuan kreatif atau menghadapi skenario antagonis. Misalnya, dalam masalah yang membutuhkan pendekatan baru secara fundamental seperti pembuktian Teorema Terakhir Fermat, LLM hanya dapat menggabungkan pengetahuan yang sudah ada.

Tiga jalur solusi yang diajukan para peneliti adalah. Pertama adalah penguatan lapisan konteks, seperti sistem multi-agen. Kedua adalah modularisasi, seperti adaptor dan cache KV terkompresi, yaitu modul pengetahuan yang dapat diintegrasikan ke arsitektur yang ada. Ketiga adalah pembaruan bobot, yaitu pembelajaran tingkat parameter secara penuh melalui pelatihan saat pengujian atau meta-pembelajaran.

Namun, pembaruan bobot menghadapi banyak tantangan. Lupa yang parah, pemisahan waktu, dan penurunan keselarasan keamanan. Pembaruan model setelah peluncuran bukan hanya masalah teknis, tetapi juga melibatkan auditabilitas dan privasi.

Sistem masa depan kemungkinan akan bersifat hierarkis. ICL akan menangani adaptasi cepat, modul akan mewujudkan spesialisasi, dan pembaruan bobot akan memungkinkan internalisasi yang mendalam. Untuk keluar dari amnesia anterograde, bukan sekadar memperluas file cabinet, tetapi membutuhkan kompresi, abstraksi, dan mekanisme pembelajaran sejati.

Bidang ini, startup mulai bermunculan, melakukan eksperimen di lapisan manajemen konteks, desain modul, dan optimisasi parameter. Pemenang yang pasti belum terlihat, tetapi dalam beberapa tahun ke depan, perubahan besar kemungkinan akan terjadi.