Belakangan ini saya sedang membaca sebuah studi dari a16z, dan ada sebuah perumpamaan yang cukup menarik——LLM sebenarnya hidup di saat ini yang kekal, seperti tokoh utama dalam film "Memory Fragment" yang kehilangan ingatan. Setelah pelatihan, model dibekukan, informasi baru tidak bisa masuk, hanya mengandalkan catatan obrolan, sistem pencarian, dan plugin lainnya untuk mengatasi keadaan darurat. Tapi apakah ini cukup?

Semakin banyak peneliti yang berpendapat tidak cukup. Pembelajaran konteks memang berguna, tetapi secara esensial itu adalah pencarian, bukan pembelajaran. Bayangkan sebuah lemari arsip tak terbatas, di mana apa pun bisa dicari, tetapi model tidak pernah dipaksa untuk memahami, mengompresi, atau menginternalisasi pengetahuan baru secara nyata. Untuk masalah yang membutuhkan penemuan sejati—seperti pembuktian matematika yang benar-benar baru, skenario adversarial, atau pengetahuan yang terlalu implisit dan tidak dapat diungkapkan dengan bahasa—hanya mengandalkan pencarian pasti tidak cukup.

Inilah mengapa arah penelitian pembelajaran berkelanjutan semakin mendapatkan perhatian. Masalah inti sangat sederhana: **Di mana proses kompresi terjadi?** Sistem saat ini menyerahkan proses kompresi kepada rekayasa prompt, pipeline RAG, dan kerangka kerja agen cerdas. Tetapi mekanisme yang membuat LLM kuat saat pelatihan—kompresi lossy dan pembelajaran tingkat parameter—telah dimatikan saat model di-deploy.

Dunia penelitian umumnya terbagi menjadi tiga jalur. Satu ujung adalah pembelajaran konteks, di mana tim fokus mengoptimalkan pipeline pencarian, manajemen konteks, dan arsitektur multi-agen. Ini adalah yang paling matang, infrastruktur sudah teruji, tetapi batasannya adalah panjang konteks. Ujung lain adalah pembelajaran berbasis bobot, yang melibatkan pembaruan parameter sejati—layer memori sparse, loop reinforcement learning, pelatihan saat inferensi. Di tengah-tengah ada jalur modular, yang menggunakan modul pengetahuan yang dapat dipasang dan dilepas untuk mencapai spesialisasi tanpa mengubah bobot inti.

Arah penelitian berbasis bobot sangat beragam. Ada metode regulasi (seperti EWC), ada pelatihan saat inferensi (menggunakan gradient descent saat melakukan inferensi), ada meta-learning (melatih model agar belajar bagaimana belajar), serta distilasi diri dan perbaikan diri secara rekursif. Semua ini sedang menyatu, dan sistem generasi berikutnya kemungkinan besar akan menggabungkan berbagai strategi.

Namun, ada satu masalah kunci: pembaruan bobot yang sederhana akan menimbulkan banyak masalah di lingkungan produksi. Lupa secara katastrofik, decoupling waktu, kegagalan integrasi logika, dan operasi penghapusan yang secara fundamental tidak mungkin—semua tantangan besar ini. Lebih rumit lagi dari segi keamanan dan tata kelola—begitu batas pelatihan dan deployment dibuka, alignment bisa runtuh, serangan data poisoning menjadi lebih rentan, auditabilitas hilang, dan risiko privasi meningkat. Ini semua adalah masalah terbuka, tetapi juga bagian dari agenda penelitian.

Yang menarik, ekosistem startup sudah mulai bergerak di level-level ini. Di sisi konteks, ada perusahaan seperti Letta dan mem0 yang mengelola strategi konteks; di sisi parameter, ada tim yang bereksperimen dengan kompresi parsial, loop RL, metode pusat data, dan ada pula yang secara radikal mendesain ulang arsitektur itu sendiri. Belum ada satu pendekatan yang benar-benar unggul, dan mengingat keberagaman use case, mungkin sebaiknya tidak hanya ada satu pemenang.

Dari sudut pandang tertentu, kita sedang berada di titik balik. Sistem pencarian memang kuat, tetapi pencarian tidak pernah sama dengan pembelajaran. Model yang benar-benar mampu terus mengompresi pengalaman dan menginternalisasi pengetahuan baru setelah deployment akan menghasilkan nilai majemuk dengan cara yang tidak bisa dilakukan sistem saat ini. Ini berarti kemajuan dalam arsitektur sparse, meta-learning, dan siklus perbaikan diri mungkin juga akan mengubah definisi "model" itu sendiri—bukan sekadar kumpulan bobot tetap, melainkan sebuah sistem yang berevolusi.

Prospek pembelajaran berkelanjutan ada di sini. Lemari arsip sebesar apa pun hanyalah lemari arsip; terobosan terletak pada membuat model mampu melakukan pelatihan setelah deployment—mengompresi, mengabstraksi, dan belajar secara nyata. Jika tidak, kita akan terjebak dalam kekekalan saat ini.