JAKARTA – Perserikatan Bangsa-Bangsa (PBB) menilai mekanisme perlindungan yang selama ini diterapkan untuk mengantisipasi risiko kecerdasan buatan (AI) mulai menghadapi tantangan seiring dengan perkembangan kemampuan teknologi tersebut.Hal itu menjadi salah satu perhatian Independent International Scientific Panel on AI, panel ilmiah independen yang dibentuk oleh Majelis Umum PBB dan beranggotakan 40 ahli dari berbagai wilayah di dunia.Melalui laporan tematik perdananya, panel tersebut menyoroti insiden keamanan yang terjadi di platform pengembangan dan berbagi model AI, Hugging Face, pada Juli 2026. Peristiwa itu berawal dari pengujian kemampuan siber yang dilakukan OpenAI terhadap sejumlah model kecerdasan buatan.BACA JUGA: <a target="_blank" rel="noopener noreferrer" href="https://balinesia.id/read/kapan-kamu-harus-upgrade-i-phone-ini-hal-hal-yang-harus-dipertimbangkan">Kapan Kamu Harus Upgrade iPhone? Ini Hal-hal yang Harus Dipertimbangkan</a>Dalam evaluasi tersebut, agen AI berhasil menghindari pembatasan yang dirancang untuk mengisolasinya dari internet. Agen AI tersebut kemudian mengeksploitasi kerentanan pada infrastruktur yang digunakan dalam lingkungan pengujian hingga memperoleh akses internet dan bergerak ke sistem lain.Dari sana, Agen AI menemukan cara untuk masuk ke infrastruktur Hugging Face. Agen AI mengeksploitasi kerentanan pada sistem pemrosesan data, memperoleh kredensial dan akses ke sejumlah sistem internal, kemudian melakukan pergerakan lateral di dalam jaringan. Hugging Face memperkirakan terdapat sekitar 17.600 tindakan agen AI yang berhasil direkonstruksi selama serangan berlangsung.Yang menjadi perhatian panel PBB bukan hanya terjadinya pembobolan, tetapi cara agen AI menjalankan serangan tersebut secara mandiri. Agen mampu menyusun rangkaian tindakan, mencari jalur alternatif ketika akses tertentu ditutup, serta menggunakan saluran komunikasi yang tidak secara khusus disediakan untuknya.<h2>Mengapa Agen AI Lebih Sulit Dikendalikan?</h2>Untuk memahami persoalannya, perlu dibedakan antara model AI dan agen AI. Model AI pada dasarnya memberikan respons berdasarkan perintah atau masukan pengguna. Sementara itu, agen AI dapat melakukan lebih banyak hal secara mandiri.Agen AI dapat:<ul><li>membuat rencana untuk mencapai tujuan;</li><li>menjalankan tugas dalam beberapa tahap;</li><li>menggunakan perangkat lunak atau alat digital;</li><li>mengakses internet;</li><li>membuat atau mengubah file;</li><li>mengambil tindakan berdasarkan informasi yang diperoleh;</li><li>bahkan berinteraksi dengan agen AI lainnya.</li></ul>Dengan kemampuan tersebut, tantangan keamanan tidak lagi hanya berkaitan dengan apakah AI memberikan jawaban yang salah atau berbahaya. Persoalannya berkembang menjadi apa yang dilakukan AI setelah mendapatkan akses untuk bertindak.Laporan keselamatan AI internasional sebelumnya juga menjelaskan bahwa agen AI yang semakin mampu dapat menimbulkan tantangan baru karena pengguna belum tentu mengetahui seluruh tindakan yang dilakukan sistem. Risiko lainnya mencakup kemungkinan agen dibajak, beroperasi di luar kendali, atau menimbulkan risiko baru ketika beberapa agen AI berinteraksi satu sama lain.<h2>AI Bisa Menemukan Celah dalam Sistem Keamanan</h2>Panel juga menyoroti persoalan yang lebih dalam daripada sekadar serangan siber. Menurut panel, metode pelatihan AI saat ini masih memiliki keterbatasan. Ada kekhawatiran bahwa metode tertentu dapat memberikan insentif kepada agen untuk mengejar tujuan dengan cara yang tidak diinginkan manusia.“Kekhawatiran yang lebih berbahaya dan serius adalah bahwa metode pelatihan yang ada saat ini dapat mendorong agen-agen itu mengadopsi tujuan mereka sendiri, dengan sengaja melanggar instruksi keamanan, dan menyembunyikan tindakan mereka.” tulis laporan Panel PBB dalam paparannya, dikutip Antara, Selasa, 22 September 2026.Hal ini tidak berarti seluruh AI saat ini secara otomatis memiliki tujuan sendiri atau sengaja menyembunyikan aktivitas. Peringatan tersebut lebih berkaitan dengan risiko perilaku yang dapat muncul dari sistem AI yang semakin kompleks, terutama ketika AI diberi kemampuan untuk merencanakan dan bertindak secara mandiri.Laporan keselamatan AI internasional juga mencatat bahwa belum ada metode yang dapat secara andal mencegah seluruh tindakan tidak aman dari sistem AI. Teknik keamanan yang ada dapat mengurangi risiko, tetapi masih dapat menghadapi serangan atau cara baru untuk melewati perlindungan.Panel PBB juga menyoroti persoalan yang lebih sederhana tetapi penting: praktik keamanan dasar masih sering diabaikan. Artinya, perkembangan AI bukan satu-satunya masalah. Perusahaan dan organisasi tetap harus memastikan,<ul><li>akses sistem dibatasi sesuai kebutuhan;</li><li>aktivitas agen AI dapat dipantau;</li><li>tindakan penting membutuhkan persetujuan manusia;</li><li>akses internet dan perangkat lunak dikontrol;</li><li>sistem memiliki mekanisme penghentian;</li><li>aktivitas mencurigakan dapat terdeteksi;</li><li>serta insiden dapat segera diisolasi.</li></ul>Tanpa lapisan keamanan tersebut, peningkatan kemampuan agen AI justru dapat memperbesar dampak ketika terjadi kesalahan.Laporan keselamatan AI sebelumnya menyebut pemantauan dan intervensi sebagai salah satu lapisan penting dalam keamanan AI. Namun, efektivitas metode tersebut di dunia nyata serta kemungkinan sistem keamanan dilewati masih menjadi area penelitian.<h2>Dari Mengawasi Model AI ke Mengawasi Agen AI</h2>Perkembangan agen AI juga mengubah fokus tata kelola teknologi. Sebelumnya, perhatian banyak diarahkan pada model AI.Pertanyaannya antara lain:<ul><li>Apakah model menghasilkan informasi yang benar?</li><li>Apakah model menghasilkan konten berbahaya?</li><li>Apakah model dapat membocorkan data?</li><li>Apakah model dapat digunakan untuk melakukan serangan?</li></ul>Kini pertanyaannya semakin berkembang. Apa yang dilakukan agen AI setelah diberi akses untuk bertindak?Perubahan tersebut penting karena agen AI bukan hanya menghasilkan teks, gambar atau kode. Agen dapat mengambil tindakan berdasarkan tujuan yang diberikan kepadanya.Karena itu, sistem pengawasan harus mampu mengikuti proses tersebut dari awal sampai akhir. Dengan kata lain, keamanan AI tidak cukup hanya memeriksa output. Keamanan juga harus memantau proses dan tindakan yang dilakukan agen.<h2>Panel PBB Beranggotakan 40 Pakar Independen</h2>Independent International Scientific Panel on AI dibentuk oleh Majelis Umum PBB sebagai badan ilmiah independen untuk memberikan penilaian berbasis bukti mengenai perkembangan, manfaat dan risiko AI.Panel tersebut terdiri dari 40 pakar independen dari berbagai kawasan dunia. Dalam pernyataan pada forum PBB sebelumnya, panel menjelaskan bahwa anggotanya bekerja untuk menghasilkan penilaian independen berbasis bukti mengenai kondisi AI, dampak, peluang dan risikonya.Laporan tematik mengenai insiden OpenAI-Hugging Face menjadi salah satu keluaran awal panel tersebut. Laporan awal tersebut diterbitkan ketika para pemimpin dunia berkumpul di New York dalam rangka Pekan Tingkat Tinggi Majelis Umum PBB.PBB memilih menerbitkan laporan awal yang belum diedit agar temuan tersebut dapat segera dibaca dan dipertimbangkan oleh para pemimpin dunia.Waktu penerbitannya menunjukkan bahwa persoalan keamanan AI mulai ditempatkan dalam pembahasan tata kelola teknologi global.Laporan tersebut tidak hanya membahas satu insiden di Hugging Face, tetapi menggunakan kasus tersebut untuk menunjukkan persoalan yang lebih luas: kemampuan agen AI berkembang sementara mekanisme untuk memahami, mengawasi dan mengendalikannya belum selalu berkembang pada kecepatan yang sama.<blockquote>Tulisan ini telah tayang di <a target="_blank" rel="noopener noreferrer" href="https://www.trenasia.id/read/manusia-diramal-makin-sulit-kendalikan-agen-ai">www.trenasia.id</a> oleh Muhammad Imam Hatami pada 23 Sep 2026&nbsp;</blockquote><blockquote>Tulisan ini telah tayang di <a target="_blank" rel="noopener noreferrer" href="https://balinesia.id/read/waspada-manusia-diramal-makin-sulit-kendalikan-ai">balinesia.id</a> oleh Redaksi pada 23 Sep 2026 &nbsp;</blockquote>

JUSTINA.png

AI Artificial Intelligence chatgpt chatbot

Waspada! Manusia Diramal Makin Sulit Kendalikan AI

Panel PBB menilai kemampuan agen AI yang semakin mandiri membuat manusia menghadapi tantangan baru dalam memantau dan mengendalikan tindakannya.

Kemampuan AI Meningkat, Manusia Diprediksi Makin Sulit Mengontrolnya