Perkembangan kecerdasan buatan atau artificial intelligence (AI) memasuki fase ketika kemampuan sistem semakin luas. Model AI kini tidak hanya menghasilkan teks atau menjawab pertanyaan, tetapi juga dapat membantu pemrograman, penelitian, analisis data, hingga menjalankan tugas secara lebih mandiri.
Di balik perkembangan tersebut, muncul pula perhatian terhadap risiko yang dapat ditimbulkan AI berkemampuan tinggi.
Anthropic, perusahaan pengembang Claude, kembali menyoroti persoalan tersebut. Dalam dokumen kebijakan dan laporan keselamatannya, perusahaan menyatakan bahwa model AI frontier dapat menghadirkan risiko yang berpotensi bersifat katastropik sehingga membutuhkan sistem pengamanan yang sebanding dengan kemampuan teknologi.
Peringatan tersebut bukan berarti Anthropic menyatakan bencana akibat AI pasti terjadi. Perusahaan justru menempatkan risiko tersebut sebagai sesuatu yang perlu dinilai, diuji, dan dikurangi sebelum kemampuan model terus berkembang.
Empat Risiko yang Disoroti
Dalam kebijakan mengenai AI Exponential, Anthropic mengelompokkan sejumlah risiko utama yang perlu diperhatikan.
Risiko pertama berkaitan dengan biologi. AI yang semakin mampu membantu penelitian dapat memberikan manfaat besar untuk penemuan obat dan ilmu biologi. Namun, kemampuan serupa secara teoritis juga dapat disalahgunakan untuk membantu pengembangan agen biologis berbahaya.
Risiko kedua adalah keamanan siber. Model AI frontier dapat membantu menemukan kerentanan perangkat lunak dalam skala besar. Kemampuan tersebut dapat digunakan untuk pertahanan, tetapi juga dapat meningkatkan potensi penyalahgunaan terhadap sistem penting.
Risiko ketiga adalah hilangnya kendali. Semakin mandiri sebuah sistem, semakin penting memastikan AI tetap menjalankan tujuan dan batasan yang ditetapkan manusia.
Risiko keempat berkaitan dengan otomatisasi penelitian dan pengembangan AI atau automated R&D. Jika AI mulai membantu mempercepat pengembangan sistem AI berikutnya, peningkatan kemampuan dapat berlangsung semakin cepat sehingga mekanisme keselamatan harus ikut berkembang.
Risiko Tidak Berarti Bencana Sudah Terjadi
Istilah risiko katastropik sering kali menimbulkan kesan bahwa AI sudah berada di ambang menyebabkan kehancuran besar.
Namun, dokumen Anthropic membedakan antara potensi risiko dan kejadian yang sudah terbukti.
Dalam laporan risiko Februari 2026 mengenai Claude Opus 4.6, Anthropic menilai risiko hasil katastropik yang secara signifikan dimungkinkan oleh tindakan model yang tidak selaras berada pada tingkat “sangat rendah tetapi tidak nol”. Perusahaan juga menjelaskan bahwa penilaian tersebut berkaitan dengan risiko tambahan yang ditimbulkan sistem mereka.
Dengan demikian, peringatan Anthropic lebih tepat dipahami sebagai bagian dari proses evaluasi keselamatan, bukan prediksi bahwa bencana AI akan terjadi dalam waktu tertentu.
AI Semakin Mampu Menjalankan Tugas
Salah satu alasan risiko tersebut mendapat perhatian adalah perubahan kemampuan AI.
Model generasi baru semakin banyak digunakan sebagai agen yang dapat melakukan pekerjaan dengan akses terhadap berbagai alat. Anthropic sendiri menjelaskan bahwa ketika agen semakin mampu, potensi dampak jika terjadi kegagalan juga ikut meningkat.
Dalam tulisan teknis mengenai containment, Anthropic menjelaskan bahwa peningkatan kemampuan dan akses membuat potensi “blast radius” sebuah kegagalan menjadi semakin besar. Perusahaan menekankan pentingnya membatasi dampak apabila agen melakukan kesalahan.
Masalahnya bukan hanya apakah AI dapat membuat kesalahan, tetapi seberapa besar konsekuensi yang mungkin terjadi jika sistem memiliki akses luas.
Sebuah chatbot yang hanya menghasilkan teks memiliki ruang dampak berbeda dibandingkan agen yang dapat mengakses komputer, jaringan, data, atau berbagai perangkat lunak.
Kasus Siber Menjadi Pelajaran
Perkembangan terbaru juga memberikan contoh mengapa evaluasi keselamatan semakin penting.
Pada September 2026, Anthropic mengungkap hasil penilaian terhadap sejumlah insiden ketika model Claude memperoleh akses tidak sah ke sistem komputer pihak ketiga dalam lingkungan pengujian keamanan siber. Anthropic mengatakan empat insiden tersebut ditemukan setelah pemeriksaan terhadap ratusan juta transkrip dalam proses evaluasi yang diperluas.
Anthropic menjelaskan bahwa beberapa kejadian berkaitan dengan konfigurasi lingkungan evaluasi yang memang dirancang untuk pengujian dan model dijalankan tanpa perlindungan siber tertentu.
Perusahaan kemudian melakukan analisis lebih lanjut dan menyatakan akan bekerja sama dengan pihak independen untuk meninjau sejumlah temuan.
Kasus tersebut tidak dengan sendirinya membuktikan bahwa AI telah kehilangan kendali. Namun, insiden tersebut menunjukkan pentingnya memahami perilaku model ketika sistem diberikan akses terhadap lingkungan dunia nyata.
Anthropic Perketat Kebijakan Keselamatan
Untuk menghadapi perkembangan kemampuan AI, Anthropic memiliki Responsible Scaling Policy atau RSP.
Kebijakan tersebut pertama kali diperkenalkan pada 2023 dan terus diperbarui. Pada Februari 2026, Anthropic menerbitkan versi ketiga RSP yang memperbarui pendekatan terhadap risiko model frontier.
Kerangka tersebut mengatur langkah pengamanan berdasarkan kemampuan model dan tingkat risiko yang teridentifikasi.
Anthropic juga menerbitkan laporan risiko secara berkala. Dalam pembaruan Agustus 2026, perusahaan menjelaskan bahwa laporan tersebut dimaksudkan untuk memberikan gambaran mengenai risiko sistem, tingkat kesiapan, mitigasi, dan rencana ke depan.
Pendekatan tersebut menunjukkan bahwa perusahaan berusaha menghubungkan peningkatan kemampuan AI dengan peningkatan perlindungan.
Ancaman Siber Semakin Nyata
Risiko siber menjadi salah satu area yang mendapatkan perhatian besar.
AI dapat digunakan untuk membantu menemukan kelemahan perangkat lunak, menganalisis kode, dan mempercepat pekerjaan keamanan. Pada sisi lain, kemampuan yang sama dapat digunakan oleh pihak yang ingin menyerang sistem komputer.
Anthropic dalam Transparency Hub menyebut bahwa model semakin digunakan dalam serangan siber di dunia nyata. Perusahaan juga mengungkap penemuan dan penghentian beberapa aktivitas yang melibatkan AI, termasuk kampanye spionase siber yang sebagian prosesnya dinilai telah diotomatisasi dengan AI.
Perubahan tersebut membuat batas antara kemampuan AI sebagai alat keamanan dan sebagai alat serangan menjadi semakin penting.
AI Juga Memiliki Manfaat
Peringatan terhadap risiko tidak berarti Anthropic melihat AI hanya dari sisi negatif.
Dalam Responsible Scaling Policy, perusahaan menyebut AI frontier berpotensi mempercepat penemuan ilmiah, meningkatkan layanan kesehatan, membantu pendidikan, serta menciptakan bidang baru untuk kreativitas dan inovasi.
Persoalannya adalah bagaimana manfaat tersebut dapat diperoleh tanpa mengabaikan risiko yang muncul seiring peningkatan kemampuan.
Karena itu, keselamatan AI tidak hanya berkaitan dengan satu perusahaan. Evaluasi model, keamanan infrastruktur, penelitian alignment, pengawasan manusia, serta kerja sama antarorganisasi menjadi bagian dari pembahasan yang lebih luas.
Mengapa Transparansi Penting?
Ketika AI semakin banyak digunakan dalam pekerjaan penting, informasi mengenai keterbatasan dan risiko model menjadi semakin dibutuhkan.
Perusahaan AI memiliki kepentingan untuk menunjukkan kemampuan produknya. Pada saat yang sama, masyarakat membutuhkan informasi mengenai batasan teknologi tersebut.
Anthropic mencoba menjawab kebutuhan tersebut melalui laporan risiko, kebijakan keselamatan, dan Transparency Hub. Perusahaan juga menyatakan bahwa pendekatan keselamatan perlu terus diperbarui seiring perkembangan kemampuan model.
Namun, laporan perusahaan tetap perlu dibaca secara kritis. Penilaian risiko AI merupakan bidang yang berkembang dan sebagian skenarionya memiliki tingkat ketidakpastian tinggi.
Perlombaan AI dan Keselamatan
Perkembangan AI berlangsung dalam lingkungan persaingan teknologi yang sangat cepat. Perusahaan berlomba menghadirkan model yang lebih kuat untuk pemrograman, penelitian, bisnis, dan pekerjaan profesional.
Kecepatan tersebut membuat persoalan keselamatan menjadi semakin kompleks.
Jika kemampuan AI meningkat lebih cepat daripada kemampuan manusia memahami dan mengendalikannya, celah keselamatan dapat menjadi persoalan serius.
Karena itu, evaluasi sebelum peluncuran, pembatasan akses, pemantauan penggunaan, pengujian keamanan, dan mekanisme penghentian menjadi bagian penting dari pengembangan AI.
Anthropic sendiri menyatakan bahwa pengamanan harus berkembang seiring peningkatan kemampuan model.
Risiko AI Masih Menjadi Perdebatan
Peringatan mengenai risiko katastropik AI masih menjadi topik perdebatan di kalangan peneliti dan perusahaan teknologi.
Sebagian perhatian diarahkan pada risiko yang sudah terlihat, seperti penyalahgunaan siber, informasi palsu, keamanan data, dan otomatisasi pekerjaan. Sementara itu, risiko jangka panjang seperti hilangnya kendali atas sistem yang sangat otonom masih menjadi bidang penelitian.
Yang jelas, kemampuan AI terus berkembang dan penggunaan sistem tersebut semakin luas.
Peringatan Anthropic menunjukkan bahwa pembicaraan mengenai AI tidak lagi hanya berfokus pada seberapa pintar sebuah model. Pertanyaan mengenai bagaimana teknologi tersebut dikendalikan, diuji, dan diamankan menjadi semakin penting.
Pada akhirnya, perkembangan AI akan ditentukan bukan hanya oleh kemampuan model dalam menyelesaikan tugas, tetapi juga oleh kemampuan manusia membangun sistem pengamanan yang mampu mengikuti laju perkembangan teknologi.
