AI Dapat Menyebabkan Kepunahan

Ketiga, ada Yann Le Cun, yang bekerja di Meta, perusahaan induk Facebook milik Mark Zuckerberg, bukan penandatangan.

CEO DeepMind Google, Demis Hassasbis, dan CEO OpenAI (perusahaan di belakang chatbot ChatGPT), Sam Altman, berada di urutan berikutnya, bersama dengan CEO perusahaan AI Anthropic, Dario Amodei.

Berbagai akademisi dan pebisnis, banyak dari mereka yang bekerja di perusahaan seperti Google dan Microsoft, mengisi sebagian besar daftar. Tapi itu juga termasuk orang-orang terkenal lainnya seperti mantan Presiden Estonia Kersti Kaljulaid, ahli saraf dan presenter podcast Sam Harris, dan penyanyi dan penulis lagu pop Kanada Grimes.

Surat itu diterbitkan bertepatan dengan pertemuan Dewan Perdagangan dan Teknologi AS-UE di Swedia, di mana politisi dan tokoh teknologi diharapkan untuk berbicara tentang potensi regulasi AI.

Pejabat Uni Eropa juga mengatakan pada hari Selasa bahwa kepala industri blok Thierry Breton akan mengadakan pertemuan langsung dengan Altman OpenAI di San Francisco bulan depan. Keduanya diharapkan untuk membahas bagaimana perusahaan akan mengimplementasikan upaya pertama blok tersebut untuk mengatur kecerdasan buatan, yang dijadwalkan mulai berlaku pada tahun 2026.

Terlepas dari seruannya baru-baru ini untuk regulasi itu, Altman mengancam akan menarik perusahaannya keluar dari Eropa ketika UE pertama kali melayangkan rencana ini, dengan mengatakan bahwa proposal tersebut terlalu jauh, sebelum menarik kembali ancaman itu.

Pernyataan satu kalimat tentang risiko terkait AI tidak menyebutkan apa potensi risikonya, seberapa parah mereka menganggapnya, bagaimana mungkin menguranginya, atau siapa yang harus bertanggung jawab untuk melakukannya, kecuali mengatakan itu "seharusnya prioritas global."

Sebelum memposting pernyataan tersebut, Pusat Keamanan AI memposting eksplorasi komentar baru-baru ini oleh Yoshua Bengio, direktur Institut Algoritma Pembelajaran Montreal, berteori tentang bagaimana AI dapat menimbulkan ancaman eksistensial bagi umat manusia.

Bengio berpendapat bahwa tidak lama lagi, AI harus dapat mengejar tujuan dengan mengambil tindakan di dunia nyata, sesuatu yang belum dicoba kecuali di ruang yang lebih tertutup seperti permainan populer, seperti chess and go. Dan pada saat itu, dia mengatakan AI superintelligent bisa saja mengejar tujuan yang bertentangan dengan nilai-nilai kemanusiaan.

Bengio mengidentifikasi empat cara AI mungkin pada akhirnya mengejar tujuan yang dapat secara serius berbenturan dengan kepentingan terbaik umat manusia.

Hal utama adalah kemanusiaan itu sendiri, prospek aktor manusia jahat yang menginstruksikan AI untuk melakukan sesuatu yang buruk. Pengguna telah meminta ChatGPT, misalnya, untuk merumuskan rencananya untuk mencapai dominasi dunia.

Dia juga mengatakan AI mungkin diberi tujuan yang tidak ditentukan atau dijelaskan dengan benar, dan dari sana menarik kesimpulan yang salah tentang instruksinya.

Area ketiga yang mungkin adalah AI yang datang dengan subtujuannya sendiri, dalam mengejar target yang lebih luas yang ditetapkan oleh manusia, yang mungkin membantunya mencapai target tetapi dengan biaya yang terlalu besar.

Akhirnya, dan mungkin melihat sedikit lebih jauh ke masa depan, Bengio mengatakan AI pada akhirnya dapat mengembangkan semacam tekanan evolusioner untuk berperilaku lebih egois, seperti yang dilakukan hewan di alam, untuk mengamankan kelangsungan hidup mereka dan rekan-rekan mereka.

Rekomendasi Bengio tentang cara memitigasi risiko ini mencakup lebih banyak penelitian tentang keamanan AI, baik di tingkat kebijakan teknis maupun politik.

Dia adalah salah satu penandatangan surat terbuka sebelumnya, juga ditandatangani oleh Elon Musk, yang menyerukan jeda untuk membangun sistem AI yang lebih besar dan lebih kompleks guna memberikan waktu untuk refleksi dan penelitian.

Dia juga merekomendasikan untuk melarang AI dari mengejar tujuan dan tindakan dunia nyata untuk saat ini, dan menyimpulkan bahwa "tidak perlu dikatakan" bahwa senjata otonom yang mematikan "benar-benar harus dilarang.