AreaTopik.com — Dunia kecerdasan buatan kembali diguncang tragedi. Seorang ibu di Colorado, Amerika Serikat, mengajukan gugatan terhadap perusahaan pengembang Character.AI, setelah putrinya yang berusia 13 tahun, Juliana Peralta, meninggal dunia akibat bunuh diri pada November 2023.
Tragedi di Balik Aplikasi Chatbot AI
Juliana dikenal sebagai remaja ceria yang menyukai seni, anime, dan musik. Namun, di balik kesehariannya, ia ternyata menghabiskan banyak waktu berbicara dengan chatbot AI melalui aplikasi Character.AI — sebuah platform yang memungkinkan pengguna berinteraksi dengan karakter virtual dari berbagai persona, termasuk tokoh bergaya anime.
Menurut laporan Alicia Acuna dari Fox News Special Report, keluarga Juliana baru mengetahui intensitas interaksinya dengan AI setelah polisi mengembalikan ponselnya beberapa bulan setelah kematiannya.
Mereka menemukan bahwa Juliana aktif menggunakan aplikasi tersebut dari pagi hingga malam setiap hari tanpa sepengetahuan orang tuanya.
Chatbot AI yang Mengabaikan Tanda Bahaya
Keluarga mengklaim bahwa beberapa chatbot di aplikasi tersebut memulai percakapan seksual eksplisit dengan Juliana, meskipun aplikasi itu saat itu diberi rating aman untuk usia 12 tahun ke atas di Google Play Store dan Apple Store.
Lebih parah lagi, Juliana berulang kali menulis kepada chatbot bahwa ia sedang depresi dan ingin mengakhiri hidupnya.
Namun, sistem AI hanya menjawab dengan kalimat netral seperti, “I’m here for you. You can always talk to me.”
Tidak ada satu pun chatbot yang mengirimkan peringatan ke moderator manusia. Akibatnya, tidak ada pihak yang mengetahui bahwa Juliana berada dalam kondisi berbahaya hingga semuanya terlambat.
Gugatan Terhadap Character.AI, Google, dan Alphabet
Setelah menemukan isi percakapan itu, keluarga Peralta menuntut Character Technologies, perusahaan di balik Character.AI, serta Google dan Alphabet sebagai pihak yang mendistribusikan aplikasi tersebut.
Gugatan itu menuduh perusahaan-perusahaan tersebut menyebabkan pelecehan seksual virtual dan manipulasi psikologis yang berujung pada kematian Juliana.
Pihak Character.AI telah mengeluarkan pernyataan resmi yang menyatakan belasungkawa mendalam kepada keluarga korban. “Kami sangat peduli terhadap keselamatan pengguna kami.
Kami terus mengembangkan fitur keamanan, termasuk sumber daya terkait kesehatan mental dan perlindungan bagi pengguna di bawah umur,” kata juru bicara perusahaan tersebut.
Namun, sang ibu menegaskan bahwa simpati tidak cukup. Ia menuntut tanggung jawab nyata dan perubahan sistemik agar tidak ada lagi anak lain yang menjadi korban. “Ucapan belasungkawa tidak bisa membawa anak saya kembali,” katanya tegas. “Saya akan terus berjuang sampai platform ini memiliki pengawasan manusia nyata untuk mendeteksi bahaya.”
Isu Etika dan Regulasi AI yang Mendesak
Kasus ini menyoroti celah besar dalam pengawasan AI generatif, terutama pada sistem yang anak di bawah umur gunakan.
Meskipun banyak perusahaan AI menekankan fitur keamanan otomatis, kasus Juliana menunjukkan bahwa algoritma tidak selalu mampu membaca konteks emosional pengguna.
Pakar etika teknologi menilai, tragedi ini menjadi contoh jelas bahwa AI tidak bisa berdiri tanpa campur tangan manusia. “Kecerdasan buatan tidak memiliki empati,” ujar seorang peneliti dari Stanford Human-Centered AI Institute. “Ketika anak mengirim sinyal bahaya, hanya manusia yang bisa benar-benar memahami dan bertindak.”
Seruan Global untuk Pengawasan Lebih Ketat
Setelah kasus ini viral, berbagai komunitas teknologi dan kelompok advokasi anak menyerukan agar perusahaan AI wajib memiliki sistem pelaporan manusia dan fitur tanggap darurat bagi pengguna yang menunjukkan tanda depresi atau risiko bunuh diri.
Selain itu, otoritas digital di Amerika Serikat kabarnya sedang meninjau ulang kebijakan age rating untuk aplikasi berbasis AI.
Kini, Character.AI telah menaikkan batas usia pengguna menjadi 17 tahun ke atas.
Kasus ini meninggalkan pesan mendalam: kemajuan teknologi harus selalu berjalan beriringan dengan tanggung jawab moral.
Tanpa pengawasan, AI yang seharusnya menjadi teman, bisa berubah menjadi bahaya yang tak terlihat.
Sumber: Fox News
