Avatar Ajaib Bisa Jadi Solusi untuk Penderita Alzheimer dan Demensia

Jakarta, VIVA – Lenovo bekerja sama dengan Innovations in Dementia meluncurkan Alzheimer’s Intelligence - sebuah avatar 3D fotorealistis dengan AI khusus yang didasarkan pada pengalaman hidup orang yang menderita demensia dan Alzheimer.

Proyek bukti konsep ini memberikan akses 24 jam bagi orang dan keluarga yang tengah menghadapi diagnosis demensia untuk berbicara dengan avatar yang menawarkan nasihat yang dipersonalisasi, mengutamakan akurasi, privasi, dan empati.

“Secara global, ada sekitar 55 juta orang yang hidup dengan demensia, dan angka tersebut diperkirakan akan mencapai 139 juta pada tahun 2050,” kata David Llewellyn, Profesor Epidemiologi Klinis dan Kesehatan Digital di Universitas Exeter.

Dalam aplikasi pertama dari jenisnya ini, Lenovo memelopori penggunaan AI yang dimungkinkan oleh portofolio solusi teknologinya yang luas, dari individu hingga perusahaan.

Teknologi gabungan ini mengumpulkan pengalaman langsung dan nasehat dari ratusan orang yang hidup dengan demensia dan Alzheimer ke dalam avatar 3D fotorealistis yang dapat berkomunikasi secara alami tanpa naskah.

Dengan bukti konsep ini, seseorang yang didiagnosis demensia hanya perlu sekali klik untuk mendapatkan sumber daya percakapan dan bantuan secara langsung.

“Kita harus memanfaatkan teknologi ini dengan bijak dan bertanggung jawab untuk komunitas yang mungkin terabaikan oleh inovasi,” kata Doug Fisher, Chief Security and AI Officer Lenovo.

Avatar tersebut diciptakan dari gabungan gambar 10 orang yang hidup dengan demensia dan Alzheimer. Dari pose awal setiap gambar, AI generatif mengekstrapolasi wajah untuk ribuan ekspresi dan sudut lain yang terinspirasi oleh subjek.

Data tersebut kemudian digabungkan untuk menciptakan avatar AI bernama “Liv,” yang memadukan data tersebut dengan wajah seorang aktor yang difilmkan untuk menghasilkan gambar.

Kumpulan data model bahasa besar (LLM) berisi saran yang dapat diberikan Liv dibuat menggunakan data yang berasal langsung dari pengalaman orang-orang yang hidup dengan demensia, termasuk entri dari proyek Dementia Diaries milik Innovations in Dementia dan wawancara panel yang mendalam.

Setiap kali pengguna mengajukan pertanyaan (melalui Speech-to-text), LLM meminta dataset untuk memberikan jawaban berbasis teks atas pertanyaan pengguna, yang diungkapkan menggunakan bahasa "persona" yang dibuat untuk Liv, dan berdasarkan basis pengetahuan yang dibangun untuk Liv.

Balasan kemudian disuarakan menggunakan synth vokal yang dibuat untuk proyek tersebut. "Analisis sentimen" digunakan untuk menganalisis perasaan yang mendasari balasan, yang tercermin dalam ekspresi wajah AI saat berbicara.

Terakhir, AI visual 4k real-time digunakan untuk memungkinkan ucapan yang dihasilkan oleh synth vokal tampak diucapkan secara real-time pula.

Alzheimer’s Intelligence akan memungkinkan orang yang baru saja didiagnosis menderita demensia untuk mengajukan pertanyaan yang hanya dapat dijawab oleh orang yang pernah hidup dengan penyakit tersebut, termasuk memahami tantangan sehari-hari, mendiskusikan penyakit tersebut dengan keluarga, dan mengeksplorasi hobi baru.