Deepfake digunakan untuk penipuan dan pencurian identitas. Peneliti mengembangkan sistem real-time guna mendeteksi video konferensi palsu. Direktur keuangan sebuah perusahaan di Singapura menjadi korban panggilan Zoom deepfake (2025) dan satu miliar kasus di dunia.
Penulis/editor: Rayendra L Toruan
mmINDUSTRI.co.id – Fraunhofer SIT (sumber): Perangkat deepfake digunakan untuk penipuan dan pencurian identitas, bahkan dalam situasi ketika orang umumnya mempercayai mata dan telinganya: video conference di perusahaan semakin menjadi sasaran aksi kriminal.
Teknologi deepfake kini dapat memalsukan suara dan gambar secara real-time dengan tingkat realisme yang belum pernah terjadi sebelumnya. Terima kasih kepada para peneliti Fraunhofer SIT yang bekerja untuk mendeteksi upaya penipuan itu secara real-time.
“Thank you for visiting mmindustri.co.id. Subscribe for the latest news and insight. Enter your email (Your email address will not be published)
Kasus video conference palsu menjadi peringatan bagi perusahaan, organisasi, dan pembaca mmINDUSTRI.co.id bahwa komunikasi melalui video tidak lagi dapat dianggap sebagai bukti tunggal mengenai identitas seseorang.
Sistem deteksi dapat memberikan indikasi kemungkinan adanya deepfake meski demikian manusia tetap diperlukan untuk memverifikasi keaslian orang lain melalui pertanyaan-pertanyaan lanjutan atau menghubungi kembali melalui saluran komunikasi yang berbeda (lakukan ricek, tripelcek dan jika perlu kuartetcek).
Saat bos palsu menelepon maka sistem peringatan waktu nyata untuk menangkal konferensi video palsu. Perangkat deepfake digunakan untuk penipuan dan pencurian identitas—bahkan dalam situasi di mana orang biasanya memercayai penglihatan dan pendengaran mereka sendiri.
Seperti konferensi video di perusahaan semakin sering menjadi sasaran para penjahat. Oleh sebab itu, para peneliti Fraunhofer SIT berupaya mendeteksi upaya penipuan semacam itu pada waktu nyata atau real-time.
Dalam penelitian mereka, para peneliti terlebih dahulu membuat deepfake sendiri untuk melatih sistem tersebut. Penjelasan dalam gambar di atas adalah contoh perbandingan antara deteksi peneliti asli di sebelah kiri dan deteksi dengan wajah Tom Cruise di sebelah kanan.
Konferensi video memfasilitasi komunikasi lintas lokasi sembari tetap memungkinkan kontak mata. Namun, kini semakin ada alasan untuk meragukan keaslian mata lawan bicara.
Teknologi deepfake mampu memalsukan suara dan gambar secara waktu nyata dengan tingkat realisme yang belum pernah terjadi sebelumnya.
Direktur keuangan sebuah perusahaan di Singapura menjadi korban panggilan Zoom deepfake pada tahun 2025, di mana semua pesertanya—termasuk bosnya—dihasilkan oleh AI.
Ia lolos tanpa kerugian berarti: pihak berwenang kemudian berhasil memulihkan dana hampir US$500.000 dolar yang telah ia transfer.
Di Singapura, Badan Keamanan Siber (CSA) mencatat lonjakan besar dalam kasus penipuan melalui panggilan video pada kuartal pertama tahun 2026.
Pada Januari 2026, terdapat lebih dari 1.200 kasus, dibandingkan dengan 43 kasus pada bulan yang sama di tahun 2025. Namun, masalah ini bersifat global. Setelah meneliti lebih mendalam ternyata jumlah penipuan mencapai satu miliar kasus di seluruh dunia.
Laporan Penipuan Identitas Entrust 2026 menyimpulkan: “Penipuan identitas tidak lagi bersifat oportunistik, melainkan telah terindustrialisasi, terorganisasi secara global, dan dioptimalkan secara komersial.”
Hal ini menjadi alasan kuat bagi para peneliti Fraunhofer, seperti Profesor Martin Steinebach—Kepala Ilmuwan Forensik TI di Fraunhofer Institute for Secure Information Technology (SIT) di kota Darmstadt, Jerman—untuk menangani masalah ini secara intensif.
“Konferensi video menghadirkan tantangan bagi deteksi deepfake,” jelas Profesor Martin Steinebach “Kualitas gambar dan suara berfluktuasi karena kualitas jaringan yang bervariasi. Aliran data dikompresi, justru kesalahan gambar sering digunakan oleh metode deteksi sebelumnya untuk mengidentifikasi deepfake menjadi hilang.”
Selain itu, terdapat pula faktor-faktor seperti filter pengaburan otomatis, perubahan pencahayaan, noise yakni gangguan sinyal, dan pergerakan latar belakang. Sistem deteksi tidak boleh memberikan peringatan keliru akibat efek-efek umum dalam konferensi video semacam itu.
Solusi lokal untuk deteksi real-time
Tim Prof. Martin Steinebach dari Fraunhofer SIT dan Fraunhofer Heilbronn Research and Innovation Center (HNFIZ) mengembangkan solusi melalui proyek penelitian ATHENE yang menggabungkan deteksi deepfake berbasis video dan audio.
Perangkat lunak berbasis AI ini dirancang untuk terus memberikan indikasi mengenai kemungkinan adanya akasi deepfake kepada peserta panggilan video yang bersifat krusial bagi keamanan. Peringatan yang diberikan bersifat visual.
“Jika percakapan saat itu menunjukkan banyak indikator, sistem akan menampilkan probabilitas apakah percakapan tersebut mungkin merupakan deepfake,” beber Profesor Martin Steinebach, Kepala Ilmuwan Forensik TI di Fraunhofer SIT.
“Verifikasi keaslian lawan bicara tetap harus dilakukan oleh manusia, misalnya dengan mengajukan pertanyaan tindak lanjut yang spesifik atau bahkan menelepon balik melalui saluran komunikasi yang berbeda,” tambah Profesor.
Analisis dapat dijalankan secara lokal pada laptop dengan performa tinggi tanpa perlu mentransfer data gambar atau audio ke server eksternal.
Hal ini membuat solusi tersebut mematuhi peraturan perlindungan data dan cocok bagi perusahaan yang melakukan percakapan rahasia, misalnya dengan anggota dewan direksi, departemen keuangan atau mitra eksternal.
“Untuk analisis lokal secara real-time silakan menggunakan solusi kami, sebuah komputer dengan kartu grafis modern dan memori grafis sebesar dua belas gigabyte sudah memadai,” tambah Prof. Martin Steinebach.
Solusi ini juga dapat menarik minat penyedia sistem konferensi video, yang dapat mengintegrasikannya sebagai plugin atau fitur keamanan bawaan ke dalam sistem seperti Teams, Zoom, atau solusi lain di perusahaan sejenis.
Infrastruktur perusahaan yang terpusat juga dimungkinkan, yakni dengan menggunakan area server terlindungi untuk menganalisis percakapan yang sangat penting. Bentuk penerapannya akan bergantung pada kasus penggunaan, sumber daya yang tersedia, dan persyaratan perlindungan data.
AI mengungguli pemrosesan sinyal
“Salah satu pengamatan awal kami adalah bahwa metode pemrosesan sinyal klasik sangat cepat mencapai batas kemampuannya dalam hal pengenalan secara real-time.”
“Aplikasi machine learning terbukti jauh lebih cepat dan efisien,” lanjut Prof. Martin Steinebach. Ia memasukkan data audio dan video—baik yang asli maupun yang telah dimanipulasi—ke dalam sistem yang mampu belajar sendiri.
Selanjutnya sistem itu pun belajar mengenali perbedaannya secara mandiri. Di bidang audio, tim tersebut antara lain menggunakan dataset yang tersedia untuk umum, yang mencakup sekitar 19.000 rekaman asli dan kurang lebih 160.000 rekaman palsu (hasil manipulasi).
Hal yang krusial adalah data pelatihan harus secara akurat mencerminkan lingkungan konferensi video yang realistis. Oleh karena itu, efek-efek umum yang ditemui dalam konferensi video harus disertakan, seperti kompresi dan fluktuasi, kualitas, dan filter pengaburan.
Dalam AI, hal ini disebut sebagai augmentasi, demikian Prof. Martin Steinebach, “Anda menambahkan distorsi yang terjadi dalam operasional dunia nyata ke dalam materi tersebut dan melatih sistem untuk menanganinya.”
Karena ini merupakan model khusus untuk tugas yang didefinisikan secara jelas, proses pelatihannya jauh lebih ringan dibandingkan dengan model bahasa berskala besar.
“Hal yang menarik adalah bahwa pembuatan deepfake dalam sistem real-time ternyata lebih memakan waktu dan lebih sulit daripada mendeteksinya,” urai Prof. Martin Steinebach.
Demonstrator (uji coba) di lingkungan Fraunhofer SIT berada dalam tahap pembuktian konsep atau proof-of-concept. Pada tahap berikutnya, para peneliti berencana untuk bekerja sama dengan berbagai perusahaan dan penyedia sistem konferensi video.
Tujuan kerja sama adalah untuk mengintegrasikan teknologi tersebut secara andal—dengan cara yang ramah privasi dan mudah digunakan—ke dalam infrastruktur dunia nyata.
Selain itu, aspek hukum perlu diperjelas, misalnya apakah peserta percakapan harus memberikan persetujuan atas analisis tersebut atau bagaimana ketentuan layanan sistem konferensi video harus mengatur fungsi semacam itu.
Prof. Martin Steinebach memiliki pandangan yang beragam mengenai pengembangan deepfake lebih lanjut. Di satu sisi, terdapat risiko bahwa prosedur yang sangat krusial bagi keamanan—seperti verifikasi identitas melalui video di bank—dapat segera dipalsukan menggunakan deepfake.
Di sisi lain, keamanan kriptografis, autentikasi tambahan, dan sistem deteksi teknis dapat mengurangi risiko tersebut.
Kendati demikian, kombinasi antara teknologi dan proses tetaplah krusial: lebih-lebih jika permintaan transfer dana muncul secara tiba-tiba selama konferensi video, sebaiknya digunakan saluran komunikasi kedua yang terpisah dan independen.
Untuk perusahaan dan organisasi, setiap permintaan yang bersifat security-critical, terutama transfer dana, perubahan rekening, pemberian akses, atau keputusan penting yang muncul secara tiba-tiba dalam video conference, sebaiknya tidak langsung dipercaya hanya karena suara dan gambar terlihat autentik.
Gunakan saluran komunikasi kedua yang independen untuk melakukan verifikasi. Jika transfer tiba-tiba diminta selama video conference, komunikasi kedua melalui saluran berbeda harus digunakan sebelum tindakan dilakukan.
Perusahaan perlu mempertimbangkan penerapan AI-based software untuk video dan audio deepfake detection yang dapat memberikan indikasi kemungkinan deepfake secara terus-menerus selama percakapan.
Analisis lokal pada komputer dapat menjadi pilihan bagi perusahaan yang menangani percakapan rahasia karena data gambar atau audio tidak harus ditransfer ke server eksternal.
Untuk penyedia sistem video conference, teknologi deteksi deepfake dapat dipertimbangkan sebagai plugin atau fitur keamanan bawaan pada sistem seperti Teams, Zoom, atau solusi enterprise serupa. Penerapannya perlu memperhatikan keamanan, kemudahan penggunaan, kebutuhan sumber daya, serta data protection regulations.
Jangan menganggap kualitas gambar, suara, atau kehadiran figur yang dikenal dalam video conference sebagai jaminan bahwa komunikasi tersebut autentik.
Verifikasi melalui saluran berbeda tetap diperlukan, terutama ketika percakapan berkaitan dengan transaksi keuangan atau informasi security-critical.
Penyelenggaraan deepfake bukan lagi sekadar persoalan gambar atau suara yang mudah dikenali sebagai hasil manipulasi. Teknologi ini berkembang hingga mampu digunakan dalam video conference secara real-time, termasuk untuk penipuan dan pencurian identitas.
Peningkatan kasus video fraud menunjukkan bahwa risiko tersebut perlu diperhatikan oleh perusahaan dan organisasi.
Sistem deteksi real-time yang dikembangkan Fraunhofer SIT menunjukkan bahwa AI dapat membantu memberikan peringatan terhadap kemungkinan deepfake.
Akan tetapi, teknologi tidak dapat berdiri sendiri. Verifikasi manusia, cryptographic security, additional authentication, dan penggunaan saluran komunikasi kedua tetap menjadi bagian penting dari proses keamanan.
Peringatan bagi perusahaan, organisasi, dan seluruh pembaca: jangan melakukan transfer, memberikan akses, atau mengambil keputusan security-critical hanya berdasarkan video conference.
Ketika ada permintaan yang tidak biasa atau mendesak, hentikan proses dan lakukan verifikasi melalui saluran komunikasi yang berbeda. #SalamSobatmmINDUSTRI
Baca: Teknologi AI Deteksi Deepfake dan Ancaman Drone Modern https://www.mmindustri.co.id/teknologi-ai-deteksi-deepfake-dan-ancaman-drone-modern/
This type of article is favored by our readers. Would your company willing to sponsor it? Kindly email us: business@mmindustri.co.id or fill this form
