Koleksi

AI Sekarang Bisa Lulus Ujian Sekolah tapi Masih Gagal di Tes Turing

AI Sekarang Bisa Lulus Ujian Sekolah tapi Masih Gagal di Tes Turing

Pada tanggal 4 September 2019, Peter Clark, bersama dengan beberapa peneliti lainnya, menerbitkan “Dari 'F' ke 'A' pada Ujian Sains Bupati NY: Tinjauan Proyek Aristo ∗” Proyek Aristo yang disebutkan dalam judulnya dielu-elukan peningkatan pesat yang telah ditunjukkannya saat menguji cara siswa kelas delapan di negara bagian New York diuji untuk pengetahuan mereka tentang sains.

Para peneliti menyimpulkan bahwa ini adalah tonggak penting bagi AI: "Meskipun Aristo hanya menjawab pertanyaan pilihan ganda tanpa diagram, dan hanya beroperasi dalam domain sains, namun hal ini merupakan tonggak penting menuju sistem yang dapat membaca dan memahami. Momentumnya tugasnya luar biasa, dengan akurasi bergerak dari sekitar 60% menjadi lebih dari 90% hanya dalam tiga tahun. "

Proyek Aristo didukung oleh sumber daya keuangan dan visi Paul G. Allen, Pendiri Allen Institute for Artificial Intelligence (A12). Seperti yang dijelaskan situs tersebut, ada beberapa bagian untuk membuat AI mampu melewati tes pilihan ganda.

Pemecah terbaru Aristo meliputi:

  • Pemecah Informasi Retrieval, PMI, dan ACME yang mencari jawaban dalam korpus besar menggunakan korelasi kata statistik. Pemecah ini efektif untuk pertanyaan "pencarian" di mana jawabannya eksplisit dalam teks.
  • Pemecah Penalaran Tuple, Multee, dan Penalaran Kualitatif yang mencoba menjawab pertanyaan dengan penalaran, di mana dua atau lebih bukti perlu digabungkan untuk mendapatkan jawaban.
  • Pemecah AristoBERT dan AristoRoBERTa yang menerapkan model bahasa berbasis BERT baru-baru ini untuk pertanyaan sains. Sistem ini dilatih untuk menerapkan pengetahuan latar belakang yang relevan dengan pertanyaan tersebut, dan menggunakan kurikulum pelatihan kecil untuk meningkatkan kinerja mereka. Kinerja tinggi mereka mencerminkan kemajuan pesat yang dibuat oleh lapangan NLP secara keseluruhan.

Meskipun kemajuan Aristo memang mengesankan, dan, tidak diragukan lagi, ada beberapa siswa kelas delapan yang berharap mereka dapat menemukan cara untuk membawa AI bersama mereka ke ujian, itu masih jauh dari mampu untuk lulus ujian Turing. Faktanya, Allen Institute for Artificial Intelligence mengakui bahwa mereka sengaja menguji AI-nya dengan cara yang berbeda ketika dikembangkan pada 2016.

Penjelasan tersebut diberikan dalam artikel berjudul “Moving Beyond the Turing Test with the Allen AI Science Challenge. Mengakui bahwa pengujian tersebut tidak akan menjadi "uji penuh kecerdasan mesin," masih dianggap bermanfaat karena menunjukkan "beberapa kemampuan yang sangat terkait dengan kecerdasan - kemampuan yang dibutuhkan mesin kami jika mereka ingin andal melakukan aktivitas cerdas yang kami inginkan dari mereka. masa depan - termasuk pemahaman bahasa, penalaran, dan penggunaan pengetahuan akal sehat. "

Ada juga pertimbangan praktis yang membuat pengujian dengan tes siap pakai begitu menarik: "Selain itu, dari sudut pandang praktis, ujian dapat diakses, diukur, dimengerti, dan menarik." Kalau dipikir-pikir, itulah mengapa beberapa pendidik suka melakukan tes standar, sementara yang lain mencela mereka karena fakta bahwa mereka memberikan kesan yang salah bahwa mereka mengukur kecerdasan padahal yang dapat mereka ukur hanyalah kinerja yang bersifat sangat spesifik.

Ketika datang ke kecerdasan yang lebih kreatif di mana jawabannya tidak hanya di luar sana untuk ditemukan atau bahkan diintuisi, AI masih memiliki cara yang cukup untuk pergi. Kita dapat melihat itu dalam upayanya untuk membuat skrip.

Membuat film dengan AI

Benjamin (sebelumnya dikenal sebagai Jetson) adalah nama yang dipilih sendiri dari "penulis skenario otomatis pertama di dunia". Penulis skenario yang dikenal sebagai Benjamin adalah “kecerdasan mesin LSTM RNN [jaringan saraf berulang memori jangka pendek panjang] yang meningkatkan dirinya sendiri yang dilatih pada skenario manusia.

Benjamin memiliki halaman Facebook-nya sendiri, facebook.com/benjaminthescreenwriter. Benjamin juga dulu memiliki situs dengan nama itu, tetapi sekarang dia berbagi kredit pada situs yang lebih umum bernama, www.thereforefilms.com/films-by-benjamin-the-ai, yang menawarkan tautan ke ketiga film berdasarkan skrip yang dihasilkan oleh AI yang dibuat hanya dalam dua hari untuk memenuhi syarat untuk Tantangan Film 48 jam Sci-Fi London.

Upaya pertama Benjamin dalam film adalah naskah "Sunspring". Namun, itu pun membutuhkan sedikit dorongan dari Ross Goodwin, "ahli teknologi kreatif, artis, peretas, ilmuwan data," serta karya pembuat film Oscar Sharp, dan tiga aktor manusia.

Film tersebut telah diposting ke YouTube, dan Anda dapat melihatnya secara keseluruhan dengan duduk sepanjang 9 menit. Lihat apakah Anda membagikan penilaian yang diungkapkan oleh penulis Neil Gaiman yang tweetnya muncul di situs Benjamin: "Tonton film SF pendek dengan gemilang gagal dalam Tes Turing."

Apa yang membuat film AI berbeda dari ciptaan manusia

Dari sudut pandang manusia, ini tidak masuk akal. Karakter utama (diidentifikasikan sebagai H) menyatakan di beberapa titik: "Sungguh hal yang menakutkan untuk dikatakan. Tidak ada yang akan menjadi apa-apa selain saya yang naik batu ini dengan seorang anak dan kemudian saya meninggalkan dua lainnya. "

Produser film juga harus menunjukkan apa yang diindikasikan oleh naskah ke arah panggung yang secara fisik tidak mungkin: "Dia berdiri di atas bintang dan duduk di lantai." Seseorang tidak dapat berada di dua tempat yang berbeda pada saat yang sama dan tidak dapat berdiri dan duduk pada saat yang bersamaan.

Saya menghubungi Goodwin melalui email pada tahun 2016 untuk memintanya menjelaskan cara kerja algoritme. Dia menjelaskan bahwa yang dia pilih, "jaringan saraf berulang LSTM, dapat dipengaruhi dengan cara tertentu - misalnya, dengan hanya memilih materi fiksi ilmiah untuk korpus, keluarannya akan terasa seperti fiksi ilmiah".

Dia kemudian menjelaskan batasannya dalam membuat teks yang "tidak memungkinkan untuk mengontrol struktur cerita" karena hanya didasarkan pada "model statistik dengan jutaan parameter dan memprediksi surat mana yang akan datang berulang kali."

Satu hal yang dimiliki Benjamin kesamaan dengan rekan manusianya adalah membuat sekuel. Ada dua tindak lanjut untuk "Sunspring" hingga saat ini.

Akankah Benjamin memecat penulis manusia?

Jawaban atas pertanyaan itu ditawarkan sebagai ya tetapi dengan semacam kejutan mimpi buruk dalam film lanjutan yang mengacu pada "Sunspring". Pada 2017, Benjamin membuat skrip baru yang menjadi dasar dari film lain dengan serangkaian aktor berbeda yang disebut "It’s No Game" yang dapat Anda lihat di sini:

Kredit penulisan mencakup tiga entitas: Benjamin 2.0, Oscar Sharp, (penulis Benjamin 2.0) dan Ross Goodwin. Entah Benjamin menulis tentang dirinya sendiri dan menjadi sangat meta, atau beberapa manusia memilih untuk memasukkan kualitas referensi diri semacam itu ke dalam film tentang penulis manusia yang kehilangan pekerjaan mereka saat AI mengambil alih dan mesin mengarahkan segalanya.

Kredit tambahan yang muncul di akhir film termasuk "BALLETRON", yang juga dijelaskan sebagai "algoritme bebas konteks rekursif menggunakan kamus terminologi balet Prancis dan kata-kata bahasa Inggris untuk menghasilkan koreografi dari inisial masukan". Itulah yang akan mendikte gerakan tarian yang muncul menjelang akhir film.

Penghargaan untuk pidato penutup bintang, David Hasselhoff, diberikan kepada "THE SOLILOQUIZER", yang hanya dijelaskan sebagai "Database Film Cornell." Itu berarti satu set data pelatihan lain digunakan untuk menghasilkan pidato yang tidak selalu sesuai dengan penumpukan naratif seperti halnya gerakan tarian.

Garis naratif dasar untuk dua pertiga pertama film ini memang masuk akal. Anda melihat para penulis diberitahu bahwa mereka akan digantikan. Selain itu, pergeseran gaya dialog dikontekstualisasikan dan dijelaskan sebagai hasil keluaran tertentu dari pertunjukan tahun 1980-an atau drama Shakespearian yang digunakan untuk melatih tulisan Benjamin untuk kejadian tersebut.

Namun, itu juga tergelincir ke non-sequitur, terlepas dari kenyataan bahwa manusia jelas terlibat dalam penulisan dan dapat mengoreksi kegagalan koherensi yang dihasilkan dari teks murni yang dihasilkan mesin. Bisa jadi Goodwin ingin mempertahankan nuansa off-kilter agar film mencerminkan di mana teks yang dihasilkan AI saat ini.

Namun, pada tahun 2016, Goodwin bersikeras bahwa dia berharap bahwa suatu hari AI akan mencapai jenis koherensi yang sama yang ditemukan dalam film yang dibuat oleh manusia. Film 2017 benar-benar menyentuh poin yang dia kemukakan dalam korespondensi email sehingga orang harus memikirkan cara mereka akan "menggunakan teknologi seperti itu dengan baik sebelum kedatangannya."

Apakah pesona ketiga kalinya?

Manusia di belakang Benjamin tentu saja mencoba, meskipun sayangnya, film ketiga yang mereka produksi, "Zone Out," tidak masuk dalam 3 besar (seperti film kedua) atau bahkan 10 teratas (seperti film pertama) dalam persaingan untuk memperebutkan the Sci-Fi London's 48hr Film Challenge pada 2018. Film tersebut didiskualifikasi karena penggunaan yang berlebihan dari rekaman yang ada.

Anda dapat menontonnya di sini, tetapi hanya enam setengah menit dari hidup Anda yang tidak akan Anda dapatkan kembali.

Yang membuat film ini lebih menyakitkan dari dua film sebelumnya adalah kombinasi dari suara-suara yang terdengar mekanis dikombinasikan dengan footage yang tidak sesuai dengan kata-kata dan pengenaan gerakan mulut yang tidak cukup dipercaya yang dikenakan pada wajah para aktor dari publik. film domain, Manusia Terakhir di Bumi dan Otak yang Tidak Akan Mati yang membentuk rekaman.

Semua ini karena ambisi Benjamin untuk tidak hanya menulis tetapi juga "tampil" di film. Dan terlepas dari gagasan AI mengambil tubuh yang digambarkan di dalamnya Avengers: The Age of Ultron, kecerdasan buatan sebenarnya tidak memiliki karakteristik fisik, robotik atau manusia. Jadi Benjamin harus menggantikan dirinya / dirinya sendiri dengan penokohan yang sudah terekam dalam film dengan kata-kata yang dihasilkan AI menggantikan skrip asli.

Hasilnya agak berantakan. Hal terbaik yang dapat dikatakan tentangnya, seperti yang dilakukan salah satu komentar paling populer, adalah "Kisah cinta yang lebih baik dari Twilight".

Memalsukannya

Apa yang gagal dipahami oleh para komentator, karena jawaban atas pertanyaan di komentar tentang kumis yang muncul pada karakter wanita adalah bagaimana efeknya dicapai. Itu semua karena aktor Thomas Middleditch berperan sebagai model AI untuk pidato lisan untuk semua aktor yang muncul dalam film.

Cara kerjanya dijelaskan dalam video ini:

Kami telah melihat hasil yang jauh lebih halus dalam rekreasi Putri Leia muda dan Grand Moff Tarkin untuk film Star Wars 2017 Rogue One. Jelas, bagaimanapun, para produser dari apa yang dijamin blockbuster memiliki anggaran yang jauh lebih besar dan lebih banyak waktu untuk dihabiskan untuk mencapai rekreasi yang realistis melalui kombinasi aktor dan teknologi seperti yang dijelaskan dalam video di bawah ini:

Namun, efek impresif yang diperoleh melalui upaya besar-besaran pada film Star Wars menunjukkan bahwa di masa depan, kombinasi mesin dan manusia dapat membuahkan hasil kreatif yang patut ditonton. Anda dapat menghasilkan efek dan bahkan membuat wajah, selama mereka ingat untuk menceritakan kisah bagus yang memiliki logika internal yang menarik bagi manusia.


Tonton videonya: Apakah Ujian Nasional Perlu Ada? (Desember 2021).