Informasi

OpenAI Akhirnya Merilis Model Parameter GPT2 1,5 Miliar

OpenAI Akhirnya Merilis Model Parameter GPT2 1,5 Miliar

Pada hari Selasa, OpenAI membagikan rilis bertahap terakhirnya dari 1,5 miliar parameter model bahasa GPT-2. Semua kode terkait dan bobot model disertakan dalam entri blog.

Ketika OpenAI pertama kali merilis GPT-2 pada Februari tahun ini, kekhawatiran seputar potensi penyalahgunaannya disuarakan. Pada saat itu, perusahaan memutuskan untuk tidak membagikan kode model bahasa dan kumpulan data pelatihan.

Setelah berbulan-bulan melihat detail GPT-2, OpenAI kini telah memutuskan waktu yang tepat untuk memungkinkan penelitian dan pemahaman lebih lanjut tentang teks sintetis. Jadi, keputusan mereka untuk membagikan parameter model.

TERKAIT: OPENAI GPT2 SEKARANG MENULIS ABSTRAK KERTAS ILMIAH

Apa yang diperhatikan OpenAI tentang GPT-2?

Cukup jelas bagaimana sistem yang membuat algoritme untuk melengkapi seluruh teks atau kalimat dapat disalahgunakan. Berita palsu muncul di benak Anda, di antara penggunaan jahat teks buatan AI lainnya.

Kami merilis model parameter GPT-2 1,5 miliar sebagai bagian dari strategi publikasi rilis bertahap kami.
- Model deteksi keluaran GPT-2: https://t.co/PX3tbOOOTy
- Penelitian dari mitra tentang potensi penggunaan berbahaya: https://t.co/om28yMULL5
- Lebih detail: https://t.co/d2JzaENikspic.twitter.com/O3k28rrE5l

- OpenAI (@OpenAI) 5 November 2019

Menahan kode model bahasa mereka dan kumpulan data pelatihan bertentangan dengan apa yang diyakini OpenAI. Namun, untuk alasan keamanan, mereka memutuskan untuk melakukan hal itu, dan mereka masih ingin menemukan cara untuk berbagi informasi.

Jadi, selama sembilan bulan terakhir, OpenAI mengamati GPT-2 untuk memastikan mereka dapat membagikan bobot kode dan model mereka dengan aman. Perusahaan melakukan observasi berikut:

  1. Manusia menganggap keluaran GPT-2 meyakinkan.
  2. GPT-2 dapat disesuaikan untuk penyalahgunaan.
  3. Deteksi itu menantang.
  4. Sejauh ini kami tidak melihat bukti penyalahgunaan yang kuat.
  5. Kami membutuhkan standar untuk mempelajari bias.

Terlepas dari apakah kumpulan data pelatihan khusus tugas dibagikan atau tidak, GPT-2 masih mampu menghasilkan terjemahan mesin yang sangat baik, menjawab pertanyaan, pemahaman membaca, dan peringkasan.

Setelah membagikan model GPT-2 mereka, OpenAI mengatakan bahwa mereka melakukannya untuk "membantu studi penelitian dalam mendeteksi teks sintetis, meskipun hal ini memungkinkan musuh dengan akses menghindari deteksi yang lebih baik."

Bisakah Anda membedakan mana yang merupakan teks yang dihasilkan AI dan mana yang bukan?

Kami menguji coba generator teks 'Talk to Transfomer' untuk melihat sendiri dan kami terkesan!

- Hugging Face (@huggingface) 5 November 2019

Dapatkah Anda mengetahui di mana GPT-2 mulai menghasilkan teks di paragraf berikut?

"Mengesampingkan segala ketakutan teknologi, trafo GPT-2 berukuran penuh yang baru dirilis tidak diragukan lagi akan menjadi hit dengan kerumunan teknologi. Trafo baru juga akan tersedia dalam kapasitas yang lebih kecil untuk memberi ruang di GPT-1 yang lebih besar."

Kami akan memberi Anda petunjuk. Itu di suatu tempat di baris kedua. Yang mengherankan, tanpa banyak diminta, GPT-2 menawarkan teks yang lengkap dan cukup spesifik, yang dilanjutkan sebagai berikut:

"Trafo GPT-2 baru memiliki 4 pin (bukan 5), dan resistansi yang lebih rendah pada 1.400 ohm vs. 1.500 ohm, membuatnya kompatibel dengan semua perlengkapan audio standar. Saya telah mendengar bisikan bahwa GPT-2 yang lebih baru akan mampu untuk memberikan jumlah arus yang sama dengan GPT-1. Saya tidak memiliki info apa pun tentang transformator GPT-2 yang baru, jadi saya tidak dapat memastikan atau menyangkal pernyataan itu. "

Lihat sendiri apa yang dapat dilakukan transformator GPT-2 di sini.


Tonton videonya: GPT-3 Demo: New AI Algorithm Changes How We Interact With Technology (Oktober 2021).