Koleksi

GPT2 OpenAI Sekarang Menulis Abstrak Makalah Ilmiah

GPT2 OpenAI Sekarang Menulis Abstrak Makalah Ilmiah

OpenAI membuat GPT2 awal tahun ini - yang merupakan "model bahasa tanpa pengawasan berskala besar yang menghasilkan paragraf teks yang koheren," sesuai halaman blog OpenAI. Jaringan saraf transformator yang luar biasa ini menghasilkan seluruh paragraf satu kata pada satu waktu.

Dalam acara yang menyenangkan dan menarik, Dr. James Howard, seorang peserta pelatihan kardiologi di Imperial College di London, Inggris, memutuskan untuk menguji kemampuan ilmiah GPT2.

Dr. Howard memutuskan untuk meminta GPT2 dengan judul ilmiah acak dan menyaksikannya menulis abstrak tepat di depan matanya. Dr. Howard kemudian membagikan tanggapannya melalui Twitter.

TERKAIT: OPEPAI BARU SAJA MERILIS ALGORITMA PENULISAN BERITA PALSU BAHKAN PALSU

Inilah yang dapat dibuat oleh GPT2

Howard melatih kembali GPT2 di database Pubmed / MEDLINE - database ilmiah dengan lebih dari 30 juta kutipan literatur biomedis. Artinya, ketika Dr. Howard memberikan gelar ilmiahnya, jaringan saraf tiruan transformator mampu merespons secara ilmiah.

Itu membawa Dr. Howard berkeliling 24 jam untuk melatih kembali GPT2 dengan cara ini.

Apa yang Dr. Howard, luar biasa, terima sebagai tanggapannya adalah abstrak medis singkat yang terstruktur dengan baik dan menggugah pikiran. Di bawah ini adalah beberapa abstrak untuk Anda teliti.

Sebuah peringatan dari Dr. Howard:

Saya telah menciptakan monster. Saya telah melatih kembali jaringan saraf transformator GPT2 @ OpenAI pada database Pubmed / MEDLINE, sehingga jika saya memberikan judul artikel, abstrak untuk saya. Saya tidak mengajarkannya bagaimana menyusun abstrak, berapa panjangnya, atau istilah apa pun.

- James Howard (@DrJHoward) 26 Oktober 2019

Di setiap tangkapan layar di bawah, baris atas menunjukkan judul yang saya berikan pada jaringan, dan semua yang ada di bawahnya adalah pekerjaan jaringan. Diperlukan waktu sekitar 30 detik untuk menghasilkan abstrak, meskipun dibutuhkan lebih dari 24 jam pelatihan jaringan untuk mencapai level ini.

- James Howard (@DrJHoward) 26 Oktober 2019

Abstrak pertama:

Pertama, saya mencoba memberinya judul untuk uji coba terkontrol acak yang dibuat-buat. Tampaknya agak tidak masuk akal untuk membandingkan denervasi ginjal dengan apixaban untuk hipertensi. Menariknya, ia menawarkan data registrasi uji klinis di akhir abstrak. pic.twitter.com/Z9794BpgdJ

- James Howard (@DrJHoward) 26 Oktober 2019

Yang kedua:

Selanjutnya saya beri judul untuk meta-analisis. Jelas sekali, judul yang saya pilih itu menggelikan, tapi saya ingin melihat apa fungsinya. Hebatnya, mereka memutuskan untuk meletakkan strategi pencarian di bagian metode. Ini juga memberikan risiko relatif, meskipun pilihan Skala Rankin yang dimodifikasi ... pic.twitter.com/Vjp6fhlFW2

- James Howard (@DrJHoward) 26 Oktober 2019

Yang ketiga:

Saya pikir saya akan mencoba sesuatu yang saya hanya memiliki sedikit pengalaman: analisis efektivitas biaya. Meskipun kesimpulannya mungkin benar, saya tidak yakin kesimpulan tersebut cukup menyampaikan temuan penelitian ... Saya menikmati bagaimana signifikansi cocok dengan nilai p (> vs <0,05). pic.twitter.com/5rXlTUh8Hr

- James Howard (@DrJHoward) 26 Oktober 2019

GPT2 terus memberikan:

Akhirnya, saya pikir saya akan mencoba sesuatu yang membara. Ternyata prevalensi penggunaan narkotika di kalangan ahli jantung dewasa adalah 71%! Dan itu pasti benar, mereka menggunakan vektor eigen! Maaf atas fitnah itu, rekan-rekan Amerika Selatan saya. pic.twitter.com/j700yVryve

- James Howard (@DrJHoward) 26 Oktober 2019

Ini cukup luar biasa - jika mungkin sedikit mengkhawatirkan - apa yang dapat dilakukan transformator OpenAI, dan bagaimana ia dapat dilatih ulang dalam waktu yang singkat.

Saya harap Anda menganggap ini menarik. Saya dengan senang hati memberikan lebih banyak contoh jika orang ingin memberi saya gelar. Saya mungkin mencoba membuat jaringan saraf berfungsi online seperti yang saya lakukan untuk alat pacu jantung (https://t.co/CMnspA0N8R) - meskipun persyaratan perangkat keras untuk ini jauh lebih curam!

- James Howard (@DrJHoward) 26 Oktober 2019

Dr. Howard sangat terbuka dan transparan tentang bagaimana pertukaran yang menarik ini terjadi, dan Anda dapat mencoba sendiri di sini di mana Anda sendiri 'berbicara' dengan transformator.


Tonton videonya: Mind boggling Open AIs GPT 3 examples. SQL. Memes. Figma. English to LaTeX. Visualization (Januari 2022).