Teacher Forcing adalah teknik pembelajaran mesin yang digunakan dalam pelatihan model sequence-to-sequence. Ini membantu meningkatkan kinerja model ini dengan membimbing mereka dengan keluaran aktual atau simulasi selama proses pelatihan. Awalnya dikembangkan untuk tugas pemrosesan bahasa alami, Teacher Forcing telah menemukan aplikasi di berbagai bidang, termasuk terjemahan mesin, pembuatan teks, dan pengenalan suara. Pada artikel ini, kita akan mempelajari sejarah, prinsip kerja, jenis, kasus penggunaan, dan prospek masa depan Teacher Forcing dalam konteks penyedia server proxy seperti OneProxy.<\/p>\n
Konsep Teacher Forcing pertama kali diperkenalkan pada masa awal jaringan saraf berulang (RNN). Ide dasar di balik teknik ini dimulai pada tahun 1970an ketika pertama kali dirumuskan sebagai \u201cPembelajaran Terbimbing\u201d oleh Paul Werbos. Namun, penerapan praktisnya mendapat perhatian yang signifikan dengan munculnya model urutan-ke-urutan dan munculnya terjemahan mesin saraf.<\/p>\n
Salah satu makalah penting yang meletakkan dasar bagi Teacher Forcing adalah \u201cSequence to Sequence Learning with Neural Networks\u201d oleh Sutskever dkk., yang diterbitkan pada tahun 2014. Penulis mengusulkan arsitektur model menggunakan RNN untuk memetakan urutan masukan ke urutan keluaran dalam mode paralel. Pendekatan ini membuka jalan untuk menggunakan Teacher Forcing sebagai metode pelatihan yang efektif.<\/p>\n
Teacher Forcing melibatkan pemberian keluaran yang sebenarnya atau prediksi dari langkah waktu sebelumnya sebagai masukan ke model untuk langkah waktu berikutnya selama pelatihan. Daripada hanya mengandalkan prediksinya sendiri, model ini dipandu oleh keluaran yang benar, sehingga menghasilkan konvergensi yang lebih cepat dan pembelajaran yang lebih baik. Proses ini membantu mengurangi masalah akumulasi kesalahan dalam rangkaian panjang yang umum terjadi di RNN.<\/p>\n
Selama inferensi atau pembuatan, ketika model digunakan untuk memprediksi data yang tidak terlihat, keluaran sebenarnya tidak tersedia. Pada tahap ini, model mengandalkan prediksinya sendiri, yang mengarah pada potensi perbedaan dari keluaran yang diinginkan dan fenomena yang dikenal sebagai bias eksposur. Untuk mengatasi hal ini, teknik seperti Pengambilan Sampel Terjadwal telah diusulkan, yang secara bertahap mentransisikan model dari penggunaan keluaran sebenarnya ke prediksinya sendiri selama pelatihan.<\/p>\n
Prinsip kerja Teacher Forcing dapat diringkas sebagai berikut:<\/p>\n
Urutan masukan: Model menerima urutan masukan, yang direpresentasikan sebagai serangkaian token, yang dapat berupa kata, karakter, atau subkata, bergantung pada tugasnya.<\/p>\n<\/li>\n
Pengkodean: Urutan masukan diproses oleh pembuat enkode, yang menghasilkan representasi vektor dengan panjang tetap, sering disebut sebagai vektor konteks atau keadaan tersembunyi. Vektor ini menangkap informasi kontekstual dari urutan masukan.<\/p>\n<\/li>\n
Decoding dengan Teacher Forcing: Selama pelatihan, decoder model mengambil vektor konteks dan menggunakan urutan keluaran sebenarnya atau yang disimulasikan dari data pelatihan sebagai masukan untuk setiap langkah waktu. Proses ini dikenal sebagai Pemaksaan Guru.<\/p>\n<\/li>\n
Perhitungan kerugian: Pada setiap langkah waktu, keluaran model dibandingkan dengan keluaran sebenarnya yang sesuai menggunakan fungsi kerugian, seperti entropi silang, untuk mengukur kesalahan prediksi.<\/p>\n<\/li>\n
Propagasi mundur: Kesalahan dipropagasi mundur melalui model, dan parameter model diperbarui untuk meminimalkan kerugian, sehingga meningkatkan kemampuannya untuk membuat prediksi yang akurat.<\/p>\n<\/li>\n
Inferensi: Selama inferensi atau pembuatan, model diberi token awal, dan model tersebut secara rekursif memprediksi token berikutnya berdasarkan prediksi sebelumnya hingga token akhir atau panjang maksimum tercapai.<\/p>\n<\/li>\n<\/ol>\n
Teacher Forcing menawarkan beberapa kelebihan dan kekurangan yang penting untuk dipertimbangkan ketika menggunakan teknik ini:<\/p>\n
Konvergensi yang lebih cepat: Dengan memandu model dengan keluaran yang sebenarnya atau yang disimulasikan, model tersebut akan menyatu lebih cepat selama pelatihan, sehingga mengurangi jumlah periode yang diperlukan untuk mencapai performa yang dapat diterima.<\/p>\n<\/li>\n
Peningkatan stabilitas: Penggunaan Teacher Forcing dapat menstabilkan proses pelatihan dan mencegah model menyimpang selama tahap awal pembelajaran.<\/p>\n<\/li>\n
Penanganan urutan panjang yang lebih baik: RNN sering kali mengalami masalah gradien hilang saat memproses urutan panjang, tetapi Teacher Forcing membantu mengatasi masalah ini.<\/p>\n<\/li>\n<\/ul>\n
Bias eksposur: Ketika model digunakan untuk inferensi, model tersebut mungkin menghasilkan keluaran yang berbeda dari yang diinginkan karena model tersebut belum terkena prediksinya sendiri selama pelatihan.<\/p>\n<\/li>\n
Perbedaan selama pelatihan dan inferensi: Perbedaan antara pelatihan dengan Teacher Forcing dan pengujian tanpa Teacher Forcing dapat menyebabkan kinerja yang kurang optimal selama inferensi.<\/p>\n<\/li>\n<\/ul>\n
Teacher Forcing dapat diimplementasikan dalam beberapa cara, bergantung pada persyaratan spesifik tugas dan arsitektur model yang digunakan. Berikut adalah beberapa jenis Pemaksaan Guru yang umum:<\/p>\n
Pemaksaan Guru Standar: Dalam pendekatan tradisional ini, model secara konsisten diberikan keluaran yang sebenarnya atau yang disimulasikan selama pelatihan, seperti yang dijelaskan di bagian sebelumnya.<\/p>\n<\/li>\n
Pengambilan Sampel Terjadwal: Pengambilan Sampel Terjadwal secara bertahap mentransisikan model dari penggunaan keluaran sebenarnya ke prediksinya sendiri selama pelatihan. Ini memperkenalkan jadwal probabilitas, yang menentukan probabilitas penggunaan keluaran sebenarnya pada setiap langkah waktu. Hal ini membantu dalam mengatasi masalah bias eksposur.<\/p>\n<\/li>\n
Pembelajaran Penguatan dengan Gradien Kebijakan: Daripada hanya mengandalkan kerugian lintas entropi, model dilatih menggunakan teknik pembelajaran penguatan seperti gradien kebijakan. Hal ini melibatkan penggunaan penghargaan atau hukuman untuk memandu tindakan model, sehingga memungkinkan pelatihan yang lebih kuat.<\/p>\n<\/li>\n
Pelatihan Urutan Kritis Diri: Teknik ini melibatkan penggunaan keluaran yang dihasilkan model selama pelatihan, namun alih-alih membandingkannya dengan keluaran sebenarnya, teknik ini membandingkannya dengan keluaran terbaik model sebelumnya. Dengan cara ini, model didorong untuk meningkatkan prediksinya berdasarkan performanya sendiri.<\/p>\n<\/li>\n<\/ol>\n
Di bawah ini adalah tabel yang merangkum berbagai jenis Pemaksaan Guru:<\/p>\n