Pemulusan label adalah teknik regularisasi yang umum digunakan dalam pembelajaran mesin dan model pembelajaran mendalam. Hal ini melibatkan penambahan sedikit ketidakpastian pada label target selama proses pelatihan, yang membantu mencegah overfitting dan meningkatkan kemampuan generalisasi model. Dengan memperkenalkan bentuk distribusi label yang lebih realistis, penghalusan label memastikan bahwa model tidak terlalu bergantung pada kepastian masing-masing label, sehingga meningkatkan performa pada data yang tidak terlihat.
Sejarah asal usul penghalusan Label dan penyebutan pertama kali
Penghalusan label pertama kali diperkenalkan dalam makalah penelitian berjudul “Rethinking the Inception Architecture for Computer Vision” oleh Christian Szegedy dkk., yang diterbitkan pada tahun 2016. Penulis mengusulkan penghalusan label sebagai teknik untuk mengatur jaringan saraf konvolusional dalam (CNN) dan memitigasi efek buruk dari overfitting, terutama dalam konteks tugas klasifikasi gambar skala besar.
Informasi terperinci tentang perataan label. Memperluas topik Penghalusan label.
Dalam pembelajaran terawasi tradisional, model dilatih untuk memprediksi dengan kepastian mutlak, yang bertujuan untuk meminimalkan hilangnya entropi silang antara label prediksi dan label sebenarnya. Namun, pendekatan ini dapat menyebabkan prediksi yang terlalu percaya diri, yaitu model menjadi terlalu yakin akan prediksi yang salah, sehingga pada akhirnya menghambat kemampuan generalisasi pada data yang tidak terlihat.
Perataan label mengatasi masalah ini dengan memperkenalkan bentuk pelabelan lunak selama pelatihan. Alih-alih menetapkan vektor yang dikodekan one-hot (dengan satu untuk label sebenarnya dan nol untuk yang lain) sebagai target, pemulusan label mendistribusikan massa probabilitas di antara semua kelas. Label sebenarnya diberi probabilitas sedikit kurang dari satu, dan probabilitas yang tersisa dibagi ke kelas-kelas lain. Hal ini menimbulkan rasa ketidakpastian dalam proses pelatihan, membuat model tidak terlalu rentan terhadap overfitting dan menjadi lebih kuat.
Struktur internal penghalusan Label. Cara kerja penghalusan Label.
Cara kerja internal perataan label dapat diringkas dalam beberapa langkah:
-
Pengkodean Satu-Panas: Dalam pembelajaran terawasi tradisional, label target untuk setiap sampel direpresentasikan sebagai vektor enkode one-hot, dengan kelas sebenarnya menerima nilai 1, dan semua kelas lainnya memiliki nilai 0.
-
Melembutkan Label: Penghalusan label memodifikasi label target yang dikodekan one-hot dengan mendistribusikan massa probabilitas ke semua kelas. Alih-alih memberikan nilai 1 pada kelas sebenarnya, ia memberikan nilai (1 – ε), dengan ε adalah konstanta positif kecil.
-
Mendistribusikan Ketidakpastian: Probabilitas yang tersisa, ε, dibagi di antara kelas-kelas lain, membuat model mempertimbangkan kemungkinan kelas-kelas tersebut menjadi kelas yang benar. Hal ini menimbulkan tingkat ketidakpastian, sehingga model menjadi kurang yakin terhadap prediksinya.
-
Perhitungan Kerugian: Selama pelatihan, model mengoptimalkan hilangnya entropi silang antara probabilitas yang diprediksi dan label target yang diperhalus. Label penghalusan kerugian menghukum prediksi yang terlalu percaya diri dan mendorong prediksi yang lebih terkalibrasi.
Analisis fitur utama perataan Label.
Fitur utama perataan label meliputi:
-
Regularisasi: Penghalusan label berfungsi sebagai teknik regularisasi yang mencegah overfitting dan meningkatkan generalisasi model.
-
Prediksi yang Dikalibrasi: Dengan menimbulkan ketidakpastian pada label target, penghalusan label mendorong model untuk menghasilkan prediksi yang lebih terkalibrasi dan kurang meyakinkan.
-
Peningkatan Kekokohan: Pemulusan label membantu model untuk fokus mempelajari pola-pola bermakna dalam data dibandingkan mengingat sampel pelatihan tertentu, sehingga menghasilkan peningkatan ketahanan.
-
Menangani Label Berisik: Penghalusan label dapat menangani label yang berisik atau salah dengan lebih efektif dibandingkan target enkode one-hot tradisional.
Jenis penghalusan Label
Ada dua jenis penghalusan label yang umum:
-
Penghalusan Label Tetap: Dalam pendekatan ini, nilai ε (konstanta yang digunakan untuk melunakkan label sebenarnya) ditetapkan selama proses pelatihan. Itu tetap konstan untuk semua sampel dalam kumpulan data.
-
Penghalusan Label Annealing: Tidak seperti pemulusan label tetap, nilai ε dianil atau dirusak selama pelatihan. Ini dimulai dengan nilai yang lebih tinggi dan secara bertahap menurun seiring dengan kemajuan pelatihan. Hal ini memungkinkan model untuk memulai dengan tingkat ketidakpastian yang lebih tinggi dan menguranginya seiring waktu, sehingga secara efektif menyempurnakan kalibrasi prediksi.
Pilihan di antara jenis-jenis ini bergantung pada tugas spesifik dan karakteristik kumpulan data. Penghalusan label tetap lebih mudah diterapkan, sedangkan penghalusan label anil mungkin memerlukan penyetelan hyperparameter untuk mencapai performa optimal.
Di bawah ini perbandingan kedua jenis penghalusan label:
| Aspek | Penghalusan Label Tetap | Penghalusan Label Annealing |
|---|---|---|
| nilai ε | Konstan sepanjang waktu | Anil atau membusuk |
| Kompleksitas | Lebih sederhana untuk diterapkan | Mungkin memerlukan penyetelan hyperparameter |
| Kalibrasi | Kurang tertata dengan baik | Secara bertahap membaik seiring berjalannya waktu |
| Pertunjukan | Performa stabil | Potensi untuk hasil yang lebih baik |
Menggunakan Penghalusan Label
Pemulusan label dapat dengan mudah dimasukkan ke dalam proses pelatihan berbagai model pembelajaran mesin, termasuk jaringan saraf dan arsitektur pembelajaran mendalam. Ini melibatkan modifikasi label target sebelum menghitung kerugian selama setiap iterasi pelatihan.
Langkah-langkah implementasinya adalah sebagai berikut:
- Siapkan kumpulan data dengan label target berkode one-hot.
- Tentukan nilai penghalusan label, ε, berdasarkan eksperimen atau keahlian domain.
- Ubah label berkode one-hot menjadi label lunak dengan mendistribusikan massa probabilitas seperti yang dijelaskan sebelumnya.
- Latih model menggunakan label yang diperhalus dan optimalkan kehilangan entropi silang selama proses pelatihan.
Masalah dan Solusi
Meskipun penghalusan label menawarkan beberapa manfaat, hal ini juga dapat menimbulkan tantangan tertentu:
-
Dampak terhadap Akurasi: Dalam beberapa kasus, perataan label mungkin sedikit mengurangi keakuratan model pada set pelatihan karena adanya ketidakpastian. Namun, hal ini biasanya meningkatkan performa pada set pengujian atau data yang tidak terlihat, yang merupakan tujuan utama perataan label.
-
Penyetelan Hiperparameter: Memilih nilai yang sesuai untuk ε sangat penting untuk penghalusan label yang efektif. Nilai yang terlalu tinggi atau terlalu rendah dapat berdampak negatif terhadap performa model. Teknik penyetelan hyperparameter, seperti pencarian grid atau pencarian acak, dapat digunakan untuk menemukan nilai ε yang optimal.
-
Modifikasi Fungsi Kerugian: Menerapkan pemulusan label memerlukan modifikasi fungsi kerugian dalam proses pelatihan. Modifikasi ini mungkin memperumit alur pelatihan dan memerlukan penyesuaian pada basis kode yang ada.
Untuk memitigasi masalah ini, peneliti dan praktisi dapat bereksperimen dengan nilai ε yang berbeda, memantau performa model pada data validasi, dan menyempurnakan hyperparameter. Selain itu, pengujian dan eksperimen menyeluruh sangat penting untuk menilai dampak perataan label pada tugas dan kumpulan data tertentu.
Ciri-ciri utama dan perbandingan lainnya dengan istilah sejenis dalam bentuk tabel dan daftar.
Di bawah ini adalah perbandingan perataan label dengan teknik regularisasi terkait lainnya:
| Teknik Regularisasi | Karakteristik |
|---|---|
| Regularisasi L1 dan L2 | Menghukum bobot besar dalam model untuk mencegah overfitting. |
| Keluar | Nonaktifkan neuron secara acak selama pelatihan untuk mencegah overfitting. |
| Augmentasi Data | Perkenalkan variasi data pelatihan untuk meningkatkan ukuran kumpulan data. |
| Penghalusan Label | Memperhalus label target untuk mendorong prediksi yang terkalibrasi. |
Meskipun semua teknik ini bertujuan untuk meningkatkan generalisasi model, perataan label menonjol karena fokusnya dalam menimbulkan ketidakpastian pada label target. Hal ini membantu model untuk membuat prediksi yang lebih percaya diri namun hati-hati, sehingga menghasilkan performa yang lebih baik pada data yang tidak terlihat.
Bidang pembelajaran mendalam dan pembelajaran mesin, termasuk teknik regularisasi seperti penghalusan label, terus berkembang. Para peneliti sedang mengeksplorasi metode regularisasi yang lebih canggih dan kombinasinya untuk lebih meningkatkan performa dan generalisasi model. Beberapa arahan potensial untuk penelitian masa depan dalam penghalusan label dan bidang terkait meliputi:
-
Penghalusan Label Adaptif: Teknik investigasi yang nilai ε disesuaikan secara dinamis berdasarkan keyakinan model terhadap prediksinya. Hal ini dapat menyebabkan tingkat ketidakpastian yang lebih adaptif selama pelatihan.
-
Pemulusan Label Khusus Domain: Menyesuaikan teknik penghalusan label untuk domain atau tugas tertentu untuk lebih meningkatkan efektivitasnya.
-
Interaksi dengan Teknik Regularisasi Lainnya: Menjelajahi sinergi antara pemulusan label dan metode regularisasi lainnya untuk mencapai generalisasi yang lebih baik dalam model yang kompleks.
-
Label Smoothing dalam Pembelajaran Penguatan: Memperluas teknik perataan label ke bidang pembelajaran penguatan, di mana ketidakpastian dalam imbalan dapat memainkan peran penting.
Bagaimana server proxy dapat digunakan atau dikaitkan dengan perataan Label.
Server proxy dan perataan label tidak berhubungan langsung, karena keduanya memiliki tujuan berbeda dalam lanskap teknologi. Namun, server proxy dapat digunakan bersama dengan model pembelajaran mesin yang menerapkan perataan label dalam berbagai cara:
-
Pengumpulan data: Server proxy dapat digunakan untuk mengumpulkan beragam kumpulan data dari lokasi geografis berbeda, memastikan bahwa data pelatihan untuk model pembelajaran mesin mewakili berbagai populasi pengguna.
-
Anonimitas dan Privasi: Server proxy dapat digunakan untuk menganonimkan data pengguna selama pengumpulan data, sehingga mengatasi masalah privasi saat melatih model tentang informasi sensitif.
-
Penyeimbangan Beban untuk Penyajian Model: Pada fase penerapan, server proksi dapat digunakan untuk penyeimbangan beban dan mendistribusikan permintaan inferensi model secara efisien ke beberapa contoh model pembelajaran mesin.
-
Prediksi Model Caching: Server proxy dapat menyimpan prediksi yang dibuat oleh model pembelajaran mesin dalam cache, sehingga mengurangi waktu respons dan beban server untuk kueri berulang.
Meskipun server proxy dan penghalusan label beroperasi secara independen, server proxy dapat memainkan peran pendukung dalam memastikan pengumpulan data yang kuat dan penerapan model pembelajaran mesin yang efisien yang telah dilatih menggunakan teknik penghalusan label.
Tautan yang berhubungan
Untuk informasi lebih lanjut tentang perataan label dan penerapannya dalam pembelajaran mendalam, pertimbangkan untuk menjelajahi sumber daya berikut:
- Memikirkan Kembali Arsitektur Awal untuk Computer Vision – Makalah penelitian asli yang memperkenalkan penghalusan label.
- Pengantar Lembut tentang Penghalusan Label – Tutorial mendetail tentang penghalusan label untuk pemula.
- Memahami Penghalusan Label – Penjelasan komprehensif tentang perataan label dan pengaruhnya terhadap pelatihan model.
