Apakah itu aktiviti regularizer dalam keras?

Apakah itu aktiviti regularizer dalam keras?
Apakah itu aktiviti regularizer dalam keras?
Anonim

Regularizers membolehkan anda menggunakan pen alti pada parameter lapisan atau aktiviti lapisan semasa pengoptimuman. Pen alti ini dijumlahkan ke dalam fungsi kehilangan yang dioptimumkan oleh rangkaian. Pen alti penyelarasan dikenakan pada setiap lapisan.

Apakah itu penyelaras aktiviti?

Penyelaras aktiviti berfungsi sebagai fungsi output jaring, dan kebanyakannya digunakan untuk menyelaraskan unit tersembunyi, manakala weight_regularizer, seperti namanya, berfungsi pada pemberat (cth. menjadikannya reput).

Bilakah saya harus menggunakan penyelaras aktiviti?

Jika anda mahu fungsi output melalui (atau mempunyai pintasan yang lebih dekat dengan) asal, anda boleh menggunakan penlaras bias. Jika anda mahu output menjadi lebih kecil (atau lebih hampir kepada 0), anda boleh menggunakan penyelaras aktiviti.

Bagaimana cara saya menggunakan penyelaras Keras?

Untuk menambah penyelaras pada lapisan, anda hanya perlu untuk menghantar teknik penyusunan pilihan kepada hujah kata kunci lapisan 'kernel_regularizer'. Kaedah pelaksanaan penyelarasan Keras boleh menyediakan parameter yang mewakili nilai hiperparameter penyelarasan.

Apakah kernel dan bias?

Kelas padat

Dense melaksanakan operasi: output=pengaktifan(titik(input, kernel) + bias) dengan pengaktifan ialah fungsi pengaktifan mengikut elemen yang diluluskan sebagai hujah pengaktifan, kernel ialah matriks pemberat yang dicipta oleh lapisan, danbias ialah vektor bias yang dicipta oleh lapisan (hanya terpakai jika use_bias adalah Benar).

Disyorkan: