Pirsgirêka gradientê ya windabûn pirsgirêkek e ku di perwerdehiya torên neuralî yên kûr de, nemaze di çarçoweya algorîtmayên xweşbîniya bingeh-gradient de derdikeve. Ew behsa mijara kêmbûna berfirehî dike ji ber ku ew di pêvajoya fêrbûnê de bi paş ve di nav qatên torgilokek kûr de belav dibin. Ev diyarde dikare bi girîngî lihevhatina torê asteng bike û şiyana wê ya fêrbûna şêwaz û temsîlên tevlihev asteng bike.
Ji bo fêmkirina pirsgirêka gradientê ya windabûnê, bila pêşî em li ser algorîtmaya paşîn-propagasyonê nîqaş bikin, ku bi gelemperî ji bo perwerdekirina torên neuralî yên kûr tê bikar anîn. Di dema derbasbûna pêş de, daneyên têketinê bi navgîniya torê ve tê xwarin, û çalakkirin li dû hev di her qatê de têne hesibandin. Dûv re hilbera encam bi hilbera xwestî re tê berhev kirin, û xeletiyek tê hesibandin. Di derbasbûna paşverû ya paşîn de, xeletî di nav qatan de paşve tê belav kirin, û gradient bi rêzgirtina pîvanên torê ve bi karanîna qaîdeya zincîra hesaban têne hesibandin.
Pîvan rê û mezinahiya guheztinên ku divê li pîvanên torê bêne kirin destnîşan dikin da ku xeletiyê kêm bikin. Ew ji bo nûvekirina parametreyan bi karanîna algorîtmayek xweşbîniyê ya wekî daketina gradientê ya stokastîk (SGD) têne bikar anîn. Lêbelê, di torên kûr de, gradient dikarin pir piçûk bibin ji ber ku ew ji hêla giranan ve têne zêdekirin û di dema pêvajoya paşnavê de di her qatek fonksiyonên çalakkirinê de derbas dibin.
Pirsgirêka gradientê ya windabûnê dema ku gradient pir piçûk dibin, nêzîkê sifirê dibin, ji ber ku ew bi paş ve di nav torê de belav dibin. Ev yek diqewime ji ber ku gradient bi giraniya her qatekê têne zêdekirin, û heke ev giranî ji yekê piçûktir bin, gradient bi her qatê re bi rengek berbiçav piçûk dibin. Ji ber vê yekê, nûvekirinên li ser parametreyan neguhêz dibin, û torgilok nikare temsîlên watedar fêr bibe.
Ji bo ronîkirina vê pirsgirêkê, torgilokek neuralî ya kûr bi gelek qatan bihesibînin. Gava ku gradient ber bi paş ve belav dibin, dibe ku ew ew qas piçûk bibin ku berî ku bigihîjin qatên berê bi bandor winda bibin. Wekî encamek, qatên berê di derheqê xeletiyê de hindik-tu agahdarî distînin, û pîvanên wan bi gelemperî neguhêrbar dimînin. Ev şiyana torê ku di daneyan de girêdan û hiyerarşiyên tevlihev bigire sînordar dike.
Pirsgirêka gradientê ya winda bi taybetî di torên neuralî yên kûr ên bi girêdanên dûbare de pirsgirêk e, wek torên neuralî yên dûbare (RNN) an torên bîranîna kurt-kurt (LSTM). Van toran xwedan girêdanên bertek in ku rê didin ku agahdarî bi demê re were hilanîn û belav kirin. Lêbelê, pileyên winda dibe sedema ku torgilok bi fêrbûna girêdanên demdirêj re têbikoşin, ji ber ku gradient bi gavên demê re zû kêm dibin.
Ji bo kêmkirina pirsgirêka gradientê ya windabûnê gelek teknîk hatine pêşve xistin. Nêzîkbûnek ev e ku meriv fonksiyonên çalakkirinê yên ku ji têrbûnê cefayê nagirin, wekî yekîneya xêzkirî ya rastkirî (ReLU) bikar bînin. ReLU ji bo danûstendinên erênî gradientek domdar heye, ku ji kêmkirina pirsgirêka gradientê ya winda dibe alîkar. Teknîkek din ev e ku meriv girêdanên derbasbûnê bikar bîne, wek mînak di torên bermayî (ResNets) de, ku dihêle gradient hin qatan derbas bikin û bi hêsanî di nav torê de biherikin.
Wekî din, qutkirina gradientê dikare were sepandin da ku rê li ber mezinbûn an jî pir piçûk bigire. Ev tê de danîna bergehekê û ji nû ve jimartina gradientan ger ku ew ji vê behrê derbas bibin. Bi sînordarkirina mezinahiya gradientan, qutkirina gradient dikare bibe alîkar ku pirsgirêka gradientê ya windabûnê sivik bike.
Pirsgirêka gradientê ya winda pirsgirêkek e ku di perwerdehiya torên neuralî yên kûr de derdikeve. Ew gava ku gradient bi rengek berbiçav kêm dibin gava ku ew ber bi paş ve di nav qatên torê de belav dibin, dibe sedema lihevhatina hêdî û dijwariyên fêrbûna şêwaz û temsîlên tevlihev. Ji bo kêmkirina vê pirsgirêkê, dikarin teknîkên cihêreng, wekî karanîna fonksiyonên çalakkirina ne-têrbûyî, girêdanên avêtinê, û qutkirina gradientê werin bikar anîn.
Pirs û bersivên din ên vê dawiyê di derbarê Torgilokên kûr û texmînker ên kûr:
- Ma fêrbûna kûr dikare wekî pênasekirin û perwerdekirina modelek li ser bingeha tora neuralî ya kûr (DNN) were şîrove kirin?
- Ma çarçoweya TensorFlow ya Google dihêle ku di pêşkeftina modelên fêrbûna makîneyê de asta abstraksiyonê zêde bike (mînak bi guheztina kodkirinê bi veavakirinê)?
- Ma rast e ku heke databas mezin be pêdivî bi nirxandina hindik heye, ev tê vê wateyê ku perçeya daneya ku ji bo nirxandinê tê bikar anîn dikare bi mezinbûna danezanê were kêm kirin?
- Ma meriv dikare bi guheztina rêzika ku wekî argumana veşartî ya tora neuralî ya kûr (DNN) hatî peyda kirin, bi hêsanî kontrol bike (bi zêdekirin û rakirina) hejmara qat û hejmara girêkan di qatên takekesî de?
- Meriv çawa nas dike ku modela pir zêde ye?
- Tora neuralî û torên neuralî yên kûr çi ne?
- Çima ji torên neuralî yên kûr re kûr tê gotin?
- Awantaj û dezawantajên zêdekirina girêkên din li DNN çi ne?
- Hin kêmasiyên karanîna torên neuralî yên kûr li gorî modelên xêzik çi ne?
- Kîjan parametreyên pêvek dikarin di dabeşkera DNN-ê de bêne xweş kirin, û ew çawa beşdarî başkirina tora neuralî ya kûr dibin?
Di torên neuralî û texmînkeran de bêtir pirs û bersivan bibînin