Tora neuralî ya birêkûpêk bi rastî dikare bi fonksiyonek nêzî 30 mîlyar guhêrbar re were berhev kirin. Ji bo ku em vê berhevdanê fam bikin, pêdivî ye ku em li têgehên bingehîn ên torên neuralî û encamên ku di modelekê de hejmareke mezin a pîvanan hene bigerin.
Tora neuralî çînek modelên fêrbûna makîneyê ne ku ji avahî û fonksiyona mêjiyê mirovan îlhama xwe digirin. Ew ji girêkên bi hev ve girêdayî pêk tên ku di qatan de têne organîze kirin. Her girêk veguherînek li têketina ku distîne pêk tîne û encamê di qata din re derbas dike. Hêza girêdanên di navbera girêkan de ji hêla pîvanan ve têne destnîşankirin, ku wekî giranî û biasiyan jî têne zanîn. Van parameteran di pêvajoya perwerdehiyê de têne fêr kirin, li cihê ku torê wan eyar dike da ku cûdahiya di navbera pêşbîniyên xwe û armancên rastîn de kêm bike.
Hejmara giştî ya parametreyên di tora neuralî de rasterast bi tevlihevî û hêza derbirînê ve girêdayî ye. Di tora neuralî ya pêşkeftî ya standard de, hejmara pîvanan ji hêla hejmara qatan û mezinahiya her qatek ve tê destnîşankirin. Mînakî, torgilokek bi 10 girêkên têketinê, 3 qatên veşartî yên her yek ji 100 girêk, û 1 girêka derketinê dê 10 * 100 + 100 * 100 * 100 + 100 * 1 = 10,301 pîvan hebin.
Naha, werin em senaryoyek bihesibînin ku tê de torgilokek neuralî ya bi hejmareke pir mezin a parametre, nêzî 30 mîlyar heye. Tora weha dê pir kûr û fireh be, belkî ji sedan an jî bi hezaran qatan bi mîlyonan girêk di her qatê de pêk tê. Perwerdehiya torgilokek wusa dê karek berbiçav be, ku pêdivî bi jimarek mezin a daneyan, çavkaniyên hesabkerî û dem heye.
Hebûna hejmareke wusa girseyî ya parametreyan bi gelek pirsgirêkan re tê. Yek ji mijarên sereke zêdepêkhatina ye, ku model li şûna gelemperîkirina nimûneyên nû, nedîtî, fêrî bîranîna daneyên perwerdehiyê dibe. Ji bo çareserkirina vê pirsgirêkê bi gelemperî teknîkên rêkûpêkkirinê yên wekî birêkûpêkkirina L1 û L2, hilweşandin, û normalîzekirina bacê têne bikar anîn.
Digel vê yekê, perwerdekirina torgilokek neuralî ya bi 30 mîlyar parametre dê hewceyê hejmareke girîng a daneya binavkirî hewce bike da ku pêşî li zêdebûnê bigire û kapasîteya gelemperîkirina modelê misoger bike. Teknolojiyên zêdekirina daneyê, fêrbûna veguheztinê, û berhevkirin jî dikarin werin bikar anîn da ku performansa modelê baştir bikin.
Di pratîkê de, torên neuralî yên bi mîlyaran parametre bi gelemperî di serîlêdanên pispor ên wekî pêvajoyek zimanê xwezayî (NLP), dîtina komputerê, û fêrbûna xurtkirinê de têne bikar anîn. Modelên wekî GPT-3 (Generative Pre-Trained Transformer 3) û Vision Transformers (ViTs) nimûneyên mîmariya herî pêşkeftî ya bi mîlyaran parametre ne ku di warên xwe yên têkildar de encamên berbiçav bi dest xistine.
Dema ku torgilokek neuralî ya birêkûpêk bi teorîkî dikare bi fonksiyonek nêzî 30 mîlyar guhêrbar re were berhev kirin, kêşeyên pratîkî yên ku bi perwerdekirin û bicîhkirina modelek wusa re têkildar in girîng in. Dema ku bi modelên fêrbûna kûr ên vê pîvanê re bixebitin, baldarî li mîmariya modelê, teknîkên rêkûpêkkirinê, hebûna daneyê, û çavkaniyên hesabkerî pêdivî ye.
Pirs û bersivên din ên vê dawiyê di derbarê Eytc/AI/DLPP Fêrbûna Kûr a bi Python û PyTorch:
- Ger meriv bixwaze wêneyên rengîn li ser tora neuralî ya hevgirtî nas bike, gelo pêdivî ye ku meriv ji dema nasandina wêneyên pîvana gewr pîvanek din lê zêde bike?
- Ma fonksiyona aktîfkirinê dikare were hesibandin ku bi gulebaranê an na neronek di mêjî de teqlîd bike?
- Ma PyTorch dikare bi NumPy-ê ku li ser GPU-yê bi hin fonksiyonên din ve tê xebitandin re were berhev kirin?
- Ma windabûna derveyî nimûne windakirina pejirandinê ye?
- Ma pêdivî ye ku meriv ji bo analîzkirina pratîkî ya modela tora neuralî ya PyTorch an matplotlib-ê tabloyek tensor bikar bîne?
- Ma dikare PyTorch bi NumPy-ê ku li ser GPU-yê bi hin fonksiyonên din ve tê xebitandin were berhev kirin?
- Gelo ev pêşniyar rast e an xelet e "Ji bo tora neuralî ya dabeşkirinê divê encam di navbera çînan de dabeşkirina îhtimalê be."
- Ma meşandina modelek tora neuralî ya fêrbûna kûr a li ser gelek GPU-yên li PyTorch pêvajoyek pir hêsan e?
- Tora neuralî ya herî mezin a konvolutional ku hatî çêkirin çi ye?
- Ger têketin navnîşa rêzikên numpy e ku nexşeya germahiyê hildibijêre ku derketina ViTPose ye û şeklê her pelê numpy [1, 17, 64, 48] bi 17 xalên sereke yên laş re têkildar e, kîjan algorîtma dikare were bikar anîn?
Di EITC/AI/DLPP Fêrbûna Kûr bi Python û PyTorch de bêtir pirs û bersivan bibînin