Di modelên fêrbûna makîneyê de, mîna yên ku di pergalên hilberîna ziman de mîna GPT-2 têne dîtin, bi çi awayan dikarin pêşdaraziyên civakê berdewam bikin, û çi tedbîr dikarin werin girtin ji bo kêmkirina van alîgiran?
Nerazîbûnên di modelên fêrbûna makîneyê de, nemaze di pergalên hilberîna ziman de mîna GPT-2, dikarin pêşdaraziyên civakê bi girîngî bidomînin. Van nerastiyan bi gelemperî ji daneyên ku ji bo perwerdekirina van modelan têne bikar anîn, ku dikarin stereotip û newekheviyên heyî yên civakê nîşan bidin, derdikevin. Gava ku nerastkirinên weha di algorîtmayên fêrbûna makîneyê de têne bicîh kirin, ew dikarin bi awayên cihêreng diyar bibin, ku bibe sedema xurtkirin û zêdekirina nêrînên pêşdaraz.
Çavkaniyên Biasê di Modelên Ziman de
1. Daneyên Perwerdehiyê: Di modelên ziman de çavkaniya bingehîn a alîgiriyê daneyên perwerdehiyê ne. Van danûstendinan bi gelemperî pirfireh in û ji înternetê têne peyda kirin, ku di xwezayê de agahdariya nerast dihewîne. Mînakî, modelên zimanî yên ku li ser korporên nivîsê yên mezin hatine perwerde kirin, dibe ku cinsiyet, nijad, an çandî yên ku di wan nivîsan de hene fêr bibin û dubare bikin. Ger modelek li ser daneyên ku bi awayekî nelirêtî hin demografîk an nêrînan temsîl dike were perwerde kirin, ew ê îhtîmala ku van alikaniyan nîşan bide.
2. Nehevsengiya daneyan: Faktorek din a ku dibe alîkar nehevsengiya daneyê ye. Ger hin kom an perspektîf di daneyên perwerdehiyê de kêm bin, dibe ku model ji bo wan koman baş nexebite. Ev dikare bibe sedema encamên nerast ên ku ji komên zêde têne temsîl kirin. Mînakî, modelek zimanî ku bi giranî li ser metnên îngilîzî yên ji çavkaniyên rojavayî hatine perwerde kirin, dema ku metnek di çarçoveyek ne-rojavayî de çêdike, dibe ku ew qas baş nebe.
3. Mîmariya Model: Mîmariya modelê bixwe jî dikare alîgiran destnîşan bike. Mînakî, hin vebijarkên sêwiranê yên di modelê de, wek mînak ka ew çawa çarçoweyê bi rê ve dibe an hin celeb agahdariya pêşîn dide, dikare bandorê li celebên nerastiyên ku di encam de derdikevin bike.
Di Modelên Ziman de Nîşaneyên Biasê
1. Stereotyping: Modelên zimanî dikarin bi afirandina metnek ku pêşdaraziyên heyî yên civakê xurt dike, stereotip berdewam bikin. Mînakî, modelek zimanî dikare metnek çêbike ku hin pîşeyan bi zayendên taybetî re têkildar dike, bi vî rengî stereotipên zayendî xurt dike.
2. Biçûkdîtinî: Aloziyên di modelên zimên de dikarin bibin sedema encamên cudaxwaz. Mînakî, modelek alîgir dikare nivîsek çêbike ku ji bo hin komên nijadî an etnîkî êrîşkar an zirardar e. Ev dikare encamên cidî hebe, nemaze heke model di serîlêdanên wekî karûbarê xerîdar an nermkirina naverokê de were bikar anîn.
3. Jinavderxistî: Alozî jî dibe sedema dûrxistina hin koman. Mînakî, heke modelek zimanî li ser daneyên cûrbecûr yên zimanî neyê perwerde kirin, dibe ku ew ji bo afirandina an jî têgihîştina nivîsê bi ziman an zaravayên kêm hevpar têkoşîn bike, bi vî rengî axaftvanên wan zimanan ji sûdwergirtina tam ji teknolojiyê dûr bixe.
Di Modelên Ziman de Kêmkirina Biasê
1. Daneyên Perwerdehiya Cihêreng û Nûnerê: Yek ji awayên herî bi bandor ji bo kêmkirina alîgiriyê ev e ku meriv pê ewle bibe ku daneyên perwerdehiyê cihêreng in û nûnertiya hemî komên têkildar in. Di vê yekê de peydakirina daneyan ji cûrbecûr demografîk, çand û perspektîfan pêk tê. Wekî din, girîng e ku bi rêkûpêk daneyên perwerdehiyê nûve bikin da ku guheztina norm û nirxên civakê nîşan bidin.
2. Tespîtkirin û Nirxandina Bias: Pêşxistina rêbazên ji bo tespîtkirin û nirxandina alîgiriyê di modelên zimên de girîng e. Ev dikare bi karanîna metrîkên bias û pîvanan ve girêdayî be da ku hebûna û berbelavbûna biasê di hilberên modelê de binirxîne. Mînakî, lêkolîner dikarin amûrên wekî Testa Komeleya Têkelkirina Peyv (WEAT) bikar bînin da ku pêşbaziyên di bicîkirina peyvan de bipîvin.
3. Algorîtmayên Fairness-Aware: Bicîhanîna algorîtmayên haydar ên dadperweriyê dikare alîkariya kêmkirina alîgiriyê bike. Van algorîtmayan hatine sêwirandin da ku bicîh bikin ku encamên modelê dadperwer û bêalî ne. Mînakî, teknolojiyên wekî guheztina dijberî perwerdekirina modelê vedihewîne da ku encamên ku ji daneyên bêalî nayên cûda kirin çêbike.
4. Kontrolên birêkûpêk û zelalî: Kontrolkirina bi rêkûpêk modelên zimên ji bo alîgiriyê pêdivî ye. Ev dikare di nav komên demografîk ên cihêreng û rewşên karanîna de nirxandinên berbiçav ên performansa modelê pêk bîne. Zelalbûna di pêvajoya pêşkeftin û nirxandina modelê de jî girîng e, ji ber ku ew rê dide aliyên peywendîdar ku alîgirên potansiyel fam bikin û çareser bikin.
5. Nêzîktêdayînên Mirovan-di-The-Loop: Tevlîhevkirina çavdêriya mirovî di pêvajoya pêşkeftin û bicihkirina modelê de dikare alîkariya nasandin û sivikkirina alîgiran bike. Ev dikare bi vekolînên mirovî re têkildar be ku encamên modelê ji bo alîgiriyê binirxînin û ji bo safîkirina bêtir bertek peyda bikin.
Nimûneyên Bias Mitigation Di Praktîkê de
1. GPT-3 ya OpenAI: OpenAI di modela xwe ya GPT-3 de gelek tedbîr sepandiye ji bo çareserkirina neyartiyê. Di vê yekê de karanîna daneyên perwerdehiyê yên cihêreng, pêkanîna nirxandinên berfereh ên encamên modelê, û tevlêkirina bertekên ji lêkolînerên derveyî re vedihewîne. Digel vê yekê, OpenAI ji bo tespîtkirin û kêmkirina nelirêtiyê, wekî karanîna algorîtmayên haydar ên dadmendiyê, amûrên pêşdebir kiriye.
2. BERT ya Google: Google di modela xwe ya BERT de jî ji bo çareserkirina neyartiyê gav avêtiye. Ev tê de karanîna daneyên perwerdehiyê yên cihêreng û nûner, meşandina vekolînên birêkûpêk ên performansa modelê, û pêkanîna teknîkên ji bo tespîtkirin û kêmkirina alîgiriyê pêk tîne. Google di heman demê de hewl daye ku di pêvajoya pêşkeftina modelê de zelaliyê zêde bike.
3. Turing-NLG ya Microsoft: Modela Turing-NLG ya Microsoft-ê çend teknîkên kêmkirina neyartiyê vedihewîne, di nav de karanîna daneyên perwerdehiya cihêreng û algorîtmayên haydar ên dadperweriyê. Microsoft di heman demê de nirxandinên berfireh li ser encamên modelê pêk aniye û vekolînên birêkûpêk pêk aniye da ku dadperwerî û şefafiyê misoger bike.
Di modelên zimanî de berterefkirina alîgiran pirsgirêkek tevlihev û berdewam e ku nêzîkatiyek piralî hewce dike. Bi misogerkirina daneyên perwerdehiyê yên cihêreng û temsîlî, pêşxistina rêbazên ji bo tespîtkirin û nirxandina alîgiriyê, bicihanîna algorîtmayên haydar ên dadperweriyê, meşandina vekolînên birêkûpêk û parastina şefafiyê, û tevlêkirina çavdêriya mirovî, mimkun e ku alîgiriyan sivik bikin û modelên zimanî yên adil û wekhev pêş bixin.
Pirs û bersivên din ên vê dawiyê di derbarê EITC/AI/ADL Fêrbûna Kûr a Pêşkeftî:
- Pirsgirêkên bingehîn ên exlaqî yên ji bo pêşdebirina modelên AI û ML yên din çi ne?
- Meriv çawa dikare prensîbên nûjeniya berpirsiyar di pêşkeftina teknolojiyên AI-ê de were yek kirin da ku pê ewle bibe ku ew bi rengek ku sûdê dide civakê û zirarê kêm dike têne bicîh kirin?
- Fêrbûna makîneyê ya ku bi taybetmendiyê ve hatî rêve kirin çi rola dilîze di pêbaweriya ku torên neuralî hewcedariyên bingehîn ên ewlehî û zexmiyê têr dikin, û çawa dikarin van taybetmendiyan bêne bicîh kirin?
- Çawa dikare perwerdehiya dijber û rêbazên nirxandina bihêz ewlehî û pêbaweriya torên neuralî, nemaze di serîlêdanên krîtîk ên mîna ajotina xweser de, çêtir bikin?
- Nêrînên bingehîn ên exlaqî û xetereyên potansiyel ên ku bi bicihkirina modelên fêrbûna makîneya pêşkeftî re di serîlêdanên cîhana rastîn de têkildar in çi ne?
- Awantaj û tixûbên bingehîn ên karanîna Tora Dijbera Generative (GAN) li gorî modelên din ên hilberîner çi ne?
- Modelên guhêrbar ên dereng ên nûjen ên mîna modelên veguhêzbar (normalîzekirina herikandinê) çawa di modela hilberîner de di navbera eşkerebûn û veguheztinê de balans dikin?
- Xetereya ji nû veparameterîzasyonê çi ye, û çima ew ji bo perwerdehiya Xweseriya Veguhastî (VAE) girîng e?
- Encama guheztinê çawa perwerdehiya modelên bêserûber hêsan dike, û pirsgirêkên sereke bi wê re çi ne?
- Cûdahiyên sereke di navbera modelên xweser, modelên guhezbar ên dereng, û modelên nepenî yên mîna GAN-ê de di çarçoweya modela hilberîner de çi ne?
Pir pirs û bersivan di Fêrbûna Kûr a Pêşkeftî ya EITC/AI/ADL de bibînin