Entropiya binary ji entropiya klasîk çawa cûda dibe, û ew ji bo guhêrbarek binerd a bi du encaman çawa tê hesibandin?
Entropiya binary, ku wekî entropiya Shannon jî tê zanîn, di teoriya agahdarî de têgehek e ku nediyarbûn an bêserûberiya guhêrbarek dudengî bi du encaman dipîve. Ew ji entropiya klasîk cûda dibe ku ew bi taybetî li ser guhêrbarên binaryê tê sepandin, lê entropiya klasîk dikare li guhêrbarên bi her hejmarek encam re were sepandin.
Ji bo têgihîştina entropiya binar, divê em pêşî têgeha entropy bixwe fam bikin. Entropî pîvanek navînî ya agahdarî an nezelaliyê ye ku di guhêrbarek rasthatî de heye. Ew jimare dike ku encamên guhêrbarek bêserûber çiqasî nepêşbînbar in. Bi gotinek din, ew ji me re vedibêje ku em dikarin çiqas "sûrprîz" hêvî bikin dema ku em li encamên guhêrbarek random temaşe dikin.
Di rewşa guhêrbarek binerî ya bi du encaman de, werin em van encaman wekî 0 û 1 destnîşan bikin. Entropiya binary a vê guhêrbar, ku wekî H(X) tê destnîşan kirin, bi formula tê hesibandin:
H(X) = -p(0) * log2(p(0)) – p(1) * log2(p(1))
ku p(0) û p(1) îhtîmala dîtina encamên 0 û 1 in. Logarîtma li bingeha 2 tê girtin da ku pê ewle bibe ku nirxa entropiya encam bi bit tê pîvandin.
Ji bo hesabkirina entropiya binary, pêdivî ye ku em îhtimalên du encaman diyar bikin. Heke îhtimal wekhev bin, ango p(0) = p(1) = 0.5, wê demê entropiya binaryê herî zêde dibe, ku nezelaliya herî zêde nîşan dide. Ev ji ber ku her du encam jî bi heman rengî îhtîmal in, û em nikanin pêşbînî bikin ku dê kîjan çêbibe. Di vê rewşê de, entropiya binary H(X) = -0.5 * log2 (0.5) - 0.5 * log2 (0.5) = 1 bit.
Ji hêla din ve, heke encamek ji ya din muhtemeltir be, entropiya binary kêm dibe, ku nezelaliyek kêmtir nîşan dide. Mînakî, heke p(0) = 0.8 û p(1) = 0.2, entropiya binar H(X) = -0.8 * log2(0.8) – 0.2 * log2(0.2) ≈ 0.72 bit e. Ev tê vê wateyê ku, bi navînî, ji me re kêmtirî yek bit agahiyek hewce ye ku encamên vê guhêrbara rasthatî ya binary temsîl bike.
Girîng e ku were zanîn ku entropiya binary her gav ne-neyînî ye, ango ew ji sifirê mezintir an wekhev e. Dema ku îhtimalên her du encaman wekhev bin ew herî zêde dibe û dema ku encamek îhtimalek 1 û ya din îhtimalek 0 hebe kêm dibe.
Entropiya binary nezelaliyê an jî rasthatiniya guhêrbarek rasthatî ya binary bi du encaman dipîve. Ew bi formula -p (0) * log2 (p (0)) - p (1) * log2 (p (1)) tê hesibandin, ku p (0) û p (1) îhtîmalên du encaman in. . Nirxa entropiyê ya encam bi bîtan tê pîvandin, bi nirxên bilindtir nezelaliya mezintir û nirxên kêmtir jî nezelaliya kêmtir nîşan dide.
Pirs û bersivên din ên vê dawiyê di derbarê Entropiya klasîk:
- Têgihîştina entropiyê çawa beşdarî sêwirandin û nirxandina algorîtmayên krîptografîk ên bihêz di warê ewlehiya sîber de dibe?
- Nirxa herî zêde ya entropiyê çi ye, û kengê tê bidestxistin?
- Di bin çi şert û mercan de entropiya guherbareke tesadufî ji holê radibe, û ev di derbarê guherbarê de çi tê wateya?
- Taybetmendiyên matematîkî yên entropiyê çi ne, û çima ew ne-neyînî ye?
- Entropiya guhêrbarek çawa diguhere dema ku ihtimal di navbera encaman de bi rengek wekhev tê dabeş kirin li gorî dema ku ew berbi yek encamê ve girêdayî ye?
- Têkiliya di navbera dirêjahiya çaverêkirî ya peyvên kod û entropiya guhêrbarek rasthatî de di kodkirina dirêjahiya guhêrbar de çi ye?
- Vebêjin ka têgeha entropiya klasîk çawa di nexşeyên kodkirina dirêjahiya guhêrbar de ji bo şîfrekirina agahdariya bikêr tê bikar anîn.
- Taybetmendiyên entropiya klasîk çi ne û ew çawa bi îhtîmala encaman re têkildar e?
- Entropiya klasîk çawa di pergalek diyarkirî de nediyarbûn an jî rasthatiniyê dipîve?