Elkarrekiko informazioa bi zorizko aldagaik partekatzen duten informazio kantitatearen neurria da informazio teorian. Beste modu batera esanda, zorizko aldagai bat aztertuz beste aldagaiari buruz lortzen den informazio kantitatea da. Bi aldagaien arteko mendekotasuna neurtzen du. Horrek guztiak entropiaren kontzeptua du oinarrian.[1]
Entropien eta elkarrekiko informazioaren arteko harremana erakusten duen
Venn diagrama
Formalki,
eta
zorizko aldagai diskretuen elkarrekiko informazioa horrela defini daiteke:

non
eta
aldagaien baterako probabilitate funtzioa den eta
eta
eta
aldagaien bazterreko probabilitateen (marjinalen) funtzioak, hurrenez hurren.
Aldagaiak jarraiak badira, batukaria integral mugatu batez ordezkatzen da:[2]

non
eta
aldagaien baterako dentsitate funtzioa den eta
eta
eta
aldagaien bazterreko dentsitate funtzioak (marjinalak), hurrenez hurren.
Logaritmo funtzioa 2 oinarrian erabiltzen bada, elkarrekiko informazioa bitetan neurtuko da.
Intuitiboki,
elkarrekiko informazioak
eta
aldagaiek partekatzen duten informazioa neurtzen du; zehazki, aldagai bati buruzko informazioa izateak beste aldagaiaren ziurgabetasuna (entropia) zenbat txikitzen duen neurtzen du.
Aldagaiak independenteak badira, bat ezagutzeak ez du besteari buruzko informaziorik emango eta ondorioz, haien arteko elkarrekiko informazioa zero da. Beste muturrean, bi aldagaiak berdinak badira, informazio guztia partekatzen dute eta beraz, bata ezagutuz gero bestea ere ezaguna bihurtzen da. Hori dela eta, haien
elkarrekiko informazioa haietako baten (
ren edo
ren) ziurgabetasuna (entropia) izango da; bi aldagaiak berdinak badira, entropia bera dute, noski.
Hortaz, elkarrekiko informazioak mendekotasuna neurtzen du zentzu honetan:
da baldin eta soilik baldin
eta
zorizko aldagaiak independenteak badira. Izan ere,
eta
independenteak direnean,
betetzen da, eta ondorioz:

- Ez-negatibotasuna.

- Simetria.

Elkarrekiko informazioa horrela ere adieraz daiteke:

non
eta
bazter-entropiak (edo entropia marjinalak) diren,
eta
baldintzazko entropiak diren eta
baterako entropia den. Venn-en diagramaren bidez ikus daiteke kontzeptu horien eta multzoen arteko bilduraren, ebakiduraren eta diferentziaren arteko parekotasuna.
Komunikazio-kanal baten testuinguruan adibidez, irteerako
seinalea sarrerako
ren bertsio zaratatsua dela interpretatuz gero, irudian azaltzen da kontzeptu horien interpretazioa zein izango litzatekeen.
Informazio teoriako kantitateen arteko erlazioa
denez,
erlaziotik
ondorioztatzen da.
ren definiziotik abiatuz, ondoren zehazten diren urratsei jarraituz lortzen da
erlazioa:

Atalaren hasieran aipatutako gainerako identitateen frogak ere antzeko moduan egiten dira.
erlazioa modu intuitiboan horrela interpreta daiteke:
entropiak
aldagaiaren ziurgabetasuna neurtzen badu, orduan
baldintzazko entropiak
ezagutu ondoren oraindik
aldagaiari buruz geratzen den ziurgabetasuna neurtzen du. Hortaz, berdintzaren eskuin aldeko kenketa horrela interpreta daiteke:
ezagutzeak eragindako
-ren ziurgabetasunaren murrizketa. Ideia hori bat dator
elkarrekiko informazioaren esanahi intuitiboarekin: aldagai bat ezagutzeak beste aldagaiari buruz ematen duen informazioa (murrizten duen ziurgabetasuna).
Bi aldagaiak berdinak diren kasuan,
denez,
betetzen da. Hortaz,
baiezta daiteke, hau da, aldagai batek bere buruari buruz ematen duen informazioa gutxienez beste edozein aldagaik ematen duena adinakoa da.
Batzuetan beharrezkoa gertatzen da bi zorizko aldagairen elkarrekiko informazioa kalkulatzea, hirugarren aldagai baten baldintzapean.
![{\displaystyle {\begin{aligned}&{}\operatorname {I} (X,Y|Z)=\mathbb {E} _{Z}{\big (}\operatorname {I} (X,Y)|Z{\big )}=\\&{}\sum _{z\in Z}\sum _{y\in Y}\sum _{x\in X}{p_{Z}(z)\,p_{X,Y|Z}(x,y|z)\log \left[{\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}\,(x|z)p_{Y|Z}(y|z)}}\right]},\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/666675beef8604a8c56ddc4edb49f0ffb1aa3c2d)
Sinplifikatuz, zera lortzen da:

,
eta
zorizko aldagai diskretuen baterako banaketak izanik, bi aldagairen arteko elkarrekiko informazioa hirugarren aldagai bati baldintzatzeak hura handitu ala txikitu dezake, baina beti beteko da:

Elkarrekiko informazioaren formulazio tradizionalean,

bikotearen bidez adierazitako gertakaria dagokion
probabilitatearen bidez haztatzen da. Horrek esan nahi du, gertakariak haien artean baliokideak direla, gertatzeko duten probabilitatean izan ezik. Baina zenbait aplikaziotan gertakari guztiek ez dute garrantzia maila bera.
Hori kontuan hartu ahal izateko,
pisuak erabiltzen dira:

funtzioa
probabilitateari biderkatuz, gertakarien probabilitate batzuek beste batzuei baino garrantzi handiagoa izatea lortzen da.
Elkarrekiko informazioa maximizatzea helburu duten aplikazio asko aurki daitezke. Funtsean mendekotasuna txikitzea da helburua, hau da, baldintzazko entropia txikitzea. Hona hemen batzuk:
- Web bilatzaileetan, esaldien eta testuinguruaren arteko elkarrekiko informazioa erabiltzen da kontzeptuak (multzo semantikoak) aurkitzeko.
- Biokimikan, ARN eta ADN sekuentziak ikertzeko eta sekuentzien arteko erlazioak aurkitzeko.
- Ikasketa automatikoan, aldagaien aukeraketarako atazan erabiltzen da, esanguratsuak diren aldagaiak edota erredundanteak direnak aurkitzeko, irudi baten ezaugarri garrantzitsuenak zein diren erabakitzeko, etab.
- Medikuntzan, irudien tratamenduan.
- ↑ Dan C. Marinescu, Gabriela M. Marinescu, "Classical and Quantum Information",Academic Press 2012
- ↑ Ranajan M. Bose,"Information Theory, Coding And Cryptography". Tata McGraw Hill 2008