Baldintzazko entropia

Wikipedia, Entziklopedia askea
Jump to navigation Jump to search

Informazioaren teorian baldintzazko entropiak zera neurtzen du: zorizko aldagaiaren balioa ezaguna izanik, zorizko aldagaia deskribatzeko behar den informazio kantitatea. Entropia kontzeptuaren hedapen bat da.

Definizioa[aldatu | aldatu iturburu kodea]

zorizko aldagai diskretuak balioa hartzearen baldintzapean zorizko aldagai diskretuaren entropia notazioaz adierazten da.

aldagaiaren probabilitate-funtzioa izanik, haren entropia (ez baldintzazkoa) horrela definitzen da: , hau da, informazio-kantitatearen itxaropen matematikoa. Kalkuluak eginez, zera lortzen da:

izanik aldagaiak balioa hartzeak ematen duen informazio kantitatea.

Antzeko moduan, baina baldintzazko itxaropen matematikoa erabiliz, defini daiteke zorizko aldagai diskretuak balioa hartzearen baldintzapean zorizko aldagai diskretuak duen entropia:

aldagaiaren balio posible guztietarako balioen batez besteko haztatua kalkulatuz lortzen da baldintzazko entropia.

Konbenioa: eta espresioen emaitza zero dela onartzen da, izanik.

Propietateak[aldatu | aldatu iturburu kodea]

  • Oro har, betetzen da. eta aldagaiak elkarrekiko independenteak badira, betetzen da.
  • eta aldagaiak elkarren mendekoak badira, betetzen da, hau da, baldintzazko entropia zero izango da, aldagaiaren balioa ezagutzearen ondorioz aldagaia erabat zehaztuta geratzen bada.
  • Aurreko propietatetik ondoriozta daiteke betetzen dela.
  • Bayesen teoremaren arabera, zera betetzen da:
  • betetzen da, izanik eta aldagaien elkarrekiko informazioa.

Ikus, gainera[aldatu | aldatu iturburu kodea]