Eredu diskriminatzaile

Eredu diskriminatzaileak, baldintzapeko eredutzat ere hartzen direnak, sailkatzeko maiz erabiltzen diren eredu-motak dira. Normalean sailkapen bitarreko arazoak konpontzeko erabiltzen dira, hau da, dauden "datapointei" etiketak emateko, hala nola pasa/huts egin, irabazi/galdu, bizirik/hil edo osasuntsu/gaixo.

Eredu diskriminatzaileen artean erregresio logistiko (LR), baldintzapeko eremu aleatorioak (CRF), erabakiguneak daude beste askoren artean , etab. Eredu generatiboak probabilitate-banaketa bateratua erabiltzen du, hala nola, Naive Bayes sailkatzaile, Gaussiako nahasketa-ereduak, autokodegailu aldakorrak, sare antisorgailu generatiboak.

Definizioa

Modelizazio generatiboan ez bezala, honek baterako probabilitatea aztertzen du; hau da, P(x,y). Eredu diskriminatzaileko ikasketetan, ordea, baldintzatutako probabilitatea aztertzen da, P(y∣x), helburu aldagaia (y) kontuan hartzen duen eredua osatzeko. Adibidez, objektuen errekonozimenduan, x irudi baten pixel gordinen bektorea izan daiteke edo pixel horietatik ateratako ezaugarriak. Probabilitate-esparru batean, probabilitate banaketa baldintzatua modelatuz egiten da: P(y∣x). Banaketa baldintzatu hau erabiltzen da y iragartzeko x-tik abiatuta. Nahiz eta eredu baldintzatuak eredu diskriminatzaileetatik bereiz daitezkeen, sarritan azken hauen kategorian sartzen direla.

Eredu diskriminatzaile hutsa vs. eredu baldintzatua

Eredu baldintzatzaile batek probabilitatearen banaketa baldintzatua ezartzen du,berrizm eredu diskriminatzaile tradizionalak sarrerako kartografia optimizatzea du helburu, lagin trebatu antzekoenen inguruan.^[1]

Eredu diskriminatzaileen ikuspegi tipikoa

Hurrengo planteamendua prestakuntzari buruzko datuak ematean oinarritzen da. D = { (xi,yi) ∣ i ≤ N,i ∈ Z} non $y_{i}$ sarreraren irteera da eta $x_{i}$ sarrera.^[2]

Sailkatzaile lineala

Erabili nahi dugun funtzioa $f(x)$ da, entrenamendu-datuetan ikusten dugunaren portaera simulatzeko sailkatze linealaren bidez. Ezaugarri bateratuaren bektorea, $\phi (x,y)$ , erabiliz, honela definitzen da erabaki-funtzioa:

$f(x;w)=\operatorname {arg\,max} _{y}\,w^{T}\phi (x,y)$

Memisevicen interpretazioaren arabera^[2], $w^{T}\phi (x,y)$ hau ere puntuazio-funtzio bat da, $c(x,y,w)$ , Ekarpenaren bateragarritasuna neurtzen duen puntuazioa kalkulatzen du, $x$ irteera potentzialarekin eta $y$ inputarekin. Gero, $argmax$ funtzioak puntuazio handiena duen klasea zehazten du.

Erregresio logistikoa (LR)

0-1 galeraren funtzioa erabakiaren teorian erabili ohi den bat denez, Probabilitate-banaketa baldintzatua, $P(y|x;w)$ , $w$ prestakuntza-datuak optimizatzeko parametroen bektore bat denean, erregresio logistikoaren eredurako honako hau kontsidera liteke:

$P(y|x;w)={\frac {1}{Z(x;w)}}\exp(w^{T}\phi (x,y))$

$Z(x;w)=\sum _{y}\exp(w^{T}\phi (x,y))$

Goiko ekuazioak Erregresio logistikoa adierazten du. Ikus daiteke ereduen arteko bereizketa handi bat ondorengo probabilitatea sartzeko modua dela. Ondorengo probabilitatea eredu parametrikotik ateratzen da. Orduan parametroa maximiza dezakegu ekuazio honen bidez:

$L(w)=\sum _{i}\log p(y^{i}|x^{i};w)$

Ondorengo log_galera ekuazioak ere ordezka lezake:

$l^{\log }(x^{i},y^{i},c(x^{i};w))=-\log p(y^{i}|x^{i};w)=\log Z(x^{i};w)-w^{T}\phi (x^{i},y^{i})$

Log-galera bereiz daitekeenez, eredua optimizatzeko gradientean oinarritutako metodo bat erabil daiteke. Optimo global bat bermatzen da funtzio objektiboa ganbila delako. Enbor-egiantzaren gradientea honela adierazten da:

${\frac {\partial L(w)}{\partial w}}=\textstyle \sum _{i}\displaystyle \phi (x^{i},y^{i})-E_{p(y|x^{i};w)}\phi (x^{i},y)$ non $E_{p(y|x^{i};w)}$ espero izango da $P(y|x^{i};w)$

Aurreko metodoak sailkapen-kopuru erlatibo txikia eraginkortasunez zenbatzea ekarriko du.

Eredu generatiboarekin kontrastea

Kontrastea planteamenduetan

Demagun $m$ klaseko etiketak (sailkapena) eta $n$ ezaugarri aldagaiak ematen dizkigutela. $Y:{y_{1},y_{2},\ldots ,y_{m}\},X:\{x_{1},x_{2},\ldots ,x_{n}\}}$ , entrenamenduaren lagin gisa.

Eredu generatibo batek $P(x,y)$ probabilitate bateratua hartzen du, non $x$ sarrera den eta $y$ etiketa den, eta etiketarik ezagunena iragartzen du ${\tilde {y}}\in Y$ ${\tilde {x}}$ aldagai ezezagunarentzat, Bayesen teorema erabiliz.^[3]

Eredu diskriminatzaileek, Eredu generatiboek ez bezala, ez dute uzten aldagai behatu eta objektiboen banaketa bateratutik laginak sortzen. Hala ere, banaketa bateratua eskatzen ez duten sailkapen eta erregresio-analisi eginkizunetarako, eredu diskriminatzaileek errendimendu handiagoa eman dezakete (neurri batean, kontuan hartu beharreko aldagai gutxiago dituztelako)^[3]. Bestalde, eredu generatiboak eredu diskriminatzaileak baino malguagoak izan ohi dira ikaskuntza-lan konplexuetan mendekotasunak adieraztean. Gainera, eredu diskriminatzaile gehienak bere baitan gainbegiratzen dira, eta ezin diote erraz eutsi gainbegiratu gabeko ikaskuntzari. Aplikazioari buruzko xehetasunek, azken batean, eredu generatiboaren aurrean diskriminatzaile bat hautatzeko egokitasuna adierazten dute.

Eredu diskriminatzaileak eta eredu generatiboak ere desberdinak dira ondorengo aukera ezartzean^[4]. Eredu diskriminatzailean, ondorengo probabilitatea, $P(y|x)$ , eredu parametriko batetik ateratzen da, non parametroak entrenamenduaren datuetatik datozen. Parametroen zenbatespen-puntuak probabilitatearen maximizaziotik edo parametroen gaineko banaketaren zenbaketatik lortzen dira. Bestalde, kontuan hartuta eredu generatiboak probabilitate bateratuan oinarritzen direla, klasearen ondorengo probabilitatea $P(k)$ Bayesen teorematzat hartzen da, hau da,

$P(y|x)={\frac {p(x|y)p(y)}{\textstyle \sum _{i}p(x|i)p(i)}}={\frac {p(x|y)p(y)}{p(x)}}$ ^[5]

Abantailak eta desabantailak aplikazioan

Errepikatutako esperimentuetan, erregresio logistikoa eta Naive Bayes eredu desberdinetarako aplikatzen dira sailkapen bitarreko zereginean, ikaskuntza diskriminatzaileak errore asintotiko baxuagoak sortzen ditu, eta sortzaileak, berriz, errore asintotiko altuagoak eta azkarragoak^[3]^[6] ^[5]. Hala ere, Ulusoy eta Bishop ikertzaileek, Comparison of Generative and Discriminative Techniques for Object Detection and Classification artikuluan baterako lanean baieztapen hori egia dela diote soilik eredua datuetarako egokia denean (hau da, datuen banaketa eredu sortzaileak modelatzen du).

Abantailak

Diskriminazio-ereduak erabiltzearen abantaila nagusiak hauek dira:

Zehaztasun handiagoa, kasu gehienetan ikaskuntza-emaitza hobea izatera eramaten duena.
Sarrera sinplifikatzeko aukera ematen du, eta $P(y|x)$ .
Aurreztu kalkulu-baliabideak.
Akats asintotiko txikiagoak sortzen ditu.

Modelatze sortzailea erabiltzearen abantailekin alderatuta:

Datu guztiak hartzen ditu kontuan, eta horrek prozesamendu motelagoa ekar lezake, desabantaila gisa.
Entrenamendu-lagin gutxiago behar dira.
Esparru malgua, aplikazioaren beste premia batzuekin erraz lankidetzan aritzeko modukoa.

Desabantailak

Entrenamendu-metodoak zenbakizko optimizazio-teknika ugari behar izaten ditu^[1]

Era berean, definizioaren arabera, eredu diskriminatzaileak azpizeregin anitzen konbinazioa beharko du mundu errealeko arazo konplexu bat konpontzeko.^[2]

Optimizazioak aplikazioetan

Bi modelatze-moduek abantailak eta eragozpenak dituztenez, bi ikuspegien konbinazioa ondo modelatuko da praktikan. Adibidez, Marras A Joint Discriminative Generative Model for Deformable Model Construction and Classification artikuluan, ^[7] berak eta bere egilekideek modelatutako bi konbinazioa aplikatzen dira modeloen aurpegien sailkapenean, eta doitasun handiagoa lortzen dute ikuspegi tradizionalarekin alderatuz.

Antzera, Kelmek^[8] pixelak sailkatzeko bi modelaturen konbinazioa ere proposatu zen Combining Generative and Discriminative Methods for Pixel Classification with Multi-Conditional Learning artikuluan.

Taldekatu aurreko ezaugarri diskriminatzaileak erauzteko prozesuan, osagai nagusien analisia (PCA), normalean erabiltzen bada ere, ez da nahitaez ikuspegi diskriminatzailea. Aitzitik, azterketa lineal diskriminatzailea ikuspegi diskriminatzailea da^[9], eta lehen aipatu ditugun desabantailak ezabatzeko modu eraginkorra ematen du. Dakigunez, eredu diskriminatzaileak azpizeregin anitzen konbinazioa behar du sailkapena egin aurretik, eta LDAk konponbide egokia ematen dio arazo horri dimentsioa murriztuz.

Motak

Hona hemen eredu diskriminatzaileen adibideak:

Erregresio logistikoa, emaitza bitarrak edo kategorikoak iragartzeko erabiltzen den erregresio lineal orokor mota bat (entropia maximoko sailkatzaile ere esaten zaio).
Boosting (metaalgoritmo)
Zorizko eremu baldintzatuak
Erregresio lineala
Random Forest

Erreferentziak

↑ ^a ^b Ballesteros, Miguel. "Discriminative Models" (PDF). Retrieved October 28, 2018
↑ ^a ^b ^c Memisevic, Roland (December 21, 2006). "An introduction to structured discriminative learning". Retrieved October 29, 2018.
↑ ^a ^b ^c Ng, Andrew Y.; Jordan, Michael I. (2001). On Discriminative vs. Generative classifiers: A comparison of logistic regression and naive Bayes
↑ Ulusoy, Ilkay (May 2016) "Comparison of Generative and Discriminative Techniques for Object Detection and Classification" (PDF). Microsoft. Retrieved October 30, 2018
↑ ^a ^b J. Lafferty, A. McCallum, and F. Pereira. Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data. In ICML, 2001.
↑ Singla, Parag; Domingos, Pedro (2005)."Discriminative Training of Markov Logic Networks". Proceedings of the 20th National Conference on Artificial Intelligence - Volume 2. AAAI'05. Pittsburgh, Pennsylvania: AAAI Press: 868–873. ISBN 978-1577352365.
↑ Marras, Ioannis (2017). "A Joint Discriminative Generative Model for Deformable Model Construction and Classification" (PDF). Retrieved 5 November 2018.
↑ Kelm, B. Michael. (PDF). "Combining Generative and Discriminative Methods for Pixel Classification with Multi-Conditional Learning" Archived from the original (PDF) on 17 July 2019. Retrieved 5 November 2018.ombining Generative and Discriminative Methods for Pixel Classification with Multi-Conditional Learning
↑ Wang, Zhangyang (2015)."A Joint Optimization Framework of Sparse Coding and Discriminative Clustering" (PDF). Retrieved 5 November 2018.

[:0-1] Ballesteros, Miguel. "Discriminative Models" (PDF). Retrieved October 28, 2018

[:1-2] Memisevic, Roland (December 21, 2006). "An introduction to structured discriminative learning". Retrieved October 29, 2018.

[:2-3] Ng, Andrew Y.; Jordan, Michael I. (2001). On Discriminative vs. Generative classifiers: A comparison of logistic regression and naive Bayes

[4] Ulusoy, Ilkay (May 2016) "Comparison of Generative and Discriminative Techniques for Object Detection and Classification" (PDF). Microsoft. Retrieved October 30, 2018

[:3-5] J. Lafferty, A. McCallum, and F. Pereira. Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data. In ICML, 2001.

[6] Singla, Parag; Domingos, Pedro (2005)."Discriminative Training of Markov Logic Networks". Proceedings of the 20th National Conference on Artificial Intelligence - Volume 2. AAAI'05. Pittsburgh, Pennsylvania: AAAI Press: 868–873. ISBN 978-1577352365.

[7] Marras, Ioannis (2017). "A Joint Discriminative Generative Model for Deformable Model Construction and Classification" (PDF). Retrieved 5 November 2018.

[8] Kelm, B. Michael. (PDF). "Combining Generative and Discriminative Methods for Pixel Classification with Multi-Conditional Learning" Archived from the original (PDF) on 17 July 2019. Retrieved 5 November 2018.ombining Generative and Discriminative Methods for Pixel Classification with Multi-Conditional Learning

[9] Wang, Zhangyang (2015)."A Joint Optimization Framework of Sparse Coding and Discriminative Clustering" (PDF). Retrieved 5 November 2018.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]