Regressió logística multinomial

En estadística, la regressió logística multinomial és un mètode de classificació que generalitza la regressió logística a problemes multiclasse, és a dir, amb més de dos possibles resultats discrets. És a dir, és un model que serveix per predir les probabilitats dels diferents resultats possibles d'una variable dependent distribuïda categòricament, donat un conjunt de variables independents (que poden ser de valor real, binari, categòric, etc.).

La regressió logística multinomial es coneix amb una varietat d'altres noms, incloent LR politòmica, LR multiclasse, regressió softmax, logit multinomial (mlogit), classificador d'entropia màxima (MaxEnt) i model d'entropia màxima condicional.

Rerefons

La regressió logística multinomial s'utilitza quan la variable dependent en qüestió és nominal (equivalentment categòrica, és a dir, que es troba en qualsevol d'un conjunt de categories que no es poden ordenar de cap manera significativa) i per a la qual hi ha més de dues categories. Alguns exemples serien:

• Quina carrera triarà un estudiant universitari, tenint en compte les seves qualificacions, els agrada i no els agrada, etc.?
• Quin tipus de sang té una persona, tenint en compte els resultats de diverses proves diagnòstiques?
• En una aplicació de marcatge de telèfons mòbils amb mans lliures, el nom de quina persona es va pronunciar, tenint en compte diverses propietats del senyal de parla?
• Per quin candidat votarà una persona, tenint en compte les característiques demogràfiques particulars?
• A quin país una empresa ubicarà una oficina, tenint en compte les característiques de l'empresa i dels diferents països candidats?

Tots aquests són problemes de classificació estadística. Tots tenen en comú una variable dependent a predir que prové d'un conjunt limitat d'elements que no es poden ordenar de manera significativa, així com un conjunt de variables independents (també conegudes com a característiques, explicadores, etc.), que s'utilitzen. per predir la variable dependent. La regressió logística multinomial és una solució particular als problemes de classificació que utilitzen una combinació lineal de les característiques observades i alguns paràmetres específics del problema per estimar la probabilitat de cada valor particular de la variable dependent. Els millors valors dels paràmetres per a un problema determinat es determinen normalment a partir d'algunes dades d'entrenament (per exemple, algunes persones de les quals es coneixen tant els resultats de les proves de diagnòstic com els grups sanguinis, o alguns exemples de paraules conegudes que es pronuncien).

Model

Introducció

Hi ha múltiples maneres equivalents de descriure el model matemàtic subjacent a la regressió logística multinomial. Això pot dificultar la comparació de diferents tractaments del tema en diferents textos. L'article sobre regressió logística presenta una sèrie de formulacions equivalents de regressió logística simple, i moltes d'elles tenen anàlegs en el model logit multinomial.

La idea darrere de totes elles, com en moltes altres tècniques de classificació estadística, és construir una funció predictora lineal que construeixi una puntuació a partir d'un conjunt de pesos que es combinen linealment amb les variables explicatives (característiques) d'una observació determinada mitjançant un producte escalat:

$\operatorname {score} (\mathbf {X} _{i},k)={\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i},$

on X_i és el vector de variables explicatives que descriuen l'observació i, β_k és un vector de pesos (o coeficients de regressió) corresponents al resultat k, i score( X_i, k) és la puntuació associada a assignar l'observació i a la categoria k. En la teoria de l'elecció discreta, on les observacions representen persones i els resultats representen opcions, la puntuació es considera la utilitat associada amb la persona i que tria el resultat k. El resultat previst és el que té la puntuació més alta.