Inception Score

L'Inception Score (IS) és un algorisme que s'utilitza per avaluar la qualitat de les imatges creades per un model d'imatge generativa com una xarxa adversa generativa (GAN). La puntuació es calcula a partir de la sortida d'un model de classificació d'imatges Inceptionv3 preentrenat i separat aplicat a una mostra d'imatges (normalment unes 30.000) generades pel model generatiu. La puntuació inicial es maximitza quan es compleixen les condicions següents:

1. Es minimitza l'entropia de la distribució d'etiquetes predita pel model Inceptionv3 per a les imatges generades. En altres paraules, el model de classificació prediu amb confiança una sola etiqueta per a cada imatge. Intuïtivament, això correspon al desideratum que les imatges generades siguin "nítids" o "distintes".
2. Les prediccions del model de classificació es distribueixen uniformement en totes les etiquetes possibles. Això correspon al desideratum que la sortida del model generatiu és "diversa".

Ha estat una mica substituït per la distància inicial de Fréchet relacionada. Mentre que l'Inception Score només avalua la distribució de les imatges generades, el FID compara la distribució d'imatges generades amb la distribució d'un conjunt d'imatges reals ("veritat bàsica").

Definició

Que hi hagi dos espais, l'espai de les imatges $\Omega _{X}$ i l'espai de les etiquetes $\Omega _{Y}$ . L'espai de les etiquetes és finit.

Deixar $p_{gen}$ ser una distribució de probabilitat sobre $\Omega _{X}$ que volem jutjar.

Sigui un discriminador una funció del tipus

$$p_{dis}:\Omega _{X}\to M(\Omega _{Y})$$

on $M(\Omega _{Y})$ és el conjunt de totes les distribucions de probabilitat sobre $\Omega _{Y}$. Per a qualsevol imatge $x$, i qualsevol etiqueta $y$, deixar $p_{dis}(y|x)$ sigui la probabilitat que aquesta imatge $x$ té etiqueta $y$, segons el discriminador. Normalment s'implementa com una xarxa Inception-v3 entrenada a ImageNet. La puntuació inicial de $p_{gen}$ relatiu a $p_{dis}$ és

$$IS(p_{gen},p_{dis}):=\exp \left(\mathbb {E} _{x\sim p_{gen}}\left[D_{KL}\left(p_{dis}(\cdot |x)\|\int p_{dis}(\cdot |x)p_{gen}(x)dx\right)\right]\right)$$

Les reescriptures equivalents inclouen

$$\ln IS(p_{gen},p_{dis}):=\mathbb {E} _{x\sim p_{gen}}\left[D_{KL}\left(p_{dis}(\cdot |x)\|\mathbb {E} _{x\sim p_{gen}}[p_{dis}(\cdot |x)]\right)\right]$$

$$\ln IS(p_{gen},p_{dis}):=H[\mathbb {E} _{x\sim p_{gen}}[p_{dis}(\cdot |x)]]-\mathbb {E} _{x\sim p_{gen}}[H[p_{dis}(\cdot |x)]]$$

$\ln IS$ no és negatiu per la desigualtat de Jensen. Pseudocodi:

«

INPUT discriminador $p_{dis}$. INPUT generador $g$. Sample images $x_{i}$ from generator. Calcular p_{dis}(./x_i), la distribució de probabilitat sobre les la imatge x_i. Sumar els resultats per obtenir ${\hat {p}}$, una estimació empírica de $\int p_{dis}(x)dx$. Mostrejar més imatges $x_{i}$ del generador, i calcular D_{KL} \left(p_{dis}(\cdot | x_i) \| \hat p\right). Fer la mitjar dels resultats, i fer exponencial. RETORNA el resultat.

»

Interpretació

Una puntuació inicial més alta s'interpreta com a "millor", ja que significa això $p_{gen}$ és una col·lecció d'imatges "nítids i distintes".

$\ln IS(p_{gen},p_{dis})\in [0,\ln N]$, on $N$ és el nombre total d'etiquetes possibles.

$\ln IS(p_{gen},p_{dis})=0$ si per gairebé tots $x\sim p_{gen}$

$$p_{dis}(\cdot |x)=\int p_{dis}(\cdot |x)p_{gen}(x)dx$$

Això significa $p_{gen}$ és completament "indistint". És a dir, per a qualsevol imatge $x$ mostrat de $p_{gen}$, el discriminador retorna exactament les mateixes prediccions d'etiquetes $p_{dis}(\cdot |x)$.La puntuació inicial més alta $N$ s'aconsegueix si i només si les dues condicions són certes:

• Per quasi tots , la distribució es concentra en una sola etiqueta. Això és, . És a dir, cada imatge presa de mostres està exactament classificat pel discriminador.
• Per a cada etiqueta , la proporció d'imatges generades etiquetades com a és exactament . És a dir, les imatges generades es distribueixen per igual en totes les etiquetes.