绿色健康小清新

耐得住寂寞,守得住繁华

李宏毅机器学习-40-GAN-05-General Framework of GAN

General Framework of GAN

上节在讲原文GAN的时候,提到我们实际是在用Discriminator来衡量两个数据的分布之间的JS divergence,那能不能是其他类型的divergence来衡量真实数据和生成数据之间的差距?又如何进行衡量?(虽然在实作上用不同divergence结果没有很大差别)

李老师原话:在数学上感觉非常的屌


在开始讲fGAN之前,需要先补充两个基础知识,f-divergence和Fenchel Conjugate。为什么要讲它们,后面会提到。

f-divergence(通用的divergence模型)

任意的divergence都可以用来衡量真实数据和生成数据之间的差距,用f-divergence进行衡量的算法就叫fGAN。先来看看f-divergence的概念:

假设有两个分布 P 和 Q,p(x) 和 q(x) 分别代表样本 x 从这两个分布中采样出来的概率,则能定义 P 和 Q 之间的 f-divergence 为:

Df(PQ)=xq(x)f(p(x)q(x))dxD_f(P||Q) = \int_xq(x)f(\frac{p(x)}{q(x)})dx

其中对于函数 f(x) 有两个要求:

  1. f 要求是凸函数
  2. 要求 f(1)=0

更换不同的函数 f(x),就能得到不同的 f-divergence。

为什么这个式子可以用来衡量 P 和 Q 之间的差异呢?它有以下几个特点:

  • 如果对于所有的 x,有 p(x)=q(x),那么 Df(PQ)=xq(x)f(1)dx=0D_f(P||Q) = \int_xq(x)f(1)dx = 0 。原因很简单,f(1)=0。
  • 恒定的,有Df(PQ)0D_f(P||Q)≥0 。因为 f(x) 是一个凸函数,所以有

Df(PQ)=xq(x)f(p(x)q(x))dxf(xq(x)p(x)q(x)dx)=f(xp(x)dx)=f(1)=0\begin{aligned} D_f(P||Q) = \int_xq(x)f(\frac{p(x)}{q(x)})dx ≥ & f(\int_xq(x)\frac{p(x)}{q(x)}dx) \\ = & f(\int_xp(x)dx) \\ = & f(1)\\ = & 0 \end{aligned}

因此,Df(PQ)D_f(P||Q) 可用来对 P 和 Q 之间差距作出衡量。

下面列举几个常见的 f(x) 取值及其得到的 f-divergence。


Fenchel Conjugate(凸共轭)

每一个凸函数都有一个共轭函数(conjugate function),记为 ff^* ,长这样:

f(t)=maxxdom(f){xtf(x)}f^*(t) = \max\limits_{x∈dom(f)}\{xt-f(x)\}

在这个函数中,t 是自变量,就是说带一个值 t 到ff^* 里面,穷举所有的x,看看哪个x可以使得ff^* 最大。

比较笨的穷举法如下:

另外一种方法:函数xtf(x)xt-f(x)是直线,我们带不同的xx得到不同的直线,例如下面有三条直线:

然后找不同的t对应的最大值。(就是所有直线的upper bound)

上面的红线无论你如何画,最后都是convex的。

看个例子,假设:f(x)=xlogxf(x) = xlogx,把x=0.1,x=1,x=10x=0.1,x=1,x=10带入,结果如图所示:

红线最后接近:

f(t)=et1f^*(t) = e^{t-1}

下面是数学证明:

假设f(x)=xlogxf(x) = xlogx,则:

f(t)=maxxdom(f){xtf(x)}=maxxdom(f){xtxlogx}f^*(t) = \max\limits_{x∈dom(f)}\{xt-f(x)\} = \max\limits_{x∈dom(f)}\{xt-xlogx\}

令上式中xtxlogx=g(x)xt-xlogx = g(x),给一个t,求得最大的g(x)

如何求呢?求极值,就是用g(x)对x进行求导等于0:

g(x)=tlogx1=0   =>   x=et1g'(x) = t-logx - 1 = 0 \ \ \ => \ \ \ x=e^{t-1}

把上面内容代入公式f(t)f^*(t)

f(t)=xtxlogx=et1×tet1×(t1)=et1f^*(t) = xt- xlogx = e^{t-1}×t-e^{t-1}×(t-1) = e^{t-1}

一般化后:

(f)=f(f^*)^* = f

对于共轭函数,还有一个性质,就是共轭函数是相互的,也就是对每一对共轭函数来说,有:

f(t)=maxxdom(f){xtf(x)}f(x)=maxtdom(f){xtf(t)}f^*(t) = \max\limits_{x∈dom(f)}\{xt-f(x)\} ←→f(x) = \max\limits_{t∈dom(f)}\{xt-f^*(t)\}


Connection with GAN

上面的内容到底和GAN有什么关系呢?

我们假设有一个divergence:

Df(PD)=xq(x)f(p(x)q(x))dx=xq(x)(maxtdom(f){p(x)q(x)tf(t)})dxD_f(P||D) = \int_xq(x)f(\frac{p(x)}{q(x)})dx = \int_xq(x)\left(\max\limits_{t∈dom(f^*)}\{\frac{p(x)}{q(x)}t-f^*(t)\}\right)dx

接下来,我们学习一个function D,这个D的输入是x, 输出是t,我们将t用D(x)替代,同时我们去掉max的概念,改为 ,那么上式可改写为:

Df(PD)xq(x)(p(x)q(x)D(x)f(D(x)))dx=xp(x)D(x)dxxq(x)f(D(x))dxD_f(P||D) ≥ \int_xq(x)\left(\frac{p(x)}{q(x)}D(x)-f^*\left(D(x)\right)\right)dx = \int_xp(x)D(x)dx-\int_xq(x)f^*(D(x))dx

那么其实相当于:

Df(PD)maxDxp(x)D(x)dxxq(x)f(D(x))dxD_f(P||D) ≈ \max\limits_D\int_xp(x)D(x)dx - \int_xq(x)f^*(D(x))dx

上面这个公式,我们把它改写一下:

Df(PD)=maxD{ExP[D(x)]ExQ[f(D(x))]}D_f(P||D) = \max\limits_D\left\{ E_{x \sim P}[D(x)] - E_{x\sim Q}[f^*(D(x))] \right\}

我们令 P=Pdata,Q=PGP=P_{data},Q=P_G ,那么Pdata,PGP_{data},P_G 的f-divergence就可以写成:

Df(PD)=maxD{ExPdata[D(x)]ExG[f(D(x))]}D_f(P||D) = \max\limits_D\left\{ E_{x \sim P_{data}}[D(x)] - E_{x\sim G}[f^*(D(x))] \right\}

这个ff^* 取决于f-divergence是什么。

这个式子怎么看起来好像GAN需要minimize的目标呢?在机器学习-35-Theory behind GAN(GAN背后的数学理论) 我们提到了GAN的训练目标是G=argminGDf(PdataPG)G^* = arg \min\limits_GD_f(P_{data}||P_G),我们把GAN的训练目标展开,就是:

G=argminGDf(PdataPG)=argminGmaxD{ExPdata[D(x)]ExPG[f(D(x))]}=argminGmaxDV(G,D)\begin{aligned} G^* = &arg \min\limits_GD_f(P_{data}||P_G)\\ =& arg \min\limits_G\max\limits_D\{E_{x\sim P_{data}}[D(x)]-E_{x\sim P_G}[f^*(D(x))]\} \\ =& arg \min\limits_G \max\limits_D V(G,D) \end{aligned}

所以你可以选用不同的f-divergence,优化不同的divergence,论文里面给了个清单,你可以自己选:

那么使用不同的divergence会有什么用处吗?它可能能够用于解决GAN在训练过程中会出现的一些问题(众所周知GAN难以训练)


GAN训练过程中可能产生的问题

Mode Collapse

介绍

这个概念是GAN难以训练的原因之一,它指的是GAN产生的样本单一,认为满足某一分布的结果为True,其余为False。如下图,原始数据分布的范围要比GAN训练的结果大得多。从而导致generator训练出来的结果可能都差不多,图片差异性不大。

当我们的GAN模型Training with too many iterations……

有些人脸就会比较像,除了一些颜色不太一样

解决办法

对于mode collapse到底有没有一些更加通用的解决办法呢?你可以用ensemble的方法,其实就是训练多个Generator,然后在使用的时候随机挑一个generator来生成结果,当然是一个很流氓的招数,看你用到哪里了…


Mode Dropping

介绍

这个问题从字面上也好理解,假设原始分布有两个比较集中的波峰,而GAN有可能把分布集中在其中一个波峰,而抛弃掉了另一个,如下图:

例如下面的人脸,一个循环只有白种人,一个循环只有黄种人,一个循环中只有黑人。


问题分析

为什么会有这样的结果呢,一个猜测是divergence选得不好,选择不同的divergence,最后generator得到的distribution会不一样。如下图,minimize KL divergence和reverse KL divergence的时候,最后得到的分布是不一样的, 前者容易导致模糊的问题,后者则可能导致mode dropping。如果你觉得在训练过程中出现的mode collapse或者mode dropping是由于divergence导致的,你可以通过尝试更换 ff^* 来实验。当然不一定说就一定有效果,这里只是提供一种可能的猜测。

-------------本文结束感谢您的阅读-------------
六经蕴籍胸中久,一剑十年磨在手

欢迎关注我的其它发布渠道