General Framework of GAN
上节在讲原文GAN的时候,提到我们实际是在用Discriminator来衡量两个数据的分布之间的JS divergence,那能不能是其他类型的divergence来衡量真实数据和生成数据之间的差距?又如何进行衡量?(虽然在实作上用不同divergence结果没有很大差别)
李老师原话:在数学上感觉非常的屌
在开始讲fGAN之前,需要先补充两个基础知识,f-divergence和Fenchel Conjugate。为什么要讲它们,后面会提到。
f-divergence(通用的divergence模型)
任意的divergence都可以用来衡量真实数据和生成数据之间的差距,用f-divergence进行衡量的算法就叫fGAN。先来看看f-divergence的概念:
![]()
假设有两个分布 P 和 Q,p(x) 和 q(x) 分别代表样本 x 从这两个分布中采样出来的概率,则能定义 P 和 Q 之间的 f-divergence 为:
Df(P∣∣Q)=∫xq(x)f(q(x)p(x))dx
其中对于函数 f(x) 有两个要求:
- f 要求是凸函数
- 要求 f(1)=0
更换不同的函数 f(x),就能得到不同的 f-divergence。
为什么这个式子可以用来衡量 P 和 Q 之间的差异呢?它有以下几个特点:
- 如果对于所有的 x,有 p(x)=q(x),那么 Df(P∣∣Q)=∫xq(x)f(1)dx=0 。原因很简单,f(1)=0。
- 恒定的,有Df(P∣∣Q)≥0 。因为 f(x) 是一个凸函数,所以有
Df(P∣∣Q)=∫xq(x)f(q(x)p(x))dx≥===f(∫xq(x)q(x)p(x)dx)f(∫xp(x)dx)f(1)0
因此,Df(P∣∣Q) 可用来对 P 和 Q 之间差距作出衡量。
下面列举几个常见的 f(x) 取值及其得到的 f-divergence。
![]()
Fenchel Conjugate(凸共轭)
每一个凸函数都有一个共轭函数(conjugate function),记为 f∗ ,长这样:
f∗(t)=x∈dom(f)max{xt−f(x)}
在这个函数中,t 是自变量,就是说带一个值 t 到f∗ 里面,穷举所有的x,看看哪个x可以使得f∗ 最大。
比较笨的穷举法如下:
![]()
另外一种方法:函数xt−f(x)是直线,我们带不同的x得到不同的直线,例如下面有三条直线:
![]()
然后找不同的t对应的最大值。(就是所有直线的upper bound)
![]()
上面的红线无论你如何画,最后都是convex的。
看个例子,假设:f(x)=xlogx,把x=0.1,x=1,x=10带入,结果如图所示:
![]()
红线最后接近:
f∗(t)=et−1
下面是数学证明:
![]()
假设f(x)=xlogx,则:
f∗(t)=x∈dom(f)max{xt−f(x)}=x∈dom(f)max{xt−xlogx}
令上式中xt−xlogx=g(x),给一个t,求得最大的g(x)
如何求呢?求极值,就是用g(x)对x进行求导等于0:
g′(x)=t−logx−1=0 => x=et−1
把上面内容代入公式f∗(t) :
f∗(t)=xt−xlogx=et−1×t−et−1×(t−1)=et−1
一般化后:
(f∗)∗=f
对于共轭函数,还有一个性质,就是共轭函数是相互的
,也就是对每一对共轭函数来说,有:
f∗(t)=x∈dom(f)max{xt−f(x)}←→f(x)=t∈dom(f)max{xt−f∗(t)}
Connection with GAN
上面的内容到底和GAN有什么关系呢?
![]()
我们假设有一个divergence:
Df(P∣∣D)=∫xq(x)f(q(x)p(x))dx=∫xq(x)(t∈dom(f∗)max{q(x)p(x)t−f∗(t)})dx
接下来,我们学习一个function D,这个D的输入是x, 输出是t,我们将t用D(x)替代,同时我们去掉max的概念,改为≥ ,那么上式可改写为:
Df(P∣∣D)≥∫xq(x)(q(x)p(x)D(x)−f∗(D(x)))dx=∫xp(x)D(x)dx−∫xq(x)f∗(D(x))dx
那么其实相当于:
Df(P∣∣D)≈Dmax∫xp(x)D(x)dx−∫xq(x)f∗(D(x))dx
![]()
上面这个公式,我们把它改写一下:
Df(P∣∣D)=Dmax{Ex∼P[D(x)]−Ex∼Q[f∗(D(x))]}
我们令 P=Pdata,Q=PG ,那么Pdata,PG 的f-divergence就可以写成:
Df(P∣∣D)=Dmax{Ex∼Pdata[D(x)]−Ex∼G[f∗(D(x))]}
这个f∗ 取决于f-divergence是什么。
这个式子怎么看起来好像GAN需要minimize的目标呢?在机器学习-35-Theory behind GAN(GAN背后的数学理论) 我们提到了GAN的训练目标是G∗=argGminDf(Pdata∣∣PG),我们把GAN的训练目标展开,就是:
G∗===argGminDf(Pdata∣∣PG)argGminDmax{Ex∼Pdata[D(x)]−Ex∼PG[f∗(D(x))]}argGminDmaxV(G,D)
所以你可以选用不同的f-divergence,优化不同的divergence,论文里面给了个清单,你可以自己选:
![]()
那么使用不同的divergence会有什么用处吗?它可能能够用于解决GAN在训练过程中会出现的一些问题(众所周知GAN难以训练)
GAN训练过程中可能产生的问题
Mode Collapse
介绍
这个概念是GAN难以训练的原因之一,它指的是GAN产生的样本单一,认为满足某一分布的结果为True,其余为False。如下图,原始数据分布的范围要比GAN训练的结果大得多。从而导致generator训练出来的结果可能都差不多,图片差异性不大。
![]()
当我们的GAN模型Training with too many iterations……
有些人脸就会比较像,除了一些颜色不太一样
解决办法
对于mode collapse到底有没有一些更加通用的解决办法呢?你可以用ensemble的方法,其实就是训练多个Generator,然后在使用的时候随机挑一个generator来生成结果,当然是一个很流氓的招数,看你用到哪里了…
![]()
Mode Dropping
介绍
这个问题从字面上也好理解,假设原始分布有两个比较集中的波峰,而GAN有可能把分布集中在其中一个波峰,而抛弃掉了另一个,如下图:
![]()
例如下面的人脸,一个循环只有白种人,一个循环只有黄种人,一个循环中只有黑人。
![]()
问题分析
为什么会有这样的结果呢,一个猜测是divergence选得不好,选择不同的divergence,最后generator得到的distribution会不一样。如下图,minimize KL divergence和reverse KL divergence的时候,最后得到的分布是不一样的, 前者容易导致模糊的问题,后者则可能导致mode dropping。如果你觉得在训练过程中出现的mode collapse或者mode dropping是由于divergence导致的,你可以通过尝试更换 f∗ 来实验。当然不一定说就一定有效果,这里只是提供一种可能的猜测。
![]()