背景介绍
WGAN-GP(Wasserstein Generative Adversarial Networks-Gradient Penalty):于2017年发表于NIPS,是WGAN的升级版本,WGAN理论的前提是1-Liposchitz条件,WGAN中使用的方法是权重裁剪,这不是一个非常好的办法,WGAN-GP使用了一种GP(Gradient Penalty, 梯度惩罚)的方法替代权重裁剪,构建了一个更加稳定,收敛更快,质量更高的生成式对抗网络。
WGAN-GP(Wasserstein Generative Adversarial Networks-Gradient Penalty):于2017年发表于NIPS,是WGAN的升级版本,WGAN理论的前提是1-Liposchitz条件,WGAN中使用的方法是权重裁剪,这不是一个非常好的办法,WGAN-GP使用了一种GP(Gradient Penalty, 梯度惩罚)的方法替代权重裁剪,构建了一个更加稳定,收敛更快,质量更高的生成式对抗网络。
Generative Adversarial Networks(GAN, 生成式对抗网络):是一类深度学习模型,也是计算机视觉的新晋成员,由Ian J. Goodfellow在2014年10月提出,短短5年多的时间,已经有成百上千种不同的GAN网络被提出,可以说GAN的提出受到了广泛的关注。现在的GAN不仅仅只是生成网络,而其应用更是越来越广泛,包括图像生成,超分辨率提升,风格迁移等等。而且GAN的使用非常有趣,可以带领我们目睹从0到1的变化趋势。
Entropy, Cross Entropy, Relative Entropy(熵,交叉熵,相对熵):在机器学习或者深度学习的过程中,避免不了与熵接触,但是熵是什么,小伙伴们是否有很多问号?感觉是那么回事,但是又无法说清楚。