雷锋网AI科技评论按：近日，「GANs之父」IanGoodfellow做客国外一档「你问我答」（AskMeAnything）的线上问答节目，提问者可以直接对IanGoodfellow提出任何关于GANs的问题，下面AI科技评论带大家围观GANs发明的背后都有哪些不为人知的故事。
以下是AMA节目中，IanGoodfellow与线上提问者的问答实录，雷锋网AI科技评论做了不改动原意的编译。
Gfred：有传言说你是在一家酒吧想出GAN的。你能回忆并描述一下当时的情景吗？
IanGoodfellow：这确实是真的，并不是传言。我之前在几次采访中也讲过这个故事，「麻省理工科技评论」「连线」杂志，「英伟达博客」上都有报道。
Wired：NVIDIABlog：MITTechnologyReview:
GautamRamachandra：您能否介绍一下实现以下目标函数所采用的函数导数所涉及的步骤。GAN中是否采用了贝叶斯定理？
以上给出了上述目标函数的导数
这些方程来自论文「GenerativeAdversarialNetworks」可以在第46页和第47页找到。能不能帮我完成目标函数的函数导数推导步骤？
IanGoodfellow：在这个回答中，我可能没有足够时间用LaTex格式完成函数推导的过程，不过你可以在「深度学习」书中找到一些有用的信息：。大部分你需要知道的内容在方程19.46中。
当你把这个方程应用到j(d)，你就会得到一个新的衍生表达式，并不需要知道任何有关函数导数的东西。
AvhirupChakraborty：目前是否有关于生成模型可迁移的论文和工作？例如：我有一个用于生成猫和狗图片的模型，我是否可以利用该模型前面的一些网络层来生成狼和老虎的图片？
IanGoodfellow：目前我还不知道在这方面有哪些研究和工作，但我认为这是可行的。对于生成器来说，越接近后面输出端的网络层，越容易在不同模型之间共享吧。
AnshumanSuri：这个问题可能有点偏离主题。您认为今天重新思考「神经元」在深度学习模型中的工作方式是唯一能够解决对抗样本中的鲁棒性问题吗？在你的一些视频中，你曾经提到过存在这种普遍性问题，因为这些模型都是「线性」（而不是许多人称的「非线性」）。我们是通过深入探索目前这些神经元模型来找出错误，还是说将完美的激活函数和数据增强/防御混合起来作为一个整体模型运用到模型中，就能修复这些问题？
IanGoodfellow：我不认为这是完全脱离主题的，因为GAN的鉴别器需要对由生成器生成的对抗输入具有鲁棒性。我确实认为我们目前使用的神经元很难对对抗样本保持鲁棒性，但我觉得这不是唯一错误。最近的一些工作表明，如中提到的，为了确保分类器的安全性，我们真的需要重新思考我们的基本原则和策略，而不仅仅是训练我们的模型。
胶囊网络确实比普通模型更能抵御对抗样本，但目前还不清楚这是否是最好的防御方式---在同一数据集上的对抗训练是否能抵御最强攻击，目前还不知道结果。
FoivosDiakogiannis：您能否就GAN与强化学习（RL）之间的相似之处（如果有的话）发表一下评论？我对这两种网络的认识都不是太专业，但据我浅显的理解，我认为GAN上的生成器-鉴别器和强化学习中的代理-环境相互作用的方式非常相近，我的理解对吗？
IanGoodfellow：我或许没有资格评价强化学习，但是我认为GAN是使用强化学习来解决生成建模的一种方式。GAN案例的一些奇怪的地方在于奖励函数在行动中是完全已知和可微分的，奖励是非稳态的，奖励也是代理策略的一种函数。但我确实认为它是基于强化学习。
JakubLangr：我发现GAN训练中有两个或三个阵营：OpenAI和Google的人员算一个阵营；Mescheder、SebastianNowozin与其他微软研究院等机构的研究人员是另一个阵营。你认为是这样的吗？你有类似的看法吗？
IanGoodfellow：不，我认为还有更多的阵营。FAIR（FacebookAI研究院）/NYU（纽约大学）也是主要参与者。实际上，FAIR/NYU是第一个将GAN与LAPGAN应用在地图上。这是GAN第一次生成真正引人注目的高分辨率图像，这也是GAN第一次得到新闻报道等。另一个非常重要的阵营是（伯克利+英伟达）Berkeley+NVIDIA阵营，他们专注于非常引人注目的高分辨率图像和视频，无监督翻译等。我也不确定你所说的「阵营」是什么意思。如果你只是指研究GAN的不同方法，那么是的，这些团队倾向于以不同的方式运作。不过很多时候，「阵营」一词意味着彼此意见不同或相互冲突的群体，我认为情况并非如此。
VineethBhaskara：您的论文与JurgenSchmidhuber在GANvsPM上有多远？你们俩在这方面还有什么分歧吗？
IanGoodfellow：这篇论文已被撤稿了，但我们仍有分歧。
AdamFerguson：
1）您如何选择GAN与其他生成模型（如VAE和FVBN）（NADE，MADE，PixelCNN）？我们应该使用哪个框架来做出这个决定？
2）第二个问题与论文没有直接关系，像Librarian/FermatLibrary工具对ML/DL等领域来说很重要，因为这些领域的发论文速度要比期刊快得多。你如何看待这个领域的未来？
IanGoodfellow：先回答第二个问题，我正在做这个AMA问答，就是来帮助促进Librarian/FermatLibrary工具的普及，因为我认为这些工具需要变得更加为大众所知。ArXiv现在基本上是一种绕过同行评审的方式筛选论文，它使得深度学习论文的信噪比猛降。虽然仍然有很多伟大的深度学习工作正在进行，但也存在很多低质量的工作。即使现在最好的工作也经常出现夹杂私货-比如一个好想法写在一篇不公平的营销文章，或是与其他作品比较不准确的论文中，因为没有任何同行评审，所以作者变得有点肆无忌惮了。
再回到第一个问题，如果你想生成连续变量的真实样本，如果你想做无监督翻译（例如CycleGAN），或者如果你想做半监督学习，那么你可能需要用到GAN。如果你想产生离散符号，你可能用不到GAN，但我们正在努力使它在这方面变得更好。如果你想最大化可能性，你可能也不想用GAN。
KushajveerSingh：最近你在Twitter上列了10篇你认为最佳的GAN论文，你能写一篇文章列举一下从初学者和专家都需要学习哪些GAN知识，你还有别的资源分享吗？
IanGoodfellow：我可能没有时间写，而且即便我写了，它也会很快过时。我在年12月编写了关于GAN的大型教程：。大家可以去看一下。这里的许多想法今天仍然实用，当然，它不包括年末以后的现有技术模型，如渐进式GAN，光谱归一化GAN，带投影鉴别器的GAN等。
RafaRonaldo：定量评估GAN的标准是什么？
IanGoodfellow：它取决于你希望拿GAN来做什么。如果你希望将它用于半监督学习，那么就使用测试集的准确率度量；如果你希望用于生成用户喜欢的图像（如超分辨率图像等），那么就需要使用真人来打分。如果你仅希望使用一般的自动化质量评分，那么我认为FrechetInceptionDistance可能是最好的。当然度量方法本身仍然是研究领域中非常重要的一部分。
AndresDiaz-Pinto：现在有方法将隐变量映射到生成图像的一部分吗？换句话说，能否使用几个变量改变背景颜色，然后然后另外几个个变量修正形状或其它的属性？
IanGoodfellow：通常情况下是可以实现的，但我们需要以特定的方式训练模型，参考论文InfoGAN：。
RafaRonaldo：很多疯狂的想法，如GANs需要高超的编程技巧来辅以实现，你是如何提升你的编程技能的？有没有推荐的书？任何特定学习Tensorflow或深度学习框架的书籍都可以。谢谢！
IanGoodfellow：我学习现代深度学习编程的路径非常间接，因为在学习使用Python之前，我已经学了各种C、汇编、网页等语言。所以对于别人，我不确定有什么捷径可以加速编程的学习过程。在编程能力方面，对我来说非常重要的一个转折点就是年参加JerryCain在斯坦福开设的CS课程。在那之前，我基本只是一个编程爱好者，但上过课后，基本上我在软件开发方面就不会再困惑了。现在你们也可以在YouTube或iTunesU等站点找到该课程。
关于我是如何提升编程技能，因为我做了很多编程！我在11岁时学会了编程。我的中学为我们的数学课程设计了图形计算器，并且有人在TI-BASIC上编程游戏，并加入了图形计算器课程中。我从图书馆获得了的副本，以便了解游戏的工作原理。
我为什么开始踏入深度学习领域，有一部分原因是我一直在做我最爱的游戏编程。我一直在使用OpenGL着色器语言编写通用GPU程序。当CUDA推出时，利用GPU进行CUDA编程实际上比试图将数学问题解决为专门为图形设计的语言要容易得多。我的朋友EthanDreyfuss在GeoffHinton关于深层网络的论文出炉后不久告诉了我关于深度学习的内容，然后我和Ethan一起构建了斯坦福大学的第一台CUDA机器，以便一起研究深度学习。我的第一次深度学习计划是在CUDA中实施RBM。与我为编程GAN所做的相比，这确实很困难。当我编写第一个GAN代码时，我有很多很好的工具，如Theano，LISA实验室计算机集群等。
为什么编写GAN代码很容易？有一部分原因是我有一个非常好的代码库，是从很早期的项目就开始准备的。我一直在为我的整个博士期间的学习深度学习做准备，并且有很多类似的代码可以随时待命。我的第一个GAN实现主要是来自的MNIST分类器的复制粘贴。
JasonRotella：GAN能用于主题建模吗？现在除了生成模型，GAN框架还能扩展应用到其它领域吗？
IanGoodfellow：我猜测是可以用于主题建模的，但目前还没听说在该领域有哪些具体研究。一个主要的挑战即文本建模，文本是由离散的字符、标记或单词组成的，但是GAN需要通过生成器的输出计算梯度，因此它只能用于连续型的输出。当然还是有可能使用对抗自编码器或AVB等模型，因此生成器实际上或是一个编码器，并能输出连续的编码。这对于文本建模可能是非常有用的属性，因为它给出了表征主题的分布。
RafaRonaldo：我在NIPS会议上的理论/实践研讨会上发表了关于GAN的演讲（我还参加了LLD研讨会上的演讲-GAN创建新数据）。谈话结束时，SanjeevArora问了你一些问题，就像GAN框架可能不足以学习分布，需要添加更多元素。我没有完全理解这个问题，你能否解释为什么GAN框架不足以学习分布，需要添加哪些元素以及为什么GAN在图像生成任务中如此顺利？感谢AMA，也感谢您的在线讲座和教程，这对于像我这样的人来说非常有帮助。
IanGoodfellow：说实话，我不记得SanjeevArora在这次演讲中究竟是怎么问的，我也不明白他的工作需要什么详细的答案。
我认为他担心计数问题（也可能我认为是错的）：神经网络参数空间中没有足够的不同点来表示输入上的所有不同概率分布。如果我正确地表达了他的
转载请注明：http://www.0431gb208.com/sjslczl/4134.html
