生成和判断模型的内部指南
发布时间:2020-11-06 12:22
在本文中,我们将讨论生成模型和判别模型的区别、原因和相关内容。
  判别机器学习在可能的输出选择中确定输出。在这个过程中,根据给定的数据进行训练,从而学习模型参数,最大化联合概率P(X,Y)。
  分类有时也叫判别模型,有道理。分类模型毕竟是判断输入实例的类别。
  无监督模型通常学习输入变量的分布,并可以根据输入的分布创建或生成新的实例。像这样的模型叫做生成模型。
  当变量的分布已知时,如高斯分布。
  因为生成模型可以总结数据分布,所以可以根据输入变量的分布生成新的变量。
  在这种情况下,生成的模型可能非常合适,而判别模型的使用会使问题复杂化,反之亦然。
  例如,对于条件预测任务,判别模型的性能明显优于生成模型,并且具有更好的规律性。
  生成和判断模型的内部指南
  资料来源:恩普拉什,陈茂三潭
  看看这个例子:有两个孩子,托尼和马克,他们想在宠物店里区分小猫和小狗。至于宠物,我们假设它们包括颜色、大小、眼睛颜色、毛发长度和声音。
  给马克两张照片,一张是猫,另一张是狗。马克必须做出判断。他以为可以根据以下几个条件来判断:如果叫声是“喵”,眼睛是蓝色或绿色,带有棕色或黑色条纹,那么很大概率会是猫。根据这样简单的规则,马克可以很容易地识别猫或狗。
  托尼的任务没那么简单。他想在两张白纸上画一只猫和一只狗,而不是让他判断这幅画是猫还是狗。托尼会画一只猫和一只狗,所以给他看这幅画,他就可以很容易地分辨出这幅画是猫还是狗。可见托尼的方法比马克的方法更费时。
  假设宠物只有猫和狗。如果一张照片是一只蓝眼睛、棕色条纹的狗,马克可能会把它标记为猫,但托尼可以看出这张照片一定是一只狗。
  如果托尼对猫和狗的特征了解得更多,他就能画出更详细、更准确的画。但如果提供足够多的猫和狗数据集,Mark的表现会更好。
  马克的判断方法是仔细观察,总结特色,但是太多复杂的特色会导致过拟合,托尼不会遇到。
  他们在逛宠物店之前没有任何信息怎么办?也就是说,只提供未标记的数据。这种情况下,马克根本不知道该怎么办,托尼也分不清该怎么办(因为他不知道“猫”和“狗”两大类),但至少托尼可以根据看到的猫和狗画画。这不是很大的优势吗?半监督就是这种情况。在上面的例子中,马克是判别法,而托尼代表生成法。
  生成和判断模型的内部指南
  资料来源:Unsplash早茶
  我们再来看一个例子。言语被归类为一种语言模式。
  判别法侧重于区分语言模型之间的差异。语音分类不需要学习语言就可以实现。生成法需要学习每一种语言,并根据所学知识进行分类。
  生成和判断模型的内部指南
  资料来源:安托万多特里,Unsplash
  数学差异
  判别式机器学习训练模型从可能的输出选项中选择正确的输出,通过训练学习条件概率P(Y  | X)最大化的模型参数。
  生成式机器学习是通过训练和学习使联合概率P(X,y)最大化的模型参数。一般联合概率可以从P(Y)和P(X  | Y)得到,目前的前提是P(Y)和P(X  | Y)是独立的。
  生成和判断模型的内部指南
  资料来源:马库斯斯皮斯克,Unsplash
  判别模型
  逻辑回归
  随机森林
  支持向量机
  经典神经网络
  最近邻
  生成模型
  隐马尔可夫模型
  朴素贝叶斯
  贝叶斯网络
  高斯混合模型
  生成和判断模型的内部指南
  资料来源:乔恩泰森
  为了更好的理解,可以尝试以下问题:(1)判别式;2生成公式)
  哪个模型需要的训练数据少?一个
  哪个模型可以生成数据?2
  什么时候使用某种型号?
  哪个模型对离群值更敏感?2
  哪个型号容易超配?一个
  哪个模特训练时间短?一个
  哪个模型直接学习条件概率?一个
  在不确定的情况下,哪种模型更好?2
  当特征相关时,哪个模型更好?2
  哪个模型的可解释性更好?2
  分类问题哪个模型准确率高?一个
  哪种模型用于无标签数据?2
  如果是标注数据,哪个模型比较好?一个
  哪种模式简单,训练速度更快?一个
  生成和判断模型的内部指南
  来源:照片爱好,Unsplash
  GAN
  生成对抗网络(GAN)同时训练生成器和鉴别器。具体来说,生成器生成一批样本,这些样本与真实数据集一起提供给鉴别器进行分类。
  生成和判断模型的内部指南
  判别分类器的缺陷
  它缺乏先验性、结构性和不确定性
  黑盒,变量之间的关系无法观察
  生成和判断模型的内部指南
  资料来源:奥斯汀迪特尔,Unsplash
  结论
  机器学习模型一般分为生成模型和判别模型,其中生成模型主要涉及建模操作,判别模型一般用于分类问题。一般来说,生成模型更具解释力。模型并不是越大越好、参数越多越好。更新更多参数意味着更长的训练时间、内存和计算量。一般而言,判别式模型有更好的正则性。
  生成式模型所需的数据一般要比判别式模型更少。
  参考文献
  Yogatama,d  .Dyer,c  .Ling,w  .and  Blunsom,p  .2017 .基于递归神经网络的生成性和区分性文本分类arXiv  .预印本arxiv  :1703 . 0189888003
  拉塞尔,J.A  .毕晓普,C.M  .明卡,T.P  .2006年6月。生成模式和区分模式的原则性混合。在2006年美国电气和电子工程师学会计算机视觉和模式识别会议(CVPR  06)第1卷,第87-94页).电气和电子工程师协会.
  王,k,宗,c,苏,K.Y  .2012。集成基于生成和区分字符的中文分词模型。亚洲语言信息处理会议,11(2),第1-41页。
  普拉萨德,a  .尼古列斯库-米兹尔,a,和Ravikumar,P.K  .2017年。关于损失函数的可分性,并重新讨论判别模型和生成模型《啊神经信息处理系统的进展“(第7050-7059页).最后,欢迎大家在Twitter和Linkedin上发表自己的想法!你觉得这篇文章对你有帮助吗?欢迎交流分享,联系方式@SauravSingla_08和Saurav_Singla!
  雷锋字幕组是由AI爱好者组成的翻译团队,聚集了500多名志愿者的力量,分享海外最新的AI信息,就人工智能技术领域的行业变化和技术创新交流看法。
  团队成员包括大数据专家、算法工程师、图像处理工程师、产品经理、产品运营、IT顾问、师生;志愿者来自IBM、AVL、Adobe、阿里、百度等知名企业,以及北大、清华、港大、中科院、南卡罗来纳大学、早稻田大学等国内外高校研究所。