OpenAI提出Image GPT实现高质量图像补全和样本生成
2020-07-17 10:13
将门创投
关注
GPT在自然语言处理上取得了有目共睹的成就，包括BERT，RoBERTa，T5等众多无监督或自监督学习方法轮番登场拿下了一个又一个语言高地。自然语言处理高歌猛进的同时图像领域不甘心了，也在跃跃欲试想要利用类似的模型学习出可以用于分类任务的有效特征来。
Transformer家族的模型基本上可以直接处理任何形式的1D数据，于是研究人员就想到将2D图像拉伸为长长的1D图像序列，利用与GPT－2模型类似的技术构建了用于处理像素序列的iGPT模型。
在详细的实验分析后研究人员发现，模型显现出对于2D图像特征的理解能力，包括有效的个体和类别的理解。模型可以在没有人工指导情况下生成连续的图像样本，实现图像补全，同时可以在多个分类数据集上实现先进的分类性能，并在ImageNet实现了非常接近最优秀无监督方法精度水平。这证明了这类生成序列模型可以作为通用的无监督学习算法。
在使用GPT－2类似的架构时，虽然需要更多的计算来达到基于卷积的非监督学习水平，然而这种方法在面对全新领域时，大型的GPT－2模型无需针对特定领域架构进行设计就可以学习出非常有效的特征和优异的性能。
下面让我先来看看iGPT应用于图像补全和样本生成任务下的一些结果，下图中红色框是原始图像，蓝色框中是模型补全的结果。可以看到模型很好的恢复出了另一半缺失的图像，并在不同的生成结果中添加了各种语义特征的对象。
分享
声明：
本文由入驻维科号的作者撰写，观点仅代表作者本人，不代表OFweek立场。如有侵权或其他问题，请联系举报。
最新活动更多
-
5月10日立即下载>> 【是德科技】精选《汽车 SerDes 发射机测试》白皮书
-
5月28日立即观看>> 【在线研讨会】Ansys镜头点胶可靠性技术及方案
-
5月31日立即报名>> 【线下论坛】新唐科技2024未来创新峰会
-
6月18日立即报名>> 【线下会议】OFweek 2024（第九届）物联网产业大会
-
8月27-29日马上报名>>> 2024（第五届）全球数字经济产业大会暨展览会
-
8月27日立即报名>>> 2024先进激光技术博览展
推荐专题
发表评论
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论