新智元 点击进入获取原帖地址，围观网友热议Mini Program

• 超参数调整涉及到如何选择神经网络中的层数、如何连接这些层（即网络的体系结构）以及如何训练网络。

  
  

• 数据处理，包括数据分类和正确格式化矢量的数据预处理也可能是一个非常麻烦的过程。

• 神经架构搜索涉及自动化架构工程，能够使开发人员为其机器学习模型找到最佳设计。所有这些决定都需要相当多的专业知识，提高了深度学习的门槛。

编辑 | Camel

专利的其他参考

何为对抗训练

有何影响？只是谷歌的自我防御？

哇！多谢Goodfellow，这非常酷，为一个极其宽泛的概念申请专利肯定不会扼杀创新。

https://scholar.googleblog.com/2020/07/2020-scholar-metrics-released.html

2019年谷歌学者Top Publication榜单更新：CVPR上升到整个工程与计算机科学类第二名。人工智能领域NeurIPS, ICLR, ICML独占鳌头。自然语言处理榜单没有变化，还是ACL，EMNLP，NAACL。 ​​​​
Reference:
https://scholar.google.com/citations?view_op=top_venues&hl=en&vq=eng
Weibo of Weilian Wang on July 20, 2019. See my favourite on July 23, 2019. 

https://m.sohu.com/a/245182179_473283/?pvid=000115_3w_a   (read once)

来源：scholar.google.com

作者：闻菲

【新智元导读】谷歌学术昨天发表了2018年最新的学术期刊和会议影响力排名，CVPR和NIPS分别排名第20和第54。在排名第一的Nature里，过去5年被引用次数最高的论文，正是深度学习三大神Hinton、LeCun和Bengio写的《深度学习》一文，而CVPR里被引次数最高的，则是ResNet，引用次数超过了1万次。

昨天，谷歌学术（Google Scholar）公布了2018年最新的学术期刊/会议影响力排名，从综合领域看，毫不意外的，Nature第一、Science第三，但值得关注的是，计算机视觉顶会CVPR排名第20，另一个AI领域的顶会NIPS也排名第54，名次较去年有了大幅提升。

就连排名第一的Nature里，过去5年被引用次数最高的论文，也是“深度学习三大神”Hinton、LeCun和Bengio合著的《深度学习》一文。

不仅如此，在CVPR里，过去5年被引次数最多的论文，是当时还在微软亚洲研究院的孙剑、何恺明、张祥雨、任少卿写的的ResNet，被引次数已经过万。

2018 谷歌学术期刊和会议影响力排名：CVPR第20，NIPS第54

首先来看综合领域结果。

大家比较关心的Nature、Science分别位列第一和第三，医学著名期刊《新英格兰杂志》和《柳叶刀》分别位于第二和第四。一向被国内与Nature、Science并列，有“CNS”之称的Cell，这次排名第6。

接下来就是新智元的读者更为关注的与人工智能有关的期刊和会议了，这一次，计算机视觉顶会CVPR不负众望排名第20，由此计算机领域顶会也终于进入Top20的行列。

另一方面，AI领域另一个备受关注的会议NIPS，也在综合排名中位列第54，取得了不错的成绩。

与神经科学相关的 Nature Neuroscience 排名第44。

至于第21名到第40名的期刊，实际上也有常有跟AI相关的论文发表，大家也可以看一下排名。

值得一提，PLoS ONE位于第23，Scientific Reports 排名第39，也算是不错的发表场所了。

在第61到第80名中间，集中出现了多本IEEE期刊。被誉为另一个计算机视觉顶会的ICCV，排名第78。

第81到第100名的期刊/会议排名如下，TPAMI 位于第92，果然好论文都优先去会议发表了。

工程与计算机领域Top 20：CVPR排名第5

谷歌学术计量排名方法：过去5年被引用论文“h5指数”

谷歌学术（Google Scholar）期刊和会议排名主要基于h-index。实际上，从2012年起来，谷歌学术计量（Google Scholar Metrics, GSM）每年都会发布学术期刊和会议的GSM排名。

相比科睿唯安基于Web of Science数据库公布的《期刊引证报告》（Journal Citation Report, JCR），GSM不仅可以免费检索，而且收录的期刊和会议范围远远大于Web of Science。

还有一点，期刊/会议的“h5指数”（过去5年h-index）比较难以被人为操控，不会因为多了一篇超高被引论文而明显增长，另一方面，刻意减少发文量也不会对提升h5指数有作用。

因此，h5指数可以体现期刊和会议的整体综合实力，逐渐成为学术出版物和会议影响力评价的一个重要参考。

总体看，GSM主要参考以下3个指标：

相应地，h5指数（h5-index）、h5核心（h5-core）和h5中值（h5-median），就是收录在谷歌学术系统中的期刊和会议在最近5年的论文数量及各论文被引用的次数。

例如，如果某本期刊在过去5年所发表的论文中，至少有 h 篇论文分别被引用了至少 h 次，那么这份杂志的 h5指数就是 h。h5核心和h5中值的计算方法也一样。

了解更多：

https://scholar.google.com/citations?view_op=top_venues&hl=zh-CN&vq=en

开售！

http://www.aiworld2018.com/

谷歌计算机

声明：该文观点仅代表作者本人，搜狐号系信息发布平台，搜狐仅提供信息存储空间服务。

Here are a summary of some of the tricks.

Here's a link to the authors of this document

If you find a trick that is particularly useful in practice, please open a Pull Request to add it to the document. If we find it to be reasonable and verified, we will merge it in.

1. Normalize the inputs

• normalize the images between -1 and 1
• Tanh as the last layer of the generator output

2: A modified loss function

In GAN papers, the loss function to optimize G is min (log 1-D), but in practice folks practically use max log D

• because the first formulation has vanishing gradients early on
• Goodfellow et. al (2014)

In practice, works well:

• Flip labels when training generator: real = fake, fake = real

3: Use a spherical Z

• Dont sample from a Uniform distribution

• Sample from a gaussian distribution

• When doing interpolations, do the interpolation via a great circle, rather than a straight line from point A to point B
• Tom White's Sampling Generative Networks ref code https://github.com/dribnet/plat has more details

4: BatchNorm

• Construct different mini-batches for real and fake, i.e. each mini-batch needs to contain only all real images or all generated images.
• when batchnorm is not an option use instance normalization (for each sample, subtract mean and divide by standard deviation).

5: Avoid Sparse Gradients: ReLU, MaxPool

• the stability of the GAN game suffers if you have sparse gradients
• LeakyReLU = good (in both G and D)
• For Downsampling, use: Average Pooling, Conv2d + stride
• For Upsampling, use: PixelShuffle, ConvTranspose2d + stride
  • PixelShuffle: https://arxiv.org/abs/1609.05158

6: Use Soft and Noisy Labels

• Label Smoothing, i.e. if you have two target labels: Real=1 and Fake=0, then for each incoming sample, if it is real, then replace the label with a random number between 0.7 and 1.2, and if it is a fake sample, replace it with 0.0 and 0.3 (for example).
  • Salimans et. al. 2016
• make the labels the noisy for the discriminator: occasionally flip the labels when training the discriminator

7: DCGAN / Hybrid Models

• Use DCGAN when you can. It works!
• if you cant use DCGANs and no model is stable, use a hybrid model : KL + GAN or VAE + GAN

8: Use stability tricks from RL

• Experience Replay
  • Keep a replay buffer of past generations and occassionally show them
  • Keep checkpoints from the past of G and D and occassionaly swap them out for a few iterations
• All stability tricks that work for deep deterministic policy gradients
• See Pfau & Vinyals (2016)

9: Use the ADAM Optimizer

• optim.Adam rules!
  • See Radford et. al. 2015
• Use SGD for discriminator and ADAM for generator

10: Track failures early

• D loss goes to 0: failure mode
• check norms of gradients: if they are over 100 things are screwing up
• when things are working, D loss has low variance and goes down over time vs having huge variance and spiking
• if loss of generator steadily decreases, then it's fooling D with garbage (says martin)

11: Dont balance loss via statistics (unless you have a good reason to)

• Dont try to find a (number of G / number of D) schedule to uncollapse training
• It's hard and we've all tried it.
• If you do try it, have a principled approach to it, rather than intuition

For example

while lossD > A:   train D while lossG > B:   train G 

12: If you have labels, use them

• if you have labels available, training the discriminator to also classify the samples: auxillary GANs

13: Add noise to inputs, decay over time

• Add some artificial noise to inputs to D (Arjovsky et. al., Huszar, 2016)
  • http://www.inference.vc/instance-noise-a-trick-for-stabilising-gan-training/
  • https://openreview.net/forum?id=Hk4_qw5xe
• adding gaussian noise to every layer of generator (Zhao et. al. EBGAN)
  • Improved GANs: OpenAI code also has it (commented out)

14: [notsure] Train discriminator more (sometimes)

• especially when you have noise
• hard to find a schedule of number of D iterations vs G iterations

15: [notsure] Batch Discrimination

• Mixed results

16: Discrete variables in Conditional GANs

• Use an Embedding layer
• Add as additional channels to images
• Keep embedding dimensionality low and upsample to match image channel size

17: Use Dropouts in G in both train and test phase

• Provide noise in the form of dropout (50%).
• Apply on several layers of our generator at both training and test time
• https://arxiv.org/pdf/1611.07004v1.pdf

Authors

• Soumith Chintala
• Emily Denton
• Martin Arjovsky
• Michael Mathieu

GAN的一些小trick

最近训练GAN遇到了很多坑，GAN的训练的确是个很dt的问题，如果只是用别人的paper跑一些应用还好，如果自己设计新的结构，做一些新的研究的话，就需要了解这些trick了，都是泪~

这个doc soumith/ganhackssoumith/ganhacks 简直是GAN武林界的九阴真经，看完以后感觉自己上了一个level。

自己做个笔记：

1。normalize输入，让它在[-1,1]。generater的输出用tanh，也是[-1,1]，这就对应起来了。

2。论文里面optimize G是min log(1 - D)，但在实际训练的时候可以用 max log(D)

3。对于噪声z，别用均匀（uniform）分布，用高斯分布。

4。可以用instance norm代替 batch norm。还有就是real放一起，generated放一起（感觉这个是废话QAQ）。

5。避免稀疏的gradients：RELU，Maxpool那些。这一点我认为原因是不像做辨别式的网络，判别式的，尽可能提取重要的信息，其实一些对预测影响不大的信息都被忽略掉了。但是GAN不同，是生成式的模型，所以要尽可能的表现出细节方面的内容，所以避免使用稀疏的这些？

• LeakyRelu
• For Downsampling, use: Average Pooling, Conv2d + stride
• For Upsampling, use: PixelShuffle, ConvTranspose2d + stride

6。可以把label为1的（real）变到0.7~1.2，label为0的变到0~0.3。这个可以深入想想。

7。能用DCGAN就用，用不了的话用混合模型，KL+GAN，VAE+GAN之类的。

8。借用RL训练技巧。

• Keep a replay buffer of past generations and occassionally show them
• Keep checkpoints from the past of G and D and occassionaly swap them out for a few iterations

9。用ADAM！或者是D可以用SGD，G用ADAM

10。注意训练过程，尽早发现训练失败，不至于训练好长时间最后才发现，浪费时间。

11。最好别尝试设置一些常量去balance G与D的训练过程。（他们说这个work很难做。我觉得有时间的话其实还是可以试一下的。）

12。如果你对real有相应的label，用label，AC-GAN。加入label信息，可以降低生成的难度，这个应该可以想的通。

13。加噪声？作用是improve生成内容得diversity?

• Add some artificial noise to inputs to D (Arjovsky et. al., Huszar, 2016)
• adding gaussian noise to every layer of generator (Zhao et. al. EBGAN)

14。【not sure】多训练D，特别是加噪声的时候。

15。【not sure】batch D，感觉貌似是和pix2pix中的patchGAN有点像？

16。CGAN，我一直觉得CGAN这种才符合人类学习的思路。原始的GAN就太粗暴了，就好像什么都不知道，然后两个人D与G讨论交流对抗，产生的都是一些前人没有做过的工作，开篇的工作，所以比较困难一些，但是CGAN的话就有了一定的前提，也就是技术积累，所以比较简单一些。有点类似科研中的大牛挖坑，开辟新方向（GAN）。小牛填坑（CGAN）。

17。在G中的几层中用dropout（50%）。这个有一篇论文，还没看。

读完这些感觉自己想要设计GAN的话，应该有个系统的认识了，不会觉得自己好像有哪些重要的地方还不知道，很不踏实感觉。这种感觉对我这种强迫症的感觉很不爽啊！！看完以后顿时舒服了很多~~~

• Exhaustive methods
  
  
• Stepwise selection
  
  
• Feature combination

Stepwise Selection

• Forward selection. Begin by finding the best single feature, and commit to it. In general, given a set of selected features, add the feature that improves performance most.
  
  
• Backward elimination. From a set of remaining features, repeatedly delete the feature that reduces performance the least.
  
  
  Reference:
  
  https://www.cs.princeton.edu/courses/archive/fall08/cos436/Duda/FS/FS_home.htm
  

  https://www.cs.princeton.edu/courses/archive/fall08/cos436/Duda/FS/stepwise.htm

1. PairedCycleGAN: Asymmetric Style Transfer for Applying and Removing Makeup

（给人脸化妆的风格转移）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Chang_PairedCycleGAN_Asymmetric_Style_CVPR_2018_paper.pdf

2.CartoonGAN: Generative Adversarial Networks for Photo Cartoonization

（将图片转化为卡通风格的GAN）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Chen_CartoonGAN_Generative_Adversarial_CVPR_2018_paper.pdf

3.StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation

（人脸多种风格转换）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Choi_StarGAN_Unified_Generative_CVPR_2018_paper.pdf

4.Multi-Content GAN for Few-Shot Font Style Transfer

（字体风格转换）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Azadi_Multi-Content_GAN_for_CVPR_2018_paper.pdf

5.DA-GAN: Instance-level Image Translation by Deep Attention Generative Adversarial Networks

（图到图转换）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Ma_DA-GAN_Instance-Level_Image_CVPR_2018_paper.pdf

6. Conditional Image-to-Image translation

（图到图的转换）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Lin_Conditional_Image-to-Image_Translation_CVPR_2018_paper.pdf

图片处理

1. DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks

（去模糊）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Kupyn_DeblurGAN_Blind_Motion_CVPR_2018_paper.pdf

2.Attentive Generative Adversarial Network for Raindrop Removal from A Single Image

（去除图片中的雨滴）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Qian_Attentive_Generative_Adversarial_CVPR_2018_paper.pdf

3. Deep Photo Enhancer: Unpaired Learning for Image Enhancement from Photographs with GANs

（用于照片增强）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Chen_Deep_Photo_Enhancer_CVPR_2018_paper.pdf

4. SeGAN: Segmenting and Generating the Invisible

（去遮挡）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Ehsani_SeGAN_Segmenting_and_CVPR_2018_paper.pdf

5.Stacked Conditional Generative Adversarial Networks for Jointly Learning Shadow Detection and Shadow Removal

（去阴影）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Wang_Stacked_Conditional_Generative_CVPR_2018_paper.pdf

6.Image Blind Denoising With Generative Adversarial Network Based Noise Modeling

（去噪声）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Chen_Image_Blind_Denoising_CVPR_2018_paper.pdf

7. Single Image Dehazing via Conditional Generative Adversarial Network

（去噪声）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Li_Single_Image_Dehazing_CVPR_2018_paper.pdf

图片生成

1. ST-GAN: Spatial Transformer Generative Adversarial Networks for Image Compositing

（空间转换生成图片）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Lin_ST-GAN_Spatial_Transformer_CVPR_2018_paper.pdf

2. SketchyGAN: Towards Diverse and Realistic Sketch to Image Synthesis

（由边框生成图片）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Chen_SketchyGAN_Towards_Diverse_CVPR_2018_paper.pdf

3. TextureGAN: Controlling Deep Image Synthesis with Texture Patches

（由纹路生成图片）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Xian_TextureGAN_Controlling_Deep_CVPR_2018_paper.pdf

4. Eye In-Painting with Exemplar Generative Adversarial Networks

（给人物画眼睛）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Dolhansky_Eye_In-Painting_With_CVPR_2018_paper.pdf

5.Photographic Text-to-Image Synthesis with a Hierarchically-nested Adversarial Network

（文本生成图片）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Zhang_Photographic_Text-to-Image_Synthesis_CVPR_2018_paper.pdf

6. Logo Synthesis and Manipulation with Clustered Generative Adversarial Networks

（生成logo）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Sage_Logo_Synthesis_and_CVPR_2018_paper.pdf

7. Cross-View Image Synthesis Using Conditional GANs

（街区俯视图和直视转换）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Regmi_Cross-View_Image_Synthesis_CVPR_2018_paper.pdf

8. AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks

（文本生成图片）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Xu_AttnGAN_Fine-Grained_Text_CVPR_2018_paper.pdf

9. High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs

（图像高分辨率）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Wang_High-Resolution_Image_Synthesis_CVPR_2018_paper.pdf

人脸相关

1. Finding Tiny Faces in the Wild with Generative Adversarial Network

（对低分辨率的人脸检测）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Bai_Finding_Tiny_Faces_CVPR_2018_paper.pdf

2. Learning Face Age Progression: A Pyramid Architecture of GANs

（预测年龄）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Yang_Learning_Face_Age_CVPR_2018_paper.pdf

3. Super-FAN: Integrated facial landmark localization and super-resolution of real-world low resolution faces in arbitrary poses with GANs

（对低分辨率人脸超分辨率）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Bulat_Super-FAN_Integrated_Facial_CVPR_2018_paper.pdf

4. Towards Open-Set Identity Preserving Face Synthesis

（人脸合成）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Bao_Towards_Open-Set_Identity_CVPR_2018_paper.pdf

5. Weakly Supervised Facial Action Unit Recognition through Adversarial Training

（人脸表情识别）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Peng_Weakly_Supervised_Facial_CVPR_2018_paper.pdf

6.FaceID-GAN: Learning a Symmetry Three-Player GAN for Identity-Preserving Face Synthesis

（生成多角度人脸）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Shen_FaceID-GAN_Learning_a_CVPR_2018_paper.pdf

7. UV-GAN: Adversarial Facial UV Map Completion for Pose-invariant Face Recognition

（人脸生成）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Deng_UV-GAN_Adversarial_Facial_CVPR_2018_paper.pdf

8.Face Aging with Identity-Preserved Conditional Generative Adversarial Networks

（人脸老化）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Wang_Face_Aging_With_CVPR_2018_paper.pdf

人体相关

1. Deformable GANs for Pose-based Human Image Generation

（人物姿态迁移）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Siarohin_Deformable_GANs_for_CVPR_2018_paper.pdf

2. Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks

(用GAN生成人行为轨迹追踪)

http://openaccess.thecvf.com/content_cvpr_2018/papers/Gupta_Social_GAN_Socially_CVPR_2018_paper.pdf

3. GANerated Hands for Real-Time 3D Hand Tracking from Monocular RGB

（用GAN生成的手势图片做手势追踪的数据集）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Mueller_GANerated_Hands_for_CVPR_2018_paper.pdf

4. Multistage Adversarial Losses for Pose-Based Human Image Synthesis

（人体姿态合成）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Si_Multistage_Adversarial_Losses_CVPR_2018_paper.pdf

5. Disentangled Person Image Generation

（人体合成）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Ma_Disentangled_Person_Image_CVPR_2018_paper.pdf

domain adaptation

（这个没来得及找了，可能转行咯~ 唉）

1. Generate to Adapt: Aligning Domains Using Generative Adversarial Networks

2. Re-Weighted Adversarial Adaptation Network for Unsupervised Domain Adaptation

3. Adversarial Feature Augmentation for Unsupervised Domain Adaptation

4. Domain Generalization With Adversarial Feature Learning

5. Image to Image Translation for Domain Adaptation

6. Duplex Generative Adversarial Network for Unsupervised Domain Adaptation

7. Conditional Generative Adversarial Network for Structured Domain Adaptation

目标跟踪检测

1.Generative Adversarial Learning Towards Fast Weakly Supervised Detection

（弱监督检测）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Shen_Generative_Adversarial_Learning_CVPR_2018_paper.pdf

2. SINT++: Robust Visual Tracking via Adversarial Positive Instance Generation

（对抗学习生成轨迹样本）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Wang_SINT_Robust_Visual_CVPR_2018_paper.pdf

3. VITAL: VIsual Tracking via Adversarial Learning

http://openaccess.thecvf.com/content_cvpr_2018/papers/Song_VITAL_VIsual_Tracking_CVPR_2018_paper.pdf

GAN模型优化

1. SGAN: An Alternative Training of Generative Adversarial Network

（替代训练GAN）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Chavdarova_SGAN_An_Alternative_CVPR_2018_paper.pdf

2. GAGAN: Geometry-Aware Generative Adversarial Networks

（一种关注几何外形的GAN）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Kossaifi_GAGAN_Geometry-Aware_Generative_CVPR_2018_paper.pdf

3.Global versus Localized Generative Adversarial Nets

(局部优化GAN)

http://openaccess.thecvf.com/content_cvpr_2018/papers/Qi_Global_Versus_Localized_CVPR_2018_paper.pdf

4. Generative Adversarial Image Synthesis with Decision Tree Latent Controller

（决策树）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Kaneko_Generative_Adversarial_Image_CVPR_2018_paper.pdf

5. Unsupervised Deep Generative Adversarial Hashing Network

（哈希GAN）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Dizaji_Unsupervised_Deep_Generative_CVPR_2018_paper.pdf

6. Multi-Agent Diverse Generative Adversarial Networks

（多个生成器GAN）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Ghosh_Multi-Agent_Diverse_Generative_CVPR_2018_paper.pdf

7. Duplex Generative Adversarial Network for Unsupervised Domain Adaptation

（双鉴别器GAN）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Hu_Duplex_Generative_Adversarial_CVPR_2018_paper.pdf

图像分割

1. Translating and Segmenting Multimodal Medical Volumes With Cycle- and Shape-Consistency Generative Adversarial Network

（图像分割）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Zhang_Translating_and_Segmenting_CVPR_2018_paper.pdf

行人重识别

1. Person Transfer GAN to Bridge Domain Gap for Person Re-Identification

（用GAN生成的人体检测的图片）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Wei_Person_Transfer_GAN_CVPR_2018_paper.pdf

2. Image-Image Domain Adaptation with Preserved Self-Similarity and Domain-Dissimilarity for Person Re-identification

http://openaccess.thecvf.com/content_cvpr_2018/papers/Deng_Image-Image_Domain_Adaptation_CVPR_2018_paper.pdf

视觉特征提取

1. Visual Feature Attribution using Wasserstein GANs

http://openaccess.thecvf.com/content_cvpr_2018/papers/Baumgartner_Visual_Feature_Attribution_CVPR_2018_paper.pdf

域自适应学习

1. Generate To Adapt: Aligning Domains using Generative Adversarial Networks

（视觉域自适应）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Sankaranarayanan_Generate_to_Adapt_CVPR_2018_paper.pdf

图像检索

1. HashGAN: Deep Learning to Hash with Pair Conditional Wasserstein GAN

http://openaccess.thecvf.com/content_cvpr_2018/papers/Cao_HashGAN_Deep_Learning_CVPR_2018_paper.pdf

迁移学习

1.Partial Transfer Learning With Selective Adversarial Networks

http://openaccess.thecvf.com/content_cvpr_2018/papers/Cao_Partial_Transfer_Learning_CVPR_2018_paper.pdf

视频生成

1. MoCoGAN: Decomposing Motion and Content for Video Generation

（用GAN生成视频）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Tulyakov_MoCoGAN_Decomposing_Motion_CVPR_2018_paper.pdf

2. Learning to Generate Time-Lapse Videos Using Multi-Stage Dynamic Generative Adversarial Networks

（生成延时视频）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Xiong_Learning_to_Generate_CVPR_2018_paper.pdf

小结：

  可以看出GAN相关的论文还不少呀，各个方面的都有，可是我个人觉得，可能没有那种特别厉害的吧~hh

现在Caffe2正式发布，这个推荐肯定要改成新版本了。

Caffe2的基本计算单位是Operator。对于适当数量和类型的输入参数，每个Operator都包括所需的计算逻辑。Caffe和Caffe2的总体差异如下图所示：

官方提供了从Caffe迁移到Caffe2的教程，据说这个迁移非常简单。

Caffe2和PyTorch有何不同？

这是另外一个疑问。

Caffe2长于移动和大规模部署。虽然Caffe2新增了支持多GPU的功能，这让新框架与Torch具有了相同的GPU支持能力，但是如前所述，Caffe2支持一台机器上的多个GPU或具有一个及多个GPU的多台机器来进行分布式训练。

PyTorch适合进行研究、实验和尝试不同的神经网络；而Caffe2更偏向于工业应用，而且重点关注在移动端上的表现。

贾扬清现身说法

Caffe2发布后，作者贾扬清在reddit上连发四记解答。“Yangqing here”，贾扬清一上来就表明了身份。

有人问搞出Caffe2意义何在？现在已经有PyTorch、TensorFlow、MXNet等诸多框架。

贾扬清说Caffe2和PyTorch团队紧密合作。他们把Caffe2视作一种生产力的选择，而把Torch视作研究型的选择。而在构建AI模块时，他们也持有一种“非框架”的理念，例如Gloo、NNPACK和FAISS等可以被用于任何深度学习框架。

有人问Caffe2接受外部贡献么？

贾扬清说大爱外部贡献，也会在开源方面继续努力。

有人问Caffe2是否用了Torch的代码库，以及CUDA等相关支持的问题。

贾扬清说他们正在计划让Caffe2和Torch和PyTorch共享后端，这几个框架已经共享Gloo用于分布式训练，THCTensor、THNN和其他C/C++库也将会共享。

在GPU层面，Caffe2使用了CUDA和CUDNN。贾扬清和团队也试验了OpenCL，但是感觉用NVIDIA的GPU CUDA效果更好。

另外在其他平台（例如iOS上），Caffe2使用了特定的工具，例如Metal。一两天内，官方会发布Metal的实施。

有人问Caffe2支持动态图么？

贾扬清给出否定的回答，他表示这是Caffe2和PyTorch团队有意做出的选择。Caffe2的任务就是提供最佳的性能，而如果想要极端灵活的计算，请选择PyTorch。贾扬清认为这是一个更好的方式，因为“一个框架通吃”可能会影响性能。

所以，目前Caffe2只支持非常有限的动态控制，例如动态RNN。

最后，量子位放出传送门：

Caffe2的首页：http://caffe2.ai/

GitGub地址：https://github.com/caffe2/caffe2

答：有两种。

   A、JCR（又称汤森路透）分区法

   汤森路透（Thomson Reuters）每年出版一本《期刊引用报告》（Journal Citation Reports，简称JCR）。JCR对8600多种SCI期刊的影响因子[1]（Impact Factor）等指数加以统计。JCR将收录期刊分为176个不同学科类别。每个学科分类按照期刊的影响因子高低，平均分为Q1、Q2、Q3和Q4四个区：
  各学科分类中影响因子前25%(含25%)期刊划分为Q1区、前25-50% (含50%)为Q2区、前50-75% (含75% )为Q3区、后75%为Q4区。

 B、中国科学院分区法
   中国科学院国家科学图书馆世界科学前沿分析中心（原中国科学院文献情报中心）根据汤森路透每年的JCR数据，创新划分了一个分区区间，形成了中科院的分区标准。

本文作者Ankit Agarwal是面向开发者的神经网络平台提供商Silversparro Technologies的CTO和创始人。

1，第一步，了解什么是机器学习，最佳入门资源就是 Andrew Ngs (Ex-Google, Stanford, Baidu), an online course at coursera. 讲座让你足够了解机器学习的基础，不过课后作业会提升你对机器学习的了解。

2，接下来需要培养对神经网络的直觉。所以，继续编写你的第一个神经网络，和它玩耍吧

3，了解神经网络很重要，但是简单神经网络没有足够能力解决大多数有趣问题。变量-卷积神经网络很善于解决视觉问题。斯坦福课程笔记以及幻灯片：CS231n Convolutional Neural Networks for Visual Recognition(notes), 和CS231n: Convolutional Neural Networks for Visual Recognition (讲座幻灯片)。 here和 here是两个很棒的有关CNNs的视频。

4，接下来就是自己电脑上运行你的第一个CNN

• 买 GPU 和安装 CUDA
  

• 安装 Caffe 及 Digit
  

• 安装 Boinc（这个对你的学习没帮助，但是能让其他研究人员在在它闲置的时候使用你的GPU从科学工作）
  

5，Digit提供上会给少数几个算法，比如 用来性格识别的Lenet ，图像分类的 Googlenet。你要下载 相关数据库（ dataset for Lenet 和 dataset for Googlenet ）来运行这些算法。可以修改算法并尝试其他有趣的视觉图像识别任务，就像我们尝试过的（ here）。

6，就各种NLP任务而言，RNNs是最佳选择。学习RNNs最好的地方是斯坦福的演讲视频（Stanford lecture videos here）。你可以下载 Tensorflow，用它来建造RNNs.

7，现在，继续选择一个深度学习问题吧，无论是面部识别还是语音识别、无人驾驶汽车等等，试着解决它。

如果你完成了所有步骤，恭喜！去申请谷歌、百度、微软、脸书或者亚马逊的职位吧。没多少人能做这些。

来自linkedin，机器之心编译出品。编译：微胖。

世界上最好计算机视觉系统有多精确？就在美国东部时间12月10日上午9时，ImageNet计算机视觉识别挑战赛结果揭晓——微软亚洲研究院视觉计算组的研究员们凭借深层神经网络技术的最新突破，以绝对优势获得图像分类、图像定位以及图像检测全部三个主要项目的冠军。同一时刻，他们在另一项图像识别挑战赛MS COCO（Microsoft Common Objects in Context，常见物体图像识别）中同样成功登顶，在图像检测和图像分割项目上击败了来自学界、企业和研究机构的众多参赛者。

ImageNet计算机视觉挑战赛由来自全球顶尖高校和公司的研究员组织举办，近年来已经成为计算机视觉领域的标杆，其比赛结果总能十分直观地反映出计算机视觉这一热门领域中各研究机构的研究进展和突破。MS COCO数据库是由微软资助建立，其挑战赛目前由学术界几所高校联合组织，独立运行。

这两个挑战赛的侧重点各有不同：ImageNet 倾向于评测识别图像中显著物体的能力，而MS COCO倾向于评测识别复杂场景的各类物体的能力。能同时在两个世界级的比赛中获得冠军，足以说明研究组的技术突破是通用的——它可以显著地改善计算机视觉领域的各项研究，甚至计算机视觉领域以外的研究，比如语音识别。那么究竟是什么样的技术突破？

在计算机视觉领域，深层神经网络的方法常常被研究人员用来训练计算机识别物体，微软也不例外。但微软亚洲研究院的研究员们在此次ImageNet挑战赛中使用了一种前所未有，深度高达百层的神经网络。该网络的层数比以往任何成功使用的神经网络的层数多5倍以上。

要实现这一技术，背后的挑战巨大。起初，连研究员们自己都不确信训练非常深的网络是可能或有用的。“我们没想到这样一个简单的想法意义却如此重大。” 微软亚洲研究院首席研究员孙剑坦言。完成这项技术突破的团队由4位中国研究员组成：孙剑与何恺明来自微软亚洲研究院视觉计算组，另外两人为微软亚洲研究院的联合培养博士生，分别是来自西安交通大学的张祥雨和中国科学技术大学的任少卿。

微软亚洲研究院主管研究员何恺明

当然，这个重大的技术突破震惊的不仅仅是这个研究团队的研究员们。微软全球资深副总裁Peter Lee表示，“从某种意义上说，他们完全颠覆了我之前对深层神经网络的设想。”

ImageNet挑战赛去年获胜的系统错误率为6.6%，而今年微软系统的错误率已经低至3.57%。事实上，该研究团队早在今年一月就首次实现了对人类视觉能力的突破。当时，在题为“Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification”的论文中，他们系统的错误率已降低至4.94%。此前同样的实验中，人眼辨识的错误率大概为5.1%。

滴水穿石：这是一个关于耐心与创新的故事

近几十年来，科学家们一直都在训练计算机做各种各样的事情, 例如图像或语音识别。但很长一段时间内，这些系统的误差巨大，难以消弭。

大约在五年前，研究人员们开始重新使用 “神经网络”的技术并使其再次焕发出新的活力。神经网络的复兴让图像和语音识别等技术的精度实现了大幅度飞跃。微软的SkypeTranslator实时语音翻译技术就得益于此，它能够更好地识别语音，从而不断完善机器翻译的准确性。

类似于人脑，神经网络包含多级非线性处理层。从理论上说，越多的层级应该能带来越好的学习结果。但实际实验中的最大挑战是，在通过每一层级的反传训练中，反穿监督信号幅度会迅速衰减，这让整个神经网络系统的训练极为困难。

孙剑回忆到：“三年前，当计算机视觉和机器实际领域训练出8层的深层神经网络系统时，识别精度有了质的飞跃。去年出现了足有20到30层的深层神经网络，识别精度又被大幅刷新。”

孙剑和他的组员们认为网络还可以更深。过去的几个月来，他们用各种方式来添加更多的层级，同时还要保证结果的准确性。他们经历了大量错误的尝试，也吸取了很多的经验教训。最后，一个被他们称之为“深层残差网络（deep residual networks）”的系统在微软亚洲研究院成功诞生。

这个“深层残差网络”正是他们用于ImageNet挑战赛的系统，它实现了惊人的152层，比以往世界范围内的任何系统都深5倍以上。它还使用了一个全新的“残差学习”原则来指导神经网络结构的设计。残差学习最重要的突破在于重构了学习的过程，并重新定向了深层神经网络中的信息流。残差学习很好地解决了此前深层神经网络层级与准确度之间的矛盾。

借水行舟：从科研探索到智能产品

神经网络有一个非常重要的优点，就是学习到的内部表示或特征可以在不同任务中复用。Skype Translator就是一个很好的例子，英语与德语之间的翻译准确率可以随着英语与中文翻译的不断增加而提高。

孙剑表示，他们的深层残差网络具有非常强的通用性。他们把该系统用于ImageNet挑战赛的分类任务后，他们发现这一系统学到的内部表示或特征能显著提高其它三项任务：检测（detection），定位（localization）和分割（segmentation）。“从我们极深的深层神经网络中可以看出，深层残差网络力量强大且极为通用，可以预见它还能极大地改善其它计算机视觉问题。”

事实上，孙剑团队多年来在计算机视觉领域的研究成果已经转化到众多微软的智能产品和服务中，例如，微软牛津计划中的人脸识别和图像识别API、Windows 10中的Windows Hello“刷脸”开机功能、必应的图像搜索、微软小冰的多个图像“技能”，OneDrive中的图片分类功能，以及广受好评的口袋扫描仪Office Lens等等，不胜枚举。

以微软牛津计划为例，该计划开放了一系列机器学习相关的API，让没有机器学习背景的开发人员也能构建自己的智能应用。而其中人脸识别API作为牛津计划最先开放的API，受到广泛使用。此前火遍全球的How-old.net（微软颜龄机器人）和Twins or Not（微软我们）就是在人脸识别API基础上，通过几行简单的代码实现的。

通过和微软产品部门的紧密合作，这些来自于微软亚洲研究院的全球领先的计算机视觉技术得以应用在几亿人的生活中。而这些来自中国研究员的研究成果，正在为我们的生活带来一场“隐形革命”，为全球用户提供更智能的生产力工具和更个性化的计算体验。

微软全球资深副总裁、微软亚洲研究院院长洪小文博士表示，“与视觉在人类感官中的重要性相同，计算机视觉的一次次重大突破无疑为人工智能的整体发展提供了强大动力。让计算机看懂多彩的世界，一直是激励微软研究院及计算机领域同仁在这条充满挑战的道路上前行的重要力量。未来，还有更多突破等着我们去挑战！”

“微软亚洲研究院成立17年了，她的研究环境和气氛为中国IT届培养了众多的人才; 我在这里工作了12年，静下心来你就能在这样的环境中收获激动人心的发现。今天，我对我的团队说，请享受一天获得NBA冠军的感觉！”孙剑说。
阅读记录:read twice