Re:ゼロから始めるML生活

機械学習ド素人が、流行に乗ってニューラルネットとかその他いろいろ勉強してみるブログ

【論文メモ:InfoGAN】InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets

  • 論文
  • 著者
  • 背景
  • 目的とアプローチ
    • 目的
    • アプローチ
  • Information Maximizing Generative Adversarial Networks (InfoGAN)
    • GANの原理
    • 潜在変数を含む相互情報
  • 評価
    • 収束の効率化
    • 表現力に関する評価
  • 結論
  • 感想

論文

https://arxiv.org/abs/1606.03657

著者

Xi Chen, Yan Duan, Rein Houthooft, John Schulman, Ilya Sutskever, Pieter Abbeel

背景

教師なし学習は、膨大なラベルなしデータから値を抽出することと言い換えることことができるが、教師なし学習を何に使用するかは学習時に不明なことが多い。 後続の作業が分類、回帰、描画、はたまた強化学習なのか不明な状態で、教師なし学習を行っても後続作業に便利なように学習する必要がある。

教師なし学習の一角を担う分野は生成モデリングであり、概念を紐解いた画像を生成することを目的とする。 最近ではその手法はVAE (Variational Autoencoder) とGANが有力視されている。

目的とアプローチ

目的

アプローチ

  • Information Maximizing Generative Adversarial Networks (InfoGAN)
    • ノイズと観測の両方に調整を入れる機構を用いた学習
続きを読む

【論文メモ:DiscoGAN】Learning to Discover Cross-Domain Relations with Generative Adversarial Networks

  • 論文
  • 著者
  • 背景
  • 目的とアプローチ
    • 目的
    • アプローチ
  • 提案手法
    • DiscoGAN
    • ネットワーク設計
    • Loss
      • Generative Adversarial Loss
      • Reconstruction Loss
  • 評価
    • 単純評価
    • 実画像の評価
      • CAR to CAR
      • FACE to FACE
      • 多数の特徴が共通する場合の変換
      • 完全に別のものを角度だけ共通に持つ場合の変換
      • EDGES to PHOTOS
      • HANDBAG to SHOES, SHOES to HANDBAG
  • 結論
  • 感想
    • (個人的メモ)CycleGANとの違い:Lossのとり方

論文

[1703.05192] Learning to Discover Cross-Domain Relations with Generative Adversarial Networks

著者

Taeksoo Kim, Moonsu Cha, Hyunsoo Kim, Jung Kwon Lee, Jiwon Kim

背景

我々人間は英語の文と、それを翻訳したフランス語の文の関係性を容易に認識する事が可能である。 また、スーツの上着を見たらそれと対になる同じドメインの服や靴を選ぶことができる。

このように、2つのドメイン間の関係性を認識することは人間にとってはたやすくも、コンピュータにとっては非常に難しい問題となっている。 2つのドメイン間の関係性を認識することは、一方のドメインに存在する画像からもう一方のドメインに適合する画像を生成するという問題に置き換えることができる。

この問題を解くためには、関係性を示した画像のペアを膨大に用意する必要がある。 一方で、ドメイン間で対になっている画像は通常手に入らない。 仮に手に入ったとしても、1対多の組になってしまうことも起こりうる。

続きを読む

GCPでPyTorch(GPU)を使えるようにするまでにやったことのメモ

f:id:nogawanogawa:20181109131209j:plain:w600

だいぶ期間が空いてしまいましたが、結構前にGoogle Cloud Platformの使い方を勉強していました。 (別に諦めてたわけではなく、単純にAWSでいろいろやることがあったので、そっちを使ってただけです)

tsunotsuno.hatenablog.com

当初の目的としては、GPUを使ってDeep Learningをサクサク回していきたいという意図でした。 今回は手元のコードをGCPGPUを使って学習するまでにやったことのメモです。

続きを読む

tensorboardXを使っていろいろ眺めてみる

前回はtensorboardX導入までして、なんとなく動いてそうなことを確認しました。

tsunotsuno.hatenablog.com

今回はもうちょっといじくり回して見たいと思います。

続きを読む

tensorboardXの導入メモ

最近PyTorchを勉強中なんですが、TensorFlowっぽくstatsを確認したいと思い始めました。 TensorBoard自体は結構便利なので、そのまま使えたら良いなーとか思って探してみたらこんなのありました。

qiita.com

なるほどtensorboardXなるものがあるんですね。

github.com

興味が湧いて導入してみたのでそのメモです。

続きを読む

【論文メモ:AttnGAN】AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks

  • 論文
  • 著者
  • 背景
  • 目的とアプローチ
    • 目的
    • アプローチ
  • 提案手法
    • AttnGAN
      • Attentional Generative Network
        • Attention Model
        • Loss
      • Deep Attentional Multimodal Similarity Model (DAMSM)
        • Text Encoder
        • Image Encoder
        • Matching score
        • DAMSM loss
  • 評価
    • 評価条件
    • 内部評価
      • DAMSM loss
      • Attentional generative network
      • Generalizationability
    • 先行研究との比較
  • 結論
  • 疑問
  • 感想

論文

https://arxiv.org/abs/1711.10485

著者

Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang, Xiaodong He
Lehigh University, Microsoft Research, Rutgers University, Duke University

続きを読む

PyTorchを使ってみた

f:id:nogawanogawa:20181029135436p:plain:w600

最近いろいろ忙しかったのですが、一段落ついたのでまたブログを再開します。

ここのところのディープラーニング界隈では、PyTorchなるものがなんだか流行っている感じがあって、今回はそれを使ってみます。

続きを読む