Nvidia Deep Learning Day 2016 メモ

Nvidia Deep Learning Day 2016の自分用メモです。

IMAGENET

Big Sur
Deep Speech

Neural Net

Periscope
ビッグデータディープラーニングの元になっていく

レーニングのためのサーバー
推論、ウェブサービスのためのサーバー

TESLA M40
7.1TFLOPS

TESLA M4
2.2TFLOPS 1024 CUDA Core
50-75W

ディープラーニングSDK
cuSPARSE
cuBLAS
NCCL

cuDNN 4
2D FFTタイリング
Batch Normalizer

従来型;BLAS
最新型: 2D FFT

畳み込み演算

FP16

cuBLAS 密行列
cuSPARSE 自然言語処理を高速化
Bag of Wordsをより高速に処理

NCCL

all-gather, reduce, broadcast
シングルプロセスおよびマルチプロセスで使用する事が可能

DIGITS 3 ウェブベースのディープラーニングGPUレーニングシステム

学習済みまで1-2時間

Jetson TX1

Nvidia Visionworks

torch
caffe
theano

Jetson TX1 real time classification

Preferred Networks

車載カメラ
velodyne LIDAR

アクチュエータ

DL

Googlenet: 22層

Chainer データごとにオンデマンドでニューラルネットワーク

273次元のセンサ入力

褒めたり罰を与えたりして学習する

ランダムな状況で

信号なし交差点

強化学習

どこが取れたかを
ロボットのチューニングとほぼ同じ精度に8時間でなった。

提案手法

画像の自動生成

Chainer-goch
Chainer-DCGAN

パラメータ

javascript上で動いている

Mike Schuster

Tensorflow

Open Source

Deep Learning - at Google - 3-4 people

Large Scale Distributed deep networks Jeff Dean

Android
Gmail
NLP
Translation
many research use

trillions of words of English

knowledge graph

言語はなに
IS it a question or not

Tensor flow Version 2

mobile too in multiple GPU

C++ low overhead

画像認識のためだけのシステムとかだった

今は汎用的

directed acyclic graph DAG

backward graph and update

Distributed Dataflow Graph
Thread Processes, GPUs, Machines

inference means to execute just the forward

good generalization: meal

sensible error

snake

photo search

sequence model
データが系列になった

音声は単語の列+時間軸

ベクター

LSTMs

Image captioning
写真の説明

CUDA toolkit 7.0

multi machine not

neural network models

Sigmoid

Why open source
機械学習は色々なところで使われる。

コミュニティが良くする。

multi machineはまだ



docomo developer support

シナリオ対話
雑談対話のAPI

画像認識API

カテゴリ認識

ファッション認識

20000 iter
CPU 数百ms
GPU 数十ms

GPU サーバー

シーン認識

トレンド解析
ファッション認識 => 似たファッションをレコメンドできる

MATLAB


金融;オプション

GPGPUMATLAB

Parallel Computing Toolbox

gather

convolutional neural network

Neural Network Toolbox

MatConvNet

train auto encoder

cuDNN

転移学習

回帰分析と分散分析

Image Acquisition Toolbox

Robot OS

Signal Processing Toolbox
Wavelet Toolbox

Grand Challenge

セルフドライビング

NVIDIA

Drivenet

LIDAR カメラ レーダー

世界は複雑
世界は予測不能
世界は危険

嵐、雨、逆光:カメラを使った場合の問題点

GPUは現代AIの働き者 - Popular Science

Nvidia Drive PX 2

Pascal GPU

リキッドクーリング方式
液冷

VOLVO ぶつからない車の未来へ向けNVIDIAディープラーニングカーコンピュータが選定された。

NVIDIA DRIVENET

city scape

segmentation

自動運転のどこを走れるか

Can be used for long range image analysis?

自動運転;80%の命が救われるかもしれない。

Tesla
TITAN X
DRIVE PX
Jetson