Convolution Neural Networks
Foundations of Convolution Neural Networks
Convolutional Neural Networks
Edge Detection Example
숫자를 1,2,1,0,0,0,-1,-2,-1로 바꾼 sobel filter, 3,10,3,0,0,0,-3,-10,-3로 바꾼 scharr filter를 사용하기도 함.
padding - 이미지를 최대한 활용
Stried Convolutions - 두 단계씩 점프
Convolutions Over Volume - 입체형에서의 합성곱
One Layer of a Convolutional Network
Simple Convolutional Network Example
Pooling Layers
CNN Example
Why convolutions
Deep Convolutional Models: Case Studies
Case Studies
Classic Networks
빨간색은 논문을 읽는 사람들을 위한 것. 건너뛰어도 됨.
ResNets
Why ResNets Work?
위 그림에서 두 개의 레이어를 더해도 성능 저하가 일어나지도 않고, 퍼포먼스를 돕는다.
많은 층은 결과물을 오히려 더 나쁘게 만들 수도 있다.
잔류 네트워크가 동작하는 이유는 추가 층이 항등 함수를 쉽게 학습해서 성능을 저하시키지 않고 퍼포먼스를 돕는다.
추가 건너띄기 연결을 더하는 것이다.
Networks in Networks and 1x1 convolutions
입체형일 때 유용하다. 하나의 뉴런을 가지고 있는 것과 같다. 입력 볼륨에 대해 아주 단순한 계산을 수행할 수 있다.
채널(3번째 곱하는 수)을 축소 (32) 하는 것에 유용하다. 물론 채널 수를 유지(192)할 수도 있다.
Inception Network Motivation
모든 작업을 수행하고 출력을 연결한다.
5x5 계산비용. 곱셈을 많이 해야 한다.
계산 비용(곱셈의 총합)을 많이 축소할 수 있다.
Inception Network
MobileNet
MobileNet Architecture
EffectiveNet
신경망 확장 또는 축소
Practical Advice for Using ConvNets
Transfer Learning
다른 사람의 오픈소스 활용. 전이 학습 항상 실시하기. 인터넷의 다른 학습 세트 활용.
Data Augmentation
State of Computer Vision
Object Detection
Detection Algorithms
Object Localization
p_c : 객체가 있을 가능성. bx, by, bh, bw가 박스를 결정한다. c1은 보행자, c2는 자동차, c3는 자전거를 의미한다(0,1,0). p_c가 0일 경우 객체가 없는 것이므로 경우 나머지는 신경쓸 필요가 없다.
손실함수를 구할수도 있다.
Lanmark detection
일반적으로, 중요한 점의 x와 y 좌표를 출력할 수 있다.
랜드마크 인식. 가장자리 인식 등. 라벨 훈련 세트가 필요할 것이다.
라벨은 이미지간에 연관성이 있어야 한다.
Object Detection
convnet 학습한 이후 이후 sliding window 감지에서 사용할 수 있다.
computational cost가 든다. 큰 박스를 사용하면 cost는 줄이지만 성능이 줄 수 있다.
신경망이 등장하기 전에는 속도가 많이 느렸다.
Convolutional Implementation of Sliding Windows
신경망을 이용하여 convolution하게 예측
Bounding Box Predictions
경계박스를 더 정확하게 예측하는 방법. 가장 좋은 방법은 YOLO를 사용하는 것이다.
흥미로운 박스만 신경쓴다. 격자판 안에서 정확한 경계 상자를 얻어낼 수 있다. 중앙 점을 신경씀.
1) 이미지 인식 알고리즘과 비슷하다. , 2)컨볼루션 구현이라 빠르게 실행된다.
bx, by, bh, bw를 어떻게 바운딩할까? 격자판의 왼쪽 위는 (0,0), 오른쪽 아래는 (1,1)이다. 비율로 결정한다.
Intersection Over Union
IoU. 합집합에 대한 교집합을 계산한다. 교차점의 크기를 계산한다. 판별기준으로 0.5가 관습적으로 사용된다.
Non-max Suppression
각 객체에 대해 여러 탐지가 일어날 수도 있다. Pc를 감지될 가능성이라 한다. 확률이 낮은 박스를 non-max 억제한다. 출력 객체 당 한 번씩 실행한다.
낮은 확률 출력 박스를 삭제한다.
Anchor Boxes
객체 감지 문제 중 하나 = 각 격자판 셀이 하나의 개체만 감지할 수 있음
격자판 셀이 여러 객체를 탐지하려면? Anchor Box 사용
k-means 알고리즘 사용하여 최적화 해볼수도.
YOLO Algorithm
Region Proposals(Optional)
Semantic Segmentation with U-Net
감지된 객체의 주위에 면밀한 윤곽선을 그려서 개체에 속하는 픽셀과 그렇지 않은 픽셀을 정확하게 파악하는 것
픽셀을 적절히 라벨링하는 것이 핵심이다.
Transpose Convolutions
2x2 input을 4x4 output으로 확장
padding, stride 사용
U-Net Architecture Intuition
일반 convolution , 전치 convolution 사용
skip connections
U-Net Architecture
Special Applications: Face recognition & Neural Style Transfer
Face Recognition
What is Face Recognition?
One-shot learning
Siamese Network
Triplet Loss
신경망의 parameter를 학습하는 한 가지 방법은 삼중항 손실함수에 경사하강을 정의하고 적용하는 것이다. 이는 얼굴사진에 좋은 인코딩을 제공한다.
이미지 쌍을 비교한다. triple을 mapping한다. (anchor(찾고자하는 사람), positive, negative)
같은 사람일 때 J가 작을 것이고, 다른 사람일 때 J가 클 것이다.
Face Verification and Binary Classification
네트워크 쌍을 임베딩한다.
Neural Style Transfer
What is Neural Style Transfer?
What are deep ConvNets learning?
one hidden unit. 선에서부터 복잡한 것까지 구분하게 됨. 9개의 이미지 패치 각각에 대해 뉴런 활성화. 레이어1의 히든 유닛을 훈련시키는 감각을 준다.
Cost Function
Contenct Cost Function
Style Cost Function
채널 간의 상관관계. 얼마나 자주 같이 발생하는지?
1D and 3D Generalizations
