Recurrent Neural NetworksRecurrent Neural NetworksWhy Sequence Models?레이블 데이터 X,Y를 사용하여 지도 학습으로 해결할 수 있다.Notation9단어의 sequence. Tx는 개수, Ty는 길이. (i): example, : TIF element단어 집합을 만든다. 사전에서 각각 빈도수로 가져온 단어 1만개. 단어 각각을 나타내는 one-hot 표현법.단어 집합에 단어가 없을 때? => 단어 집합에 없는 단어를 표현하기 위한 UNK라는 단어를 만들기.Recurrent Neural Network Modelinput과 output이 동일한 길이가 아님. naive한 nn architecture는 텍스트의 서로 다른 위치에서 학습한 기능을 공유하지..
Foundations of Convolution Neural NetworksConvolutional Neural NetworksEdge Detection Example숫자를 1,2,1,0,0,0,-1,-2,-1로 바꾼 sobel filter, 3,10,3,0,0,0,-3,-10,-3로 바꾼 scharr filter를 사용하기도 함.padding - 이미지를 최대한 활용Stried Convolutions - 두 단계씩 점프 Convolutions Over Volume - 입체형에서의 합성곱One Layer of a Convolutional NetworkSimple Convolutional Network ExamplePooling LayersCNN ExampleWhy convolutionsDeep Convo..
Coursera Deep Learning 강의를 정리한 내용입니다.ML Strategy 1Introduction to ML Strategy90% 정확도를 가진 모델을 더 개선하고 싶다딥러닝 시스템 개선하지만 6개월 동안 한 시스템 개선이 소용없을 수 없다.여러 전략을 알고 잘 선택해야 한다. Orthogonalization.어떤 효과를 얻기 위해 어떤 것을 튜닝할 것인지에 대한 절차를 아는 것이 중요하다.직교화의 예시로는, 티비나 자동차의 각 손잡이가 하나의 역할을 수행하도록 하는 것이다. Chain of assumptions in ML다음 네 가지가 잘 유지되도록 해야 한다.Fit training set well on cost funciton (= human level performance)Fit de..
Coursera Deep Learning 특화 과정의 강의를 듣고 정리하였습니다.Practical Aspects of Deep LearningTrain/Dev/Test set & Bias/Variancetrain set, dev set, test set로 나누어서 계산한다.빅데이터일수록 train set의 비중이 높아진다.bias/variance의 개념을 이해한다.RegularizationL2 정규화Dropout을 이해한다.Optimization ProblemInput을 정규화한다.Vanishing / Exploding GradientsWeight Initialization for Deep NetworksGradient Checking Optimization Algorithms더 빨리 계산할 수 있게 해..
single hidden layer와 logistic regression을 사용하는 신경망의 맥락에서 순방향 전파와 역방향 전파를 살펴보았다.벡터화가 무엇인지에 대해서 배웠다.랜덤으로 초기화하는 것이 언제 필요한지에 대해서도 배웠다.
Logistic Regression as a Neural Network신경망 프로그래밍의 기초를 배울 것이다. 신경망 구현 기술신경망을 구현할 때는 몇 가지 중요한 기술이 있다. 1. for루프 사용 안함예를 들어, m개의 훈련 예제를 가진 샘플이 있으면, 훈련 예제에 대해서 for루프를 돌리면서 하나씩 훈련 세트를 처리했을 것이다.신경망을 구현할 때는 일반적으로 전체 훈련 세트를 반복하기 위해 for문을 사용하지 않고 처리한다. 2. 순방향 전달과 역방향 전달신경망의 계산을 정리할 때 일반적으로 순방향 전달(순방향 전파 단계), 역방향 전달(역방향 전파 단계)라는 것이 있다.신경망 학습의 계산은 왜 전파가 되는지와 왜 역방향 전파가 되는지로 소개할 것이다. 로지스틱 회귀로지스틱 회귀로 아이디어를 전달..
Coursera Deep Learning 특화 과정의 강의를 듣고 정리하였습니다.Introduction to Deep LearningWhat is a Neural Network?집값 예측 예시.선형회귀를 하면, 일직선과 비슷하다. 음수가 될 수 없으므로 대신 0을 넣는다.신경망의 단일 뉴런인 작은 원이 함수를 구현한다.이러한 함수는 ReLu 함수로 부르며, 정류된 함수 단위이다.더 큰 신경망은 많은 단일 뉴런을 쌓음으로써 발생한다.단순 크기로 집의 가격을 예측하는 것 대신에, 다른 특성이 있다고 가정해보자."#침실", "주소", "자산" 각각의 작은 원은 ReLu 또는 정류된 선형 단위 또는 다른 약간 비선형 함수들 중 하나가 될 수 있다.x는 입력값, y는 예측하려는 값이다.x,y를 훈련 세트에 도입하..
