매개변수 갱신신경망 학습의 목적은 손실 함수의 값을 가능한 한 낮추는 매개변수를 찾는 것이다.이 과정을 최적화(optimization)이라고 한다. 지금까지는 최적의 매개변수 값을 찾는 단서로 미분을 이용했다. 매개변수의 기울기를 구해 기울어진 방향으로 매개변수 값을 갱신하는 일을 반복해 점점 최적의 값에 다가갔다.이것이 확률적 경사 하강법(SGD)이란 단순한 방법이다. 최적화를 해야하는 상황을 모험가 이야기에 비유해 보았다.색다른 모험가가 있다. 광활한 메마른 산맥을 여행하면서 날마다 깊은 골짜기를 찾아 발걸음을 옮긴다.그는 전설에 나오는 세상에서 기징 깊고 낮은 골짜기, '깊은 곳'을 찾아가려 한다.그것이 그의 여행 목적이다. 게다가 그는 엄격한 '제약' 2개로 자신을 옭아맸다.하나는 지도를 보지 않..

오차역전파법오차역전법을 풀어쓰면 '오차를 역(반대 방향)으로 전파하는 방법(backward propagation of errors')이다.  계산 그래프계산 그래프(computational graph)는 계산 과정을 그래프로 나타낸 것이다.그래프는 노드(node)와 엣지(edge)로 표현된다.  문제 1: 현빈 군은 슈퍼에서 1개에 100원인 사과를 2개 샀습니다. 이 때 지불 금액을 구하세요. 단, 소비세가 10% 부과됩니다. 계산 그래프는 계산 과정을 노드와 화살표로 표현한다.노드는 원으로 표기하고 원 안에 연산 내용을 적는다. 계산 결과를 화살표 위에 적어 각 노드의 계산 결과가 왼쪽에서 오른쪽으로 전해지게 한다.문제 1을 계산 그래프로 풀면 아래 그림처럼 된다.x2와 x1.1을 각각 하나의 연산으..

신경망 학습신경망의 특징은 데이터를 보고 학습할 수 있다는 점이다. 가중치 매개변수의 값을 데이터를 보고 자동으로 결정한다는 뜻이다. 보통 어떤 문제를 해결하려 들 때, 특히 어떤 패턴을 찾아내야 할 때 사람은 "이 문제는 아마 이런 규칙성이 있는 것 같아.", "근본 원인은 다른 데 있을지도 몰라."와 같이 사람의 경험과 직관을 단서로 시행착오를 거듭하며 일을 진행한다. 반면 기계학습에서는 사람의 개입을 최소화하고 수집한 데이터로부터 패턴을 찾으려 시도한다. 신경망과 딥러닝은 기존 기계학습보다 사람의 개입을 더욱 배제할 수 있게 해주는 중요한 특성을 지닌다. MNIST에서 경험한 것처럼, 손글씨 숫자를 구별하는 프로그램을 구현한다고 생각해보자. 사람의 경우 정말 직관적으로 단숨에 분류할 수 있다. 하지..

퍼셉트론은 복잡한 함수도 표현할 수 있다.다만 가중치를 설정하는 작업(원하는 결과를 출력하도록 가중치 값을 정하는 작업)은 여전히 사람이 수동으로 한다. 신경망은 가중치 매개변수의 적절한 값을 데이터로부터 자동으로 학습하는 능력이 있다.  신경망을 그림으로 나타낸 것이다. 은닉층의 뉴런은 입력층이나 출력층과 달리 사람 눈에는 보이지 않는다.0층이 입력층, 1층이 은닉층, 2층이 출력층이 된다.  ※ 3층으로 구성된 신경망이지만, 가중치를 갖는 층은 2개이기 때문에 2층 신경망이라고도 한다.    편향을 명시한 퍼셉트론은 이렇게 나타낼 수 있다.가중치가 b이고 입력이 1인 뉴런이 추가되었다. x1,x2,1이라는 3개의 신호가 뉴런에 입력되어 각 신호에 가중치를 곱한 후, 다음 뉴런에 전달한다. 위의 식을 ..

2.1퍼셉트론(perceptron)이란? 다수의 신호를 입력으로 하나의 신호를 출력한다.   왼쪽의 그림은 입력으로 2개의 신호를 받은 퍼셉트론의 예이다.x는 입력 신호,  y는 출력 신호, w(weight)는 가중치를 뜻한다.그림의 원을 뉴런 또는 노드라고 부른다.입력 신호가 뉴런에 보내질 때는 각각 고유한 가중치가 곱해진다.(w1x1, w2x2)뉴런에서 보내온 신호의 총합이 정해진 한계를 넘어설 때만 1을 출력한다.(이를 '뉴런이 활성화한다'라고 표현하기도 한다)그 한계를 임계각이라고 하며, 세타(Θ) 로 표현한다. 이 퍼셉트론의 동작 원리를 수식으로 나타내면 이렇다. 퍼셉트론은 복수의 입력 신호 각각에 고유한 가중치를 부여한다. 가중치는 각 신호가 결과에 주는 영향력을 조절하는 요소로 작용한다. 즉..

list [ ]  dictionary { }bool True False numpy - import numpy as npmatplotlib -  import matplotlib.pyplot as plt                     from matplotlib.image import imgread  Man.py  (클래스 연습)##Man.pyclass Man: def __init__(self,name): self.name = name print("Initailized!") def hello(self): print("Hello " +self.name + "!") def goodbye(self): print("..