인공지능의 역사

인공지능 역사

---

인공지능의 탄생

• 인공지능이라는 용어는 1056년 열렸던 다트머스 회의에서 처음 언급
• 수학·컴퓨터 과학 이론을 바탕으로 한 연구에는 기계와 지능을 고찰한 앨런 튜링이 크게 공헌
• 생리학적 측면에서는 생리학, 기계 공학, 제어 공학을 융합해 다루는 분야인 사이버네틱스와 인공지능의 핵심 이론 중 하나인 신경망(Neural Networks)을 연구

 

Turing Test

"사람의 대화상대가 컴퓨터인지 사람인지 구분할 수 없다면 그 컴퓨터가 지능을 가지고 있다고 봐야 한다."

Turing Test (튜링 테스트)

 

 

• 1050년 Alan Turing(앨런 튜링)이 Computing Machinery and Intelligence 논문에 발표
• 후대 과학자가 인공지능에 대해 논의하고 연구하는 바탕이 됨
• 레딩대에서 Turing Test방식 개발 (2014년)
• 심판은 5분 동안 각각 5회 대화 후 어느 쪽이 사람인지 판별
• 심판진의 1/3을 속이면 통과

 

---

인공지능의 시작

 

퍼셉트론

 

사람 뉴런, 인공 뉴런

• 생리학적 측면에서는 생리학, 기계공학, 제어공학을 융합해 다루는 분야인 사이버네틱스와 인공지능의 핵심 이론 중 하나인 신경망(Neural Networks) 을 연구
• 이 연구가 발전한 인공 신경망(Artificial Neural Networks) 의 개념이 발생
• 1957년, 미국의 신경 생물학자 프랑크 로젠블랫이 이 개념을 실제 장치
• 그 장치의 이름이 퍼셉트론(Perceptron)

 

퍼셉트론을 통한 학습 및 문제점

 

퍼셉트론

• 퍼셉트론은 입력 값을 여러 개 받아 출력을 만드는데, 이때 입력 값에 가중치를 조절할 수 있게 만들어 최초로 '학습' 을 하게 했음
• 입력 $X_{i}$들이 가중합($ΣX_{i}W_{i}$)이 참인지 거짓인지 판별 후 오차를 통해 가중치를 업데이트(학습)
• 퍼셉트론 1개 당, $Y$ 1개 즉, 퍼셉트론의 개수만큼 만족시키는 선이 여러 개 존재하기 때문에 최적의 경계선을 찾기 어려움

---

Adaline

 

3년 후, 경사 하강법을 도입해 최적의 경계선을 그릴 수 있게 한 아달라인(Adaline) 이 개발

 

아달라인(Adaline)

 

• 퍼셉트론의 방식에서 경사하강법(GD: Gradient Descent) 를 도입함으로써 최적의 경계선을 찾게 됨

 

---

인공지능의 현실적인 문제: XOR

 

퍼셉트론이 완성되고 아달라인에 의해 보완되며 드디어 현실 세계의 다양한 문제를 해결하는 인공지능이 개발될 것으로 기대했으나, 곧 퍼셉트론의 한계가 보고됨

 

"직선의 한쪽 편에는 검은색 점만 있고, 다른 한쪽에는 흰색 점만 있게끔 선을 그을 수 있을까?"

XOR 문제

• 선으로는 같은 색끼리 나눌 수 없다. -> XOR연산 문제
• XOR문제에 부딪혀 AI역사의 1차 암흑기 (첫 번째 겨울: 1960년대 말~ 1970년대)가 시작된다.

 

AND, OR, XOR

AND, OR, XOR

• XOR(exclusive OR)문제는 논리 회로에 등장하는 개념으로 퍼셉트론의 한계
• AND, OR은 직선으로 같은 색의 점끼리 나눌 수 있지만, XOR은 불가능하다.

 

---

XOR 문제를 해결하기 위한 새로운 접근방법

 

성냥개비 여섯 개로 정삼각형 네 개 만들기?

 

성냥개비 6개로 정삼각형 4개 만들기

 

XOR 문제를 해결하기 위한 '차원(Dimension)' 개념 적용

 

---

XOR문제를 해결하기 위한 새로운 접근방법: 다층 퍼셉트론

 

다층 퍼셉트론의 등장 배경

종이를 접어 하나의 선을 그으면, 같은 색의 점끼리 분류할 수 있다!

 

---

다층 퍼셉트론을 활용한 은닉층 도입

 

• 종이를 휘어 주어 선 두 개를 동시에 긋는 방법
• 이것을 XOR 문제에 적용하면 퍼셉트론 두 개를 한 번에 계산하면 된다는 결론에 이름
• 이를 위해 퍼셉트론 두 개를 각각 처리하는 은닉층(hidden layer)을 만듦
• 다층 퍼셉트론을 통해 XOR 문제를 해결하여 AI의 1차 암흑기가 끝나게 됨

 

---

다층 퍼셉트론의 문제: Parameter Update Issue

 

Parameter Update Issue

 

• 층이 많아 질 수록, parameter update가 힘들어짐, 여기서 parameter는 데이터의 특징을 의미
• 즉, 학습할수록 데이터의 특징이 희미해짐
• 이로 인해, AI역사의 2차 암흑기(두 번째 겨울: 1980년대 말, 1990년대 초)이 시작됨

 

Neural Networks(신경망), 복잡한 합성함수

 

• Nerual Networks는 다양한 함수의 합성된 계산식 = 합성함수
• 복잡한 합성함수의 연결된 미분 규칙 = 연쇄 법칙(Chain Rule)

---

다층 퍼셉트론의 문제 해결을 위한 Backpropagation

 

Backprogpagation(오차역전파)

• Backpropagation(오차역전파) 를 통해 Chain Rule(연쇄 법칙)을 해결

---

딥러닝의 전성기

 

Deep Learing의 전성기 시작

• AI역사의 2번째 암흑기(2번째 겨울)을 끝냄
• 동시에 새로운 활성화 함수, 초기 가중치 설정, 하드웨어의 발전을 통해 딥러닝이 발전

 

 

출처: [성균관대 컨소시엄] 건양대  DNA School 기초과정 - 병원 임상데이터를 활용한 AI기초 강의자료