DL : Deep Learning 성공 이유, 장단점

Deep Learning이 각광받는 이유

1. 빅데이터 관련한 플랫폼이 발전했기 때문입니다. -> memory와 storage 가격의 감소로 큰 dataset을 저장이 가능했고, network 기술의 폭발은 memory와 계산능력에 대해 발전을 주었고, cloud 저장소 및 컴퓨팅은 NN계층 및 node의 수를 증가시켰다. GPU 도입으로 병렬 시스템이 구비되었다.
2. 훈련 과정에서 피쳐 추출을 통합하는 것이 가능해졌기 때문입니다. -> CNN과 같은 feature를 추출하여 효율적인 계산과 차원축소로 인해서 계산속도가 굉장히 빨라졌다.
3. 개발 프로세스에서 성능 평가를 체계적으로 통합하기 때문에 이전에는 해결되지 않은 문제에 성공했습니다.         -> Kaggle 과 같은 comunity가 늘어남에 따라 발전속도가 점점 빨라졌다.
4. 알고리즘 개선되었다.

• pre-training: layer 별로 pre-training을 시켜서 initialization을 잘해서 과적응을 방지함
• drop-out: training 시 drop-out (몇몇 node를 training 할 때 빼버리고 함)시킴으로써 over-fitting(node 수가 너무 많아서 overestimate되는 것)을 감소 시켰다. pre-training 보다 휠씬 더 간단하고 강력한 방법임
• rectified unit function: 기존의 sigmoid 함수를 rectified unit function로 대체함으로써, vanishing gradient effect (back propagate되는 error가 input layer에 가까울수록 사라져버리는 현상)를 줄였다.

---

딥러닝 장점

• 박층 인공신경망 (shallow artificial neural network)에 비해 더 적은 수의 처리 유닛으로 더 높은 성능을 낼 수 있다.
• 수작업 feature 개발을 비지도 혹은 반지도 feature 학습 및 계층형 feature 추출을 하는 효율적인 알고리즘 대체.
• 컴퓨터 비전과 자동 음성 인식(ASR, automatic speech recognition) 분야에서 최고 수준의 성능.

---

딥러닝 단점

needs very big data

• 수집 데이터가 충분히 촘촘한 경우가 아니면 잘 동작하지 않음 -> overfitting이 잘 일어남.
• 학습 실시간성 문제

빈약한 이론적 뒷받침

• 경사 하강법 자체는 이론적으로 이해가 잘 되었지만, 이와 함께 사용하는 다른 알고리즘은 이론적인 검증(즉, 증명)이 빈약
• 딥 러닝에 사용되는 방법들은 이론적이기 보다는 경험적으로 검증된 방법들을 사용하기 때문에 종종 블랙박스로 이해됨
• trial and error

인과 관계 표현 능력 부족

• 설명 능력 부족
• 논리적 추론 능력 부족
• 용도 인식과 같은 추상적인 정보 인식이 어려움
• 왓슨과 같은 인공지능 시스템은 딥 러닝을 복잡한 여러 개의 테크닉 중 단지 한 부분을 위해 사용함

confidence(신뢰도) 부족

• 수집된 데이터의 양에 따른 적절한 응답 신뢰도를 제공하지 못함