[인공지능 연구동향] Deep Learning OverView

Deep Learning OverView

딥러닝 정리

• 딥러닝은 데이터로부터 유용한 패턴을 추출한다
• 이를 위해서 Neural Network나 Gradient 기반의 Optimization을 이용한다.
• 딥러닝을 구연하고 활용하는 측면에서 주로 Python을 사용한다.
• Python : 문법이 쉬우며 딥러닝을 구현할 수 있는 라이브러리가 잘 구현되어 있다.
• Tensorflow, Pytorch : 딥러닝을 사용하는데 도움을 주는 라이브러리 , 지속적인 업데이트로 점점 더 많은 기능을 제공하고 있다.

• 딥러닝을 실제로 활용하는 부분에서 어려움을 겪을 부분은 좋은 질문과 좋은 데이터를 만드는 것
• 따라서 문제를 잘 정의하고 접근할 필요가 있다(Hard Part : Good Question + Good Data)

현재 시점에서 딥러닝을 사용하기 좋은 이유

• 우리가 하고자 하는 목적에 맞춰 사용할 수 있는 데이터
• 하드웨어, 딥러닝 알고리즘의 많은 발전
• TensorFlow, Pytorch와 같은 딥러닝 라이브러리가 우리가 생각하고 상상하는것을 구현하는데 도움을 줌
• 딥러닝 정보공유를 위한 커뮤니티가 잘 되어 있음(TensofFlow Korea)
• 다양한 분야에서의 많은 투자

이를 근거로 딥러닝을 배우기에 나쁘지 않은 시기이다.

딥러닝의 성과

• Face recognition - 얼굴인식 : 보안, 엔터테인먼트 분야에 널리 사용됨
• Imgage Classification : 몇 해 전 사람보다 잘하는 수준까지 올라옴
• Speech recognition
• Text-to-speech generation, Handwriting transcription
• Machine translation : 완벽하진 않지만 퀄리티를 점점 높여가고 있음
• Machine diagnosis : 많은 사람들이 우려하는 분야이지만 이를 도입하려는 시도가 이루어지고 있음
• Cars : drivable area, lane keeping : 제한적이지만 운전을 보조하는 정도로 널리 사용되고 있음
• Digital assistance
• ads, search, social recommendations
• 강화학습을 이용한 게임 분야도 매우 많은 성과를 내고 있다.

딥러닝을 위한 유용한 resource

딥러닝 분야

• Fast.ai : Practical Deep Learning for coders 강의를 제공하는데, 짧은 시간안에 실용적인 수준에서의 지식 습득 가능.

• Deeplearning.ai: Andrew Ng 교수님의 Coursera 딥러닝강의는 딥러닝에 대해 좀 더 깊이있는 지식을 얻을 수 있음.

• Stanford CS231n : 컴퓨터 비전 분야에 관심 있으면 참고. 영상이 2017년 기준이어서 보충 필요

• Stanford CS224n : 자연어 처리에 관심이 있으면 참고

• Edwith : 김성훈 교수님의 BASIC 강좌는 머신러닝과 딥러닝의 기본적인 내용 습득에 도움이 됨.

강화학습 분야

• 알파고, 알파 제로를 이끈 David Silver의 강좌
• OpenAI 강좌 : Spinning up in Depp RL
• 더 관심 있다면 버클리 대학의 세르게이 레빈 교수님의 강좌

수학 기초 지식

• 딥러닝을 처음 공부할 때 많이 고생하는 것이 수학 기초 지식
• Edwith : 인공지능을 위한 선형대서 - KAIST 주재걸 교수님

• Model Zoo에는 프레임워크별, 카테고리별로 코드가 공개되어 있어 참고할 수 있다.
• 데이터 셋 : 수많은 종류의 데이터셋을 정리해둔 사이트
• Papers with code : 최근 사람들의 관심을 많이 받는 논문과 코드를 확인 가능. task에 따른 성능 순위 확인가능
• Arxiv Sanity Preserver : 비교적 최근 관심을 많이받는 논문이 무엇인지 파악하는데에 유용함

참고 : K-MOOC 인공지능 연구동향 - 중앙대학교 김영빈 교수님