[김기현의 자연어 처리 딥러닝 캠프]1장. 딥러닝을 활용한 자연어 처리 개요

해당 카테고리에서는 김기현의 자연어 처리 딥러닝 캠프 파이토치편을 공부하면서 기억해 둘 것을 정리해논 곳 입니다.
이 포스트에는 1장 딥러닝을 활용한 자연어 처리 개요를 공부하며 정리한 것을 작성해 두었습니다.

자연어처리란

자연어란 우리가 일상 생활에서 사용하는 언어를 말한다.
자연어 처리(Natural Language Processing, NLP)는 인공지능의 한 분야로, 사람의 언어를 컴퓨터가 알아듣도록 처리하는 일을 말한다.

딥러닝

딥러닝의 발전으로 머신러닝의 분야들 거의 모두에 많은 영향을 미침
아래 논문들은 각 분야의 딥러닝 적용의 시작 혹은 중요 기점이 되는 논문들

이미지 분류 (Image Classification)

AlexNet : ImageNet Classification with Deep Convolutional Neural Networks
ResNet : Deep Residual Learning for Image Recognition

음성 인식(Speech Recognition)

End-to-end 방식 : State-of-the-art Speech Recognition With Sequence-to-Sequence Models

기계번역(Machine Translation)

Attention Mechanism : Neural Machine Translation by Jointly Learning to Align and Translate

생성 모델 학습(Generative Model Learning)

Adversarial Learning : Generative Adversarial Networks
Variation Autoencoder, VAE : Auto-Encoding Variational Bayes

자연어처리

딥러닝 자연어처리 요약

자연어처리의 어려운점

1. 모호성 - 문장 내 정보 부족으로 인한 다양한 해석의 가능
2. 다양한 표현 - 한 상황에 대하여 여러 다향한 표현이 가능
3. 불연속적 데이터 - 딥러닝은 연속적인 값이 필요함
4. 한국어의 어려운점 - 교착어, 띄어쓰기, 평서문, 의문문, 주어 생략, 한자 기반의 언어

자연어처리의 최근 추세

word2vec : 단어들을 잠재공간(latent space)에 투사시켜 딥러닝을 효과적으로 사용할 수 있게 만듬. Distributed Representations of Words and Phrases and their Compositionality
CNN 텍스트 분류 모델 : 기존 RNN만 사용해야 한다는 고정관념 타파. Convolutional Neural Networks for Sentence Classification
seq2seq : 자연어 처리 분야의 큰 혁명 논문. Sequence to Sequence Learning with Neural Networks
Attention Mechanism : Neural Machine Translation by Jointly Learning to Align and Translate
Neural Turing Machine, NTM : 메모리를 활용한 심화 연구. Neural Turing Machines
Differential Neural Computer, DNC : 메모리를 활용한 심화 연구. Hybrid computing using a neural network with dynamic external memory

Written with StackEdit.