내게 필요한 정보들(금융 경제 정보와 파이썬, DIY)

최근 AI비서, ARS 등 언어 처리에 대한 분야에서 많이 사용되는 딥러닝 아키텍처인 Transformer에 대해 공부중이다.
공부한 내용을 정리하면 좀 더 기억이 잘 되기에 기록을 남겨본다.

RNN과 LSTM 네트워크는 다음 단어 예측, 기계 번역, 텍스트 생성 등의 태스크에서 사용되어 왔었다.
하지만 트랜스포머가 발표된 후에는 트랜스포머에게 자리를 내주었다고 할 수 있다.
트랜스포머가 출연하면서 자연어 처리 분야가 획기적으로 발전하고, 이를 기반으로 한 BERT, GPT-3, T5 등과 같은 아키텍처가 나오게 되었다.

트랜스포머는 RNN에서 사용한 순환 방식을 사용하지 않는다.
대신 셀프 어텐션(self-attention)이라는 특수한 형태의 어텐션을 사용한다. 
트랜스포머는 인코더-디코더로 구성된 모델이다.
인코더에 원문을 입력하면 인코더는 원문의 표현 방법을 학습시키고 그 결과를 디코더로 보낸다.
디코더는 인코더에서 학습한 표현 결과를 가지고 사용자가 원하는 문장을 생성한다.

인코더와 디코더의 구체적인 이해는 다음에 하기로 한다.

대신 Transformer를 기반으로 한 BERT의 특징에 대해 정리해 본다.

BERT(Bidirectional Encoder Representation from Transformer)는 구글에서 2018년 발표한 최신 임베딩 모델이다. 대량의 영어 데이터로 학습된 사전학습 언어 모델로 질문에 대한 대답, 텍스트 생성, 문장 분류 등과 같은 태스크에사 가장 좋은 성능을 도출해 자연어 처리 분야에 크게 기여해 왔다. 

BERT의 특징

• Masked Language Model(MLM) : 어떤 문장의 특정 부분을 Masking처리하여 모델이 Masking 처리된 부분을 예측하도록 학습시키는 방식
• Next Sentence Prediction(NSP) : 두 문장이 이어지는 문장인지 아닌지 맞히도록 학습
• 자기지도 학습 : 학습 Label을 사람이 직접 만들지 않고 스스로 만든 데이터를 학습함으로써 언어의 기본 소양을 쌓음. 이처럼 스스로 정답이 있는 학습 데이터를 만들어 학습하는 방식을 자기지도학습(Self-supervised Learning)이라고 하고 이러한 방식으로 만들어진 언어 모델을 사전학습 모델(Pre-trained Language Model)이라고 한다.
• 전이학습(Transfer Learning) : 사전학습 모델을 기반으로 특정 태스크를 위해 한번 더 학습하는 방식을 전이학습이라고 하고, 이 학습 단계를 파인튜닝(Fine tuning)단계라고 한다. 파인튜닝이란 사전학습 모델을 기반으로 특정 태스크를 위해 딥러닝 모델을 미세하게 조정하는 학습 과정을 말한다.

태스크 활용 사례 : 사전학습 모델은 모델 자체로 특정 기능을 수행할 수 없다. 하지만 파인 튜닝을 통해 여러 다양한 태스크에 활용이 가능하다. 

* RNN(Recurrent Neural Networks) 순환신경망 : 긴 문장의 의미를 파악하고 해당 문장이 의미하는 것이 무엇인지 예측하기 위한 방법으로 쉽게 말해 '여러개의 단어를 입력받게 되었을 때 앞에 입력받은 단어(토큰)을 잠시 기억하고 있다가 이 단어가 얼마나 중요하지 분석해 가중치를 담아 다음 단계로 넘기는 구조로 되어 있다.

* LSTM(Long Short Term Memory)  장단기 메모리 : RNN 기법의 하나로 기존 RNN의 문제인 기울기 소멸 문제(vanishing gradient problem)를 방지하기 위해 개발되었다.

자연어 처리(NLP, Natural Language Processing)

인터넷의 발달과 함께 SNS(페이스북, 트위터, 유튜브, 링크드인, 핀터레스트, 인스타그램, 스냅챗 등)의 등장과 미디어로의 확장은 각 개인의 감정 및 생각을 파악할 수 있는 새로운 장을 열었다고 생각합니다. 하루에도 10억개 이상의 글들이 생성되는 시점에서, 우리는 정보의 홍수 속에 어떤 글, 그림, 동영상을 보아야 할지 파악하기 조차 어렵습니다. 

그래서, SNS와 같은 자연어에서 인사이트(insight)를 뽑아내 활용하는 것이 매우 의미가 있을 것으로 생각합니다.

인터넷을 통해 생성되는 대부분의 텍스트 데이터는 짧은 글(Short text, Small text massages 등)로 되어 있습니다. 이에 텍스트 마이닝(Text mining) 분야에서도 짧은 글을 분석하는 연구들이 많이 진행되고 있다고 합니다. 

특히, 유사도를 비교 분석하는 것은 스펠링 체크, 키워드 서치, 단어들의 읽기 레벨, 부정/긍정, 문서 요약, 문서 분류 등 다양한 어플리케이션 영역에 활용될 수 있기 때문에 짧은 텍스트 간의 유사도(Similarity) 비교하는 연구가 많이 이루어지고 있습니다.  

이번 글에서는 NLP에서 사용하는 몇가지 용어를 정리해 보도록 하겠습니다.

1. 자연어 처리(NLP) 관련해서 나오는 용어들

챗봇(Chatbots) : 채팅 로봇의 줄임말로, 사용자와 메신저가 서로 대화를 나누고 필요한 정보를 서치해서 제공해 주는 AI 기반 커뮤니케이션 소프트웨어(SW)입니다. 정보를 검색해 주거나, 쇼핑 주문을 해 줄 수도 있습니다. 요즘에는 능동적으로 사람의 감정을 읽고 대응하거나 상황에 맞게 먼저 말을 걸 수도 있습니다.

Deep Learning for NLP : 자연어 처리를 위한 딥 러닝이라고 할 수 있습니다. 2000년 초부터 인공신경망은 언어 모형을 구현하기 위해 사용되어 왔습니다. 핵심 기법은 negative sampling과 단어 표현(word embedding)입니다. 

Word2Vec : 데이터 집합으로 주어진 단어들 사이의 관계를 학습하는 인공신경망을 이용하여 단어를 벡터 공간 상에 나타내는 것이라고 할 수 있습니다. 단어 표현을 재귀 신경망(RNN)의 입력 계층으로 이용하면 해당 신경망이 compositional vector grammer를 통해 문장과 구(phrase)를 분석하도록 학습시킬 수 있습니다. 이 compositional vector grammer는 재귀 신경망으로 구현된 probabilistic context free grammar(PCFG)라고 할 수 있습니다. 단어 표현을 기반으로 구성된 Recursivr autoencoder는 문장 간의 유사도 판단과 의역 탐지를 하도록 훈련이 가능합니다. (위키피디아 참조)

RNN(Recurrent Neural Network) 순환 신경망 : 인공신경망을 구성하는 유닛 사이의 연결이 Directed cycle을 구성하는 신경망을 말합니다. 순환 신경망은 임의의 입력을 처리하기 위해 신경망 내부의 메모리를 활용할 수 있습니다. 이러한 특성에 의해 순환 신경망은 필기체 인식(Handwriting recognition)과 같은 분야에 활용되고 있고, 높은 인식률을 나타냅니다. 

RNN(Recursive Neural Network) 재귀 신경망 : tree 구조를 가지는 데이터 처리에 사용합니다. Tree 구조는 언어 분석과 이미지 내부의 물체들의 관계에서 볼 수 있습니다. 사진을 문장으로 자동으로 변환하는 딥러닝 인공신경망에 Recursive Neural Network가 기여하고 있습니다.

2. NLP 활용 전망

자연어 검색(구어와 문어), 온라인 광고 매칭(구글 애드센스), 기계 번역 자동화(구글 번역 등), 마케팅 또는 파이낸스/트레이딩을 위한 정서 분석(물건을 팔고 사기 위한 결정을 도울 수 있는 정보), 음성 인지(알렉사, 구글 홈, 시리 등), 챗봇/다이얼로그 대리인(고객 지원 자동화, 디바이스 콘트롤, 물건 주문) 등 다양한 분야에서 사업이 추진되고 있습니다. 

앞으로 더 많은 분야로 확대되어 사용될 수 있을 것으로 전망하고 있습니다. 

3. Deep Learning이 최근에 뜨는 이유

딥 러닝 기술 자체는 80~90년대에 대부분이 개발되었다고 합니다. 다만 그 기술을 실제 적용할 수 있는 길이 최근에 생긴 것입니다. 

딥러닝에서 학습을 위해 매우 많은 데이터(빅데이터)를 이용한 학습이 매우 중요합니다. 그러나 빅데이터를 반복하여 학습시키는 데는 매우 많은 시간이 걸리게 되는데, 이러한 이유로 컴퓨팅 파워가 약한 과거의 CPU로는 많은 학습 데이터를 처리하는데 너무나 많은 시간이 걸려 실용적이지 못하였습니다.

요즘 CPU는 과거에 비해 비교적 빠른 처리를 할 수 있으나 획기적으로 빠른 학습을 위한 머신은 그래픽카드에 사용되는 GPU를 이용할 수 있게 된 최근 2~3년 동안 딥러닝의 성능이 크게 향상되었고 실용화될 수 있는 기반이 마련되었습니다. 

머신러닝(딥 러닝)을 공부하다 보니, 개념도 생소하지만 용어도 헷갈리는 것이 많습니다. 

앞으로 머릿 속 개념 정리를 위해서라도 용어를 일목요연하게 정리해야겠네요.

​