내게 필요한 정보들(금융 경제 정보와 파이썬, DIY)

창업가의 마인드를 가진 사람들에게 사업은 단순히 돈을 벌기 위한 수단이 아니라 일상을 더욱 풍요롭게 만들어주는 확장된 경험을 의미한다. 사업가들은 더 많은 경험과 기회를 통해 삶을 더욱 흥미롭고 다양하게 만들며, 동시에 안전망을 구축하고 미래를 대비하게 해준다.

투잡으로 사업을 시작하는 것은 이론적인 이야기가 아닌 실용적인 선택이다. 자신의 능력을 믿고 필요한 경우 도움을 받으며 시작하면 된다. 아래에는 사업을 무턱대고 시작하면 실패하는 이유와 투잡으로 사업을 하는 장점에 대한 내용이 있다.

무작정 사업을 시작하는 것으로부터 오는 실패의 이유:

1. 일상 생활의 혼란: 사업을 시작하면서 일상 생활이 어수선해질 수 있다.
2. 경제적 어려움: 충분한 자금을 마련하지 않은 채 사업을 시작하면 경제적인 어려움에 빠질 수 있다.
3. 안정성 부재: 사업가는 보장된 지위가 없고, 주변에서의 지지를 받지 못할 수 있다.
4. 사업 아이디어 부재: 좋은 사업 아이디어가 없으면 시작부터 어려움을 겪을 수 있다.
5. 실패의 두려움: 실패의 가능성 때문에 시작을 주저하거나 미룰 수 있다.

현재의 직장을 유지하면서 투잡으로 사업을 하는 것은 전업 사업가로서 얻을 수 없는 자유를 누릴 수 있는 방법이다. 리스크를 감수하며 새로운 도전을 통해 느끼는 짜릿한 흥분과 동시에 안정된 소득을 확보할 수 있다. 이는 인생을 투자 포트폴리오와 유사하게 다각화하는 것과 유사하다.

사업의 핵심은 오너가 되는 것이다. 오너가 아니라면 수년간의 노력과 월급으로는 큰 부를 축적하기 어렵다. 본업을 유지하면서도 10% 사업가로서 시작하여 경제적 포트폴리오를 확장할 수 있다. 이렇게 시간이 흐를수록 자신의 사업 지분을 늘려가며 성장하고 안정적인 수익을 창출할 수 있다. 하지만 이는 단기적인 방법이 아닌 장기적인 전략임을 기억해야 한다.

자신의 시간이나 자금을 투자하면서 사업가 정신을 실현하면, 미래의 가능성에 접근할 수 있다. 또한 다양한 사람들과의 교류와 협력을 통해 성장하고 배우며, 사업을 통해 개인적으로나 사회적으로 기여하고자 한다.

이 모든 것은 자신을 위한 노력이다. 기술, 인맥, 지식을 활용하여 더 많은 기회를 찾아내고, 성장하며, 자신을 홍보하고 발전시키는 것이다. 이를 통해 본업에서도 효율적인 성과를 내는 것이 가능하다.

사업가로서의 리스크를 감수하고 새로운 인맥을 형성하며 전문성을 갖추면, 미래에 대한 불확실성을 극복할 수 있다. 중요한 것은 항상 새로운 기회를 찾고 다양한 역량을 키워가며 변화에 대응하는 능력을 유지하는 것이다.

사업은 돈을 벌기 위한 수단뿐만 아니라, 자원을 효율적으로 활용하고 문제를 해결하는 능력을 키워주는 도구이다. 자신의 자원을 효과적으로 관리하며 기회와 비용을 평형시키는 것은 모든 사업가에게 공통적이다. 10% 사업가는 시간과 자금을 어떻게 투자할지를 고민해야 한다.

10% 사업가를 위한 계획을 수립하는 첫 단계는 시간 자본 관리이다. 시간을 어떻게 투자할 것인지를 고려하여 일상에서 낭비되는 시간을 줄이고 자신의 목표에 도달할 시간을 마련해야 한다. 또한 자신의 재정 상황과 지적 자본을 고려하여 얼마나 자금을 투자할지를 결정해야 한다. 지식과 경험을 활용하여 실제 업무에 어떻게 적용할 것인지를 생각해보는 것 또한 중요하다.

10% 사업가가 되기 위해서는 자신의 시간과 자원을 어떻게 활용할지를 신중히 고려해야 한다. 얼마나 많은 시간과 자금을 투자할 것인지, 자신의 지식과 경험을 어떻게 활용할지 등을 고민하면서 사업을 진행해 나가야 한다. 이를 통해 사업가로서의 성장과 성공을 이룰 수 있을 것이다.

미래의 불확실한 시대에서도 지속적으로 집중하고 새로운 기회를 찾고 다양한 자원을 활용하며 성장하는 것이 중요하다. 사업가 정신을 가진 사람들은 계속해서 도전하고 발전하는 노력을 통해 불확실한 환경에서도 성공을 이룰 수 있을 것이다.

"당신이 삶이라고 일컫는 주변의 모든 것들은 당신보다 똑똑하지 않은 사람들이 만든 것입니다. 당신은 그것을 변화시키고 그것에 영향을 미쳐 다른 사람들이 이용할 수 있는 당신만의 무언가를 만들 수 있습니다. 그 진실을 깨닫는 순간 당신의 삶은 영원히 바뀔 것입니다." <스티브 잡스>

• 창업 : 시스템을 고안, 창출, 연결하는 것. 비즈니스, 아이디어, 사람, 프로세스 등이 포함된다.
• 직업 : 다른 누군가가 만들어 놓은 시스템에 따라 일하는 것.

앙트레프레너의 시대가 온다

Taylor Pearson의 책 "The End of Jobs"는 기술 발전과 글로벌화로 인해 전통적인 직업이 사라지고 있으며, 미래의 일자리는 창의성과 혁신 능력을 갖춘 사람들에게 맡겨질 것이라고 주장한다.

Pearson은 책에서 다음과 같은 세 가지 주요 요인을 근거로 직업의 종말을 주장한다.

• 기술 발전: 인공지능(AI), 로봇, 머신러닝 등과 같은 기술의 발전으로 인해 많은 직업이 자동화될 수 있다. 예를 들어, 자율주행 자동차는 운전사, 택배 로봇은 배달원, AI 채팅봇은 고객 서비스 직원 등의 직업을 대체할 수 있다.
• 글로벌화: 세계화로 인해 기업은 더 많은 인력을 저임금 국가에서 고용할 수 있게 되었다. 이는 선진국의 일자리 감소로 이어질 수 있다.
• 대학 졸업자의 증가: 대학 졸업자의 증가는 노동시장의 공급을 늘리고, 경쟁을 심화시킨다. 이는 일자리의 질을 떨어뜨리고, 임금을 낮출 수 있다.

Pearson은 이러한 변화에 대응하기 위해 다음과 같은 대안을 제시한다.

• 창업: Pearson은 창업이 직업의 종말에 대처하는 가장 효과적인 방법이라고 주장한다. 창업자는 자신의 능력과 아이디어를 통해 새로운 시장을 개척하고, 새로운 일자리를 창출할 수 있다.
• 스킬 업그레이드: Pearson은 기술 발전과 글로벌화에 대응하기 위해 지속적인 스킬 업그레이드가 필요하다고 주장한다. 새로운 기술을 습득하고, 새로운 분야의 전문성을 개발해야만 경쟁력을 유지할 수 있다.
• 가치 있는 자산 구축: Pearson은 현금에만 의존하지 말고, 부동산, 주식, 사업체 등과 같은 가치 있는 자산을 구축해야 한다고 주장한다. 이는 불확실한 미래에 대비하기 위한 보험이 될 수 있다.

Pearson의 주장은 많은 논란을 불러일으켰다.
일부 전문가들은 기술 발전의 부정적인 영향에 대해 경고하면서, 정부의 적극적인 개입이 필요하다고 주장한다. 반면, 또 다른 전문가들은 기술 발전이 새로운 일자리를 창출할 것이라고 반박한다.

저자는 미래는 토마 피케티와 같은 경제학자들이 언급한 것처럼, 부자는 더 부유해지고 가난한 사람은 더 가난해지는 세상이 될 수도 있다고 말한다. 동시에 인류 역사를 통틀어 부자들이 독점했던 생산 수단과 갖가지 도구들이 지금 우리 손 안에 있다고 말한다.

• 오늘날 수박만 달러 규모의 사업을 노트북, 통신 서비스, 인터넷 연결로 운영하는 개인들이 점점 더 늘어나고 있다. 이것이 우리가 살고 있는 세상이다. 미래가 정해지지 않은 세상, 각 개인과 집단, 사회가 스스로 미래를 쓰는 세상에 살고 있는 것이다.
• 피터 틸은 오늘날 '부를 재배치하는 사람들'이 급증하고 있다는 점에 주목한다. 
• 과거에는 창업에 투자하는 일이 일반적으로 직장 생활보다 어려운 일이었고 직업을 가져야만 좋은 보수를 얻을 수 있었다. 때문에 우리는 별로 고민하지 않고 그러한 관념을 받아들였다. 
• 우리는 직업의 종말을 맞이하고 있다. 장기적이고 안정적인, 우리 부모 세대가 누린 직업에 대한 약속이 이제는 사라져 버렸다. 그럼에도 우리는 전통적인 자격을 얻는 데 너무나 많은 투자를 해 왔고, 여전히 그 굴레에서 벗어나지 못하고 있다. 
• 하지만 새로운 기회를 잡고 있는 소수 그룹, 즉 창업가들은 넘쳐나는 기회에... 
• 우리는 모두 자신 안에 잠재력을 가지고 있다. 그것을 끄집어 내어 기회를 실현시킬 수도 있다. 하지만 그 누구도 우리에게 가치를 실현하라고, 도전하라고, 운명을 개척하라고 촉구하지 않는다. 
• 결국 우리의 미래, 우리의 이야기는 스스로 써 나가야만 한다.

어느 쪽이든, AI 기술의 발전과 글로벌화 된 시장이 기존 노동시장에 미치는 영향은 분명히 크다. 우리는 이러한 변화에 적응하기 위한 노력을 스스로 꾸준히 기울여야 할 것이다.

어린 시절에 나는 부자에 대한 편견을 가지고 있었다. 부자들은 다른 사람들을 착취하고 불법 수단으로 돈을 벌며 나쁜 사람들이라고 생각했다. 그러나 '부자 아빠 가난한 아빠'라는 책을 통해 이러한 인식에서 깨어나게 되었고, 이 책은 나에게 큰 영향을 주었다.

하지만 최근에는 로버트 기요사키에 대한 평가가 과거만큼 긍정적이지 않다는 것을 알게 되었다. 과거와 달리 이제는 그의 의견을 무조건 받아들이지 않을 필요가 있다는 것을 깨달았다고나 할까.

그럼에도 불구하고 이 책에서 전해지는 기본 원칙은 여전히 가치 있다고 생각한다. 돈을 벌기 위한 다양한 방법을 1~4사분면으로 나누어 설명하며, 이를 이해함으로써 부업이나 다른 수익 창출 방법을 시작할 수 있게 되었다.

오늘날에는 처음에는 봉급 생활로 시작하더라도 이조차도 높은 취직의 문턱을 넘었을 때에만 가능하게 된다. 또한 지금은 한 직장에 평생 머물며 일하는 것이 아니라 자신의 가치를 높여 더 나은 직장으로 이동하는 것이 중요하다.

그러나 오직 봉급만으로는 가정을 꾸리거나 대도시에서 집을 구하기 힘들어졌다. 그 결과 많은 사람들이 부업을 하거나 투자에 참여하고 있다. 나 또한 아이들을 둘러보기 위해서는 추가 수입이 필요하므로 투자와 제2의 사업을 준비하고 있다.

오늘 아침에 유튜브에서 경제 전문가의 영상을 시청하면서 출근했다. 그 전문가는 안전한 노후를 위해 부동산보다는 10억 원의 현금이 필요하다고 말했다. 이유는 부모님의 간병이나 본인의 건강 문제 등에 돈이 필요한 상황이 언제든 다가올 수 있기 때문이다. 이러한 상황에서 매달 확실한 수입이 중요하다는 것을 강조했다. 이해하기에 이는 금융 자산이 필요하다는 것을 의미하며, 이를 위해 투자에 대한 이해와 분산 투자, 장기적인 관점이 필요하다고 말했다.

나 또한 단기적인 이익을 위한 투자는 위험하다는 사실을 인지하고 있고, 욕심으로 인해 비판적 사고가 흐려지는 경험을 통해 장기적인 투자의 중요성을 깨달았다.

이에 더하여 나는 사업에도 관심이 많다. 봉급 생활만으로는 한계가 있다고 생각하기 때문이다. 내 능력을 키워가는 것과 의욕을 유지하는 것은 자영업을 추구하면서도 가능하다. 사업가가 아니더라도 소규모 사업을 운영하며 내면적인 성장을 이룰 수 있다고 생각한다.

하지만 이러한 선택에도 함정이 있을 수 있다. 봉급 생활로 시작하여 나중에는 자영업으로 전환하는 패턴이 일반적일 수 있기 때문이다. 이로 인해 가난한 아빠의 삶과 유사한 상황이 발생할 수 있다는 생각도 든다.

로버트 기요사키의 투자 가이드에서는 '현금흐름 사분면의 서로 다른 길'이라는 챕터에서 가난한 아빠는 E,S 경로를 선택하고 부자 아빠는 B,I 경로를 택한다고 언급한다. 이러한 선택은 개인의 핵심 가치와 관련이 있다고 설명한다. 이 가치에 따라 가난한 아빠나 부자 아빠의 길을 선택할 수 있다고 한다. 여기서 핵심가치는 '부자가 되는 것', '편안함', '안정'을 들었다. 

이 책에서 가장 강조하는 주제 중 하나가 '투자'다.

이 책에서는 투자의 일곱 가지 원칙을 제시하고 있다.

1. 첫 번째 원칙: 자신이 어떤 종류의 소득을 추구하는지 이해하는 것이다.
2. 두 번째 원칙: 근로 소득을 최대한 활용하여 투자 소득이나 수동 소득으로 전환하는 것이다.
3. 세 번째 원칙: 근로 소득을 안정적으로 유지하는 것이다.
4. 네 번째 원칙: 투자 자산이 자신의 부채와 자산이 될 수 있다는 것이다.
5. 다섯 번째 원칙: 진정한 투자자는 미래에 대비해 항상 준비되어 있다.
6. 여섯 번째 원칙: 이를 위해 교육과 경험이 필요하며, 좋은 거래를 발견하면 자금이 너를 찾아오거나 네가 자금을 찾을 것이다.
7. 일곱 번째 원칙: 위험과 보상을 평가하는 능력이다.

이러한 원칙을 통해 투자에 대한 지식과 기술을 키울 수 있다고 말한다.

Continue...

이 책은 일본의 경제금융 교육 전문가인 이즈미 마사토가 소설 형식으로 돈을 다루는 능력을 키우는 방법을 쉽게 알려주는 책이다. 책은 돈과 신용, 이자와 관련된 상황들을 일상 생활에서 쉽게 이해할 수 있도록 스토리 위주로 보여주며, 돈의 세계가 준비가 안된 사람들에게는 가혹한 것임을 알려준다. 소설 형식으로 쓰여져서 술술 읽히며, 이 책을 통해 자신의 부자의 그릇을 키우고 돈과 인생의 주인이 되는 법을 배울 수 있다.

저자가 주목하는 몇 가지 중요한 내용은 다음과 같다.

자신의 그릇을 키우고 돈과 인생의 주인이 되는 법

"돈은 그 사람을 비추는 거울이야."
돈을 어떻게 쓰는지를 보면 그 사람의 습관, 라이프스타일, 취미와 취향 등을 모두 알 수 있다. 돈이란 개인의 사고와 행동의 결과가 그대로 드러난 산물이다. 당연히 우리 사고방식에도 크게 영향을 미친다.

"사람에게는 각자 자신이 다룰 수 있는 돈의 크기가 있거든"
이 말은 먼저 자신의 그릇을 키워야 그에 맞는 큰돈이 들어온다는 뜻이다. 그릇이 작으면 어쩌다 우연히 큰돈이 들어온다고 해도, 결국 모조리 나가버리고 만다.

"자네에게 돈을 가져오는 건 반드시 '자신'이 아닌 '다른 사람'이야."
우리의 그릇을 판단하는 건 바로 주변 사람들이다. 즉, 그릇이 준비가 안 된 상태에서는 그 그릇보다 큰 기회가 굴러오지 않는다. 

"실패란, 결단을 내린 사람만 얻을 수 있는 거니까."
일반적으로 수입이나 돈이 크게 줄어들면 실패했다고 말한다. 하지만 거기에서 얻을 수 있는 '경험의 가치'는 사실 잃어버린 돈보다 훨씬 크다.
실패를 두려워만 하는 사람들은 대부분 '내가 가긴 돈을 줄어들게 하고 싶지 않다'는 생각에 사로잡혀 있다. 즉, 그들이 실제로 두려워하는 것은 '실패'가 아니라 '돈'이다.
그런 이들은 돈 걱정 때문에 어떤 새로운 도전도 하지 못한다. 

"나는 자네에 대해 유추했지. 분명히 돈의 지배를 받고 있을 거라고."
돈의 많고 적음에 따라 사회적 지위가 결정되고 돈 때문에 가정이나 사랑, 우정이 깨질 수 있다는 불안감. 돈을 얼마나 가졌는가가 인생의 성패를 좌우한다고 여겨, 결국 돈보다 중요한 가치는 전혀 보이지 않게 되는 두려움... 그 모든 것들이 이 한마디에 담겨 있다.

"돈이란, 신용을 가시화한 것이다."
신용은 지난 행동들의 결과이고, 지난 행동은 하루하루 사고해온 결과다. 하루하루의 사고가 행동을 만들고, 그 행동이 신용을 만들며, 그 신용이 결과적으로 돈이라는 형태로 나타나는 것이다. 

"돈에 대해 올바르게 행동하면 언젠가 반드시 성공할거야."
사업가는 실패를 여러 번 겪겠지만, 그때마다 배우는 게 있고, 이윽고 성공에 이르게 된다. 돈의 지배를 받은 적도 많겠지만 그 지배에서 벗어나면 비로소 성공을 손에 쥐게 된다. 결국 성공에 필요한 건 도전 정신과 경험이지, 돈이 아니다. 여러 가지를 경험할 수 있는 환경도 아주 중요하다. 실패를 경험한 사람은 무능력한 사람이 아니다. 실패란, 결단을 내린 사람만 얻을 수 있기 때문이다. 

이 책은 돈과 성공에 대한 저자의 관점을 소설 형식으로 풀어내어 쉽게 이해할 수 있도록 하고 있다. 저자의 지혜로운 조언을 통해 돈을 다루는 방법과 인생에서의 성공을 이루는 법에 대해 생각해 볼 수 있는 좋은 책이었다.

WMS가 필요한 이유

WMS도구 중 가장 유명한 2개 비교 ( Luigi & Airflow)

• Luigi 는…
  • pipeline에 기반하였고, 각 task의 input/output은 정보를 공유하고 서로 연결된다.
  • Target기반 접근(Target은 Task의 결과물-통상 파일-)
  • UI는 꼭 필요한 기능만 단순하게 구현되었고, 프로세스를 실행하거나 하는 기능은 없다.
  • 내장된 Trigger가 없다(crontab 파일을 편집해서 일정주기마다 실행되게 하는 식으로 구성해야 한단다)
  • 분산 실행은 지원하지 않음(역주 : 병렬실행은 지원하지만…)
    
• Airflow 는 …
  • DAG 표현에 기반
  • Task간 정보공유가 없으므로, 최대한 병렬화를 할 수 있단다(위상정렬/순서만 잘 정하면 된다)
  • Task간 통신 수단이 마땅치 않다.
  • 설정하면 분산 실행할 수 있는 Executor가 있다
  • Scheduler가 있으므로, set it and forget it 할 수 있다(스스로 trigger한다)
  • 실행상태를 확인하고, 작업중인 Task를 조작할 수 있는 강력한 UI가 있다

비교표 Source) https://towardsdatascience.com/why-quizlet-chose-apache-airflow-for-executing-data-workflows-3f97d40e9571

간단히 정리

Luigi는 좀 더 단순하기 때문에 처음에 시작하기 쉽기 때문에 작은 조직에서 사용하기 좋고, Airflow는 더 효율적인 시각화와 지원기능이 있어 체계적으로 사용하려는 조직에서 쓰는 것이 더 합당하다고 할 수 있습니다. 

요즘 딥러닝 프로그램을 돌리는 컴퓨터가 있는 사무실에 계속 있기 어려운 환경에 있습니다. 그래서, 외부에서 컴퓨터를 온오프할 수 있도록 공유기 원격접속과 컴퓨터 WOL 기능을 켜두었습니다.

그리고 가장 많이 사용하고 있는 jupyter notebook을 원격지에서 사용할 수 있도록 세팅하였습니다.

1. 방화벽 해제 : 먼저 우분투 포트 방화벽 해제 및 공유기 포트포워드 설정을 합니다.
>> sudo ufw allow 8888(jupyter notebook의 기본포트로 원하시는 포트로 변경 가능)

2. jupyter notebook 암호 설정
로컬에서만 사용할 경우에는 보통 암호 설정 없이, 토큰을 이용해 접근했었습니다. 그렇지만 원격 접속은 보안을 위해 암호를 설정하는 것이 더 편하고 좋습니다. 
jupyter 서버 기본 설정을 위한 jupyter_notebook_config.py을 만들고, 패스워드를 설정합니다.
>> jupyter notebook --generate-config
Writing default config to: /{MyPath}/.jupyter/jupyter_notebook_config.py

>> jupyter notebook password
Enter password : ****
Verify password : ****
[NotebookPasswordApp] Wrote hashed password to /{Mypath}/.jupyter/jupyter_notebook_config.json

3. jupyter notebook 설정 파일 수정
nano ~/.jupyter/jupyter_notebook_config.py
수정할 코드를 ctrl+w(검색)를 사용해 찾은 후, 수정합니다.

c.NotebookApp.allow_origin = '*'  # 외부 접속을 허용합니다.
c.NotebookApp.notebook_dir = '작업 절대경로' # 작업경로를 설정합니다.
c.NotebookApp.ip = '*' # 외부 접속 포트 전체 오픈. 보안을 위해 특정 IP만 열어두셔도 됩니다.
c.NotebookApp.port = '8888' # 외부접속 사용 포트를 설정합니다.
c.NotebookApp.password = '<해시화된 패스워드 입력>' # 암호설정시 만들어진 jupyter_notebook_config.json을 nano등으로 열면 해시화된 패스워드를 확인할 수 있습니다.
c.NotebookApp.password_required = True # 비밀번호를 요구하도록 합니다.
c.NotebookApp.open_browser = False # 서버 pc에서 자동으로 브라우저가 열리지 않도록 합니다.

4. 서버 실행
>> jupyter notebook
이제 외부에서 접속하시면 됩니다. 공유기에서 ddns를 설정한 경우, ddns:포트번호(여기선 8888)을 주소창에 입력하면 접속할 수 있습니다. 
그 다음 설정한 비밀번호를 입력하면 로그인이 됩니다.

최근 AI비서, ARS 등 언어 처리에 대한 분야에서 많이 사용되는 딥러닝 아키텍처인 Transformer에 대해 공부중이다.
공부한 내용을 정리하면 좀 더 기억이 잘 되기에 기록을 남겨본다.

RNN과 LSTM 네트워크는 다음 단어 예측, 기계 번역, 텍스트 생성 등의 태스크에서 사용되어 왔었다.
하지만 트랜스포머가 발표된 후에는 트랜스포머에게 자리를 내주었다고 할 수 있다.
트랜스포머가 출연하면서 자연어 처리 분야가 획기적으로 발전하고, 이를 기반으로 한 BERT, GPT-3, T5 등과 같은 아키텍처가 나오게 되었다.

트랜스포머는 RNN에서 사용한 순환 방식을 사용하지 않는다.
대신 셀프 어텐션(self-attention)이라는 특수한 형태의 어텐션을 사용한다. 
트랜스포머는 인코더-디코더로 구성된 모델이다.
인코더에 원문을 입력하면 인코더는 원문의 표현 방법을 학습시키고 그 결과를 디코더로 보낸다.
디코더는 인코더에서 학습한 표현 결과를 가지고 사용자가 원하는 문장을 생성한다.

인코더와 디코더의 구체적인 이해는 다음에 하기로 한다.

대신 Transformer를 기반으로 한 BERT의 특징에 대해 정리해 본다.

BERT(Bidirectional Encoder Representation from Transformer)는 구글에서 2018년 발표한 최신 임베딩 모델이다. 대량의 영어 데이터로 학습된 사전학습 언어 모델로 질문에 대한 대답, 텍스트 생성, 문장 분류 등과 같은 태스크에사 가장 좋은 성능을 도출해 자연어 처리 분야에 크게 기여해 왔다. 

BERT의 특징

• Masked Language Model(MLM) : 어떤 문장의 특정 부분을 Masking처리하여 모델이 Masking 처리된 부분을 예측하도록 학습시키는 방식
• Next Sentence Prediction(NSP) : 두 문장이 이어지는 문장인지 아닌지 맞히도록 학습
• 자기지도 학습 : 학습 Label을 사람이 직접 만들지 않고 스스로 만든 데이터를 학습함으로써 언어의 기본 소양을 쌓음. 이처럼 스스로 정답이 있는 학습 데이터를 만들어 학습하는 방식을 자기지도학습(Self-supervised Learning)이라고 하고 이러한 방식으로 만들어진 언어 모델을 사전학습 모델(Pre-trained Language Model)이라고 한다.
• 전이학습(Transfer Learning) : 사전학습 모델을 기반으로 특정 태스크를 위해 한번 더 학습하는 방식을 전이학습이라고 하고, 이 학습 단계를 파인튜닝(Fine tuning)단계라고 한다. 파인튜닝이란 사전학습 모델을 기반으로 특정 태스크를 위해 딥러닝 모델을 미세하게 조정하는 학습 과정을 말한다.

태스크 활용 사례 : 사전학습 모델은 모델 자체로 특정 기능을 수행할 수 없다. 하지만 파인 튜닝을 통해 여러 다양한 태스크에 활용이 가능하다. 

* RNN(Recurrent Neural Networks) 순환신경망 : 긴 문장의 의미를 파악하고 해당 문장이 의미하는 것이 무엇인지 예측하기 위한 방법으로 쉽게 말해 '여러개의 단어를 입력받게 되었을 때 앞에 입력받은 단어(토큰)을 잠시 기억하고 있다가 이 단어가 얼마나 중요하지 분석해 가중치를 담아 다음 단계로 넘기는 구조로 되어 있다.

* LSTM(Long Short Term Memory)  장단기 메모리 : RNN 기법의 하나로 기존 RNN의 문제인 기울기 소멸 문제(vanishing gradient problem)를 방지하기 위해 개발되었다.