내게 필요한 정보들(금융 정보와 파이썬, 옵시디언, DIY)

요즘 LLM 인공지능으로 세상이 또 하나의 변화에 직면한 것으로 보인다. 그 중에서 가장 앞선 곳이 OpenAI라고 할 수 있다. AI의 구조에 대해 좀 더 빠르게 알아보는 것이 필요한 시점이라 생각한다. 1. AI 프로젝트 시작하기 요즘 ChatGPT로 촉발된 LLM(Large Language Model)이 폭발적으로 성장하고 있다. 이로 인해 많은 사람들이 인공지능에 대해 정말 많은 관심을 갖게 되었다. 파이썬은 그 여정에 있어서 강력한 동반자가 될 것이라고 생각한다. 왜냐하면 대부분의 인공지능 라이브러리를 파이썬에서 지원하고 있고, 배우기 쉽고 사용하기 편한 파이썬 언어가 인공지능 분야에서는 대세라고 생각하기 때문이다. 머신 러닝 라이브러리 소개 Scikit-Learn Scikit-Learn은 사용..

요즘 파이썬을 공부하면서 조금 지쳐버린 것 같습니다. Udacity 공부 진도도 맞추지 못하고 있고, 하루에 1시간 이상 코딩을 하기로 했는데, 쉽게 되질 않습니다.그래서, 다시 마음을 잡기 위해 제 자신에게 물어 봅니다.파이썬으로 대체 무엇을 만들려고 하는가? 입니다. 바로 머리 속에 떠오르질 않습니다. 그건 구체화된 목표가 없기 때문이 아닌가 싶구요. 그래서, 파이썬으로 할 수 있는 일이 무엇인지 구글링해 봅니다. 대부분 동일한 내용으로 포스팅하고 있더라구요.- 시스템 유틸리티 제작- GUI 프로그래밍- 웹 프로그래밍- 데이터 분석- 사물인터넷(IOT에 적당한 라즈베리파이 등)- 봇 개발- Crawler- 빅데이터 분석- AI(머신러닝-딥러닝) 구현그럼, 왜 100여종이 넘는 프로그래밍 언어 중에서 ..

머신러닝 프로젝트 실행(6~7단계) 머신러닝 프로젝트 실행 순서는 1. 문제를 정의하고 전체 그림 바라보기2. 데이터 얻기3. 인사이트를 찾기 위해 데이터 탐색하기4. 기본 데이터 패턴을 머신러닝 알고리즘에 더 잘 노출할 수 있도록 데이터 준비하기5. 다양한 모델을 탐색하고 그 중 가장 좋은 모델을 찾기6. 모델을 알맞게 튜닝하고 멋진 솔루션으로 통합하기7. 시스템 런칭, 모니터링과 유지하기입니다. 지금까지, 1~5단계까지 살펴보았습니다. 이제 2단계만 살펴보면 마무리 될 것 같습니다. 먼저, 6. 모델을 알맞게 튜닝하고 멋진 솔루션으로 통합하기 이제 유망한 모델들을 가졌다고 가정해 봅시다. 그럼, 이 모델들을 튜닝하는 것이 필요합니다. 실행할 수 있는 몇가지 방법을 살펴보도록 하겠습니다. 그리드 서치(..

이번에는 머신러닝 프로젝트 4단계에 이어, 5단계를 살펴보도록 하겠습니다. 5. 다양한 모델을 탐색하고 그 중 가장 좋은 모델 찾기지금까지 문제를 정의하고, 데이터를 얻어서 탐색해 보았습니다. 그리고 트레이닝 셋과 테스트 셋을 샘플링하고, 자동적으로 머신러닝 알고리즘을 위해 클리닝해서 데이터를 준비하기 위해 변형 파이프라인을 작성했습니다. 이제 머신러닝 모델을 선택해서 트레이닝시킬 준비가 되었습니다. 트레이닝 셋에서 훈련하고 평가하기좋은 소식은 이전 1~4단계 덕분에, 이제 생각했던 것보다 상황이 훨씬 간단하게 진행될 것이라는 것입니다. 우선 선형 회귀 모델을 트레이닝해 봅시다.>>> from sklearn.linear_model import LinearRegression>>> lin_reg = Line..

머신러닝 프로젝트 실행 1~3단계에 이어, 4단계를 정리하도록 하겠습니다. 4. 기본 데이터 패턴을 머신러닝 알고리즘에 더 잘 노출할 수 있도록 데이터 준비하기머신러닝 알고리즘을 위한 데이터를 준비할 시간입니다. 이것을 수동으로 하는 대신에, 자동으로 생성할 함수들을 사용해야 합니다. 그 이유는 다음과 같습니다.어떤 데이터셋이든(예, 다음 번에 새로운 데이터셋을 얻게 되었을 때), 이들 변환을 쉽게 재적용할 수 있도록 해줍니다.미래의 프로젝트에서 재사용할 수 있는 변환 함수 라이브러리를 만들 수 있습니다.이들 함수들을 알고리즘에 피딩하기 전에 새로운 데이터를 변환하기 위해 실제 사용하는 시스템에서 사용할 수 있습니다. 다양한 변환을 쉽게 시도하고 어떤 변환 조합이 가장 잘 동작하는지 알 수 있도록 해줍니..

머신러닝 프로젝트 실행 1~2단계에 이어, 3단계를 정리하도록 하겠습니다. 3. 인사이트를 찾기 위해 데이터 탐색하기1~2단계에서는 지금까지 처리하는 데이터의 종류에 대한 일반적인 이해를 얻기 위해 데이터를 훑어보았습니다. 지금부터는 조금 더 깊이 들어가 보도록 하겠습니다.먼저, 테스트 셋을 별도로 마련해 두었는지 확인하고, 훈련 셋을 탐색해 보도록 합시다. 만약 훈련 셋이 아주 크다면, 쉽고 빠르게 데이터를 다루기 위해 탐색하기 위한 셋을 샘플링하고 싶을지도 모릅니다. 우리 데이터의 경우에는, 훈련 셋이 매우 작기 때문에 전체 셋에서 직접 작업을 할 수 있습니다. 카피본을 만들어, 훈련 셋에 영향을 주지 않고 작업을 시작해 봅시다.>>> housing = strat_train_set.copy() 지리 ..

요즘 읽고 있는 ML책 중, 예제를 통해 머신러닝 프로젝트 실행 프로세스를 처음부터 끝까지 배우는 부분이 있어, 정리해 봅니다.머신러닝을 배우는 데 있어 실제 세상의 데이터를 가지고 프로젝트를 수행해 보는 것이 최상일 것입니다. 실제 데이터를 미국에서는 정말 많이 공짜로 제공하고 있습니다. 실 데이터를 가지고 머신러닝 실습을 하게 되면 무척 도움이 많이 될 것입니다.우선 내용이 길어 글을 나눠서 올리도록 하겠습니다. 전체 순서는1. 문제를 정의하고 전체 그림 바라보기2. 데이터 얻기3. 인사이트를 찾기 위해 데이터 탐색하기4. 기본 데이터 패턴을 머신러닝 알고리즘에 더 잘 노출할 수 있도록 데이터 준비하기5. 다양한 모델을 탐색하고 그 중 가장 좋은 모델을 찾기6. 모델을 알맞게 튜닝하고 멋진 솔루션으로..

자연어 처리(NLP, Natural Language Processing)인터넷의 발달과 함께 SNS(페이스북, 트위터, 유튜브, 링크드인, 핀터레스트, 인스타그램, 스냅챗 등)의 등장과 미디어로의 확장은 각 개인의 감정 및 생각을 파악할 수 있는 새로운 장을 열었다고 생각합니다. 하루에도 10억개 이상의 글들이 생성되는 시점에서, 우리는 정보의 홍수 속에 어떤 글, 그림, 동영상을 보아야 할지 파악하기 조차 어렵습니다. 그래서, SNS와 같은 자연어에서 인사이트(insight)를 뽑아내 활용하는 것이 매우 의미가 있을 것으로 생각합니다.인터넷을 통해 생성되는 대부분의 텍스트 데이터는 짧은 글(Short text, Small text massages 등)로 되어 있습니다. 이에 텍스트 마이닝(Text mi..

4차 산업혁명 시대의 데이터 사이언티스트(Data Scientist)를 위한 파이썬 라이브러리(Python Library)요즘 파이썬을 배워서 진출할 수 있는 직업 중에 데이터 사이언티스트가 핫한 것 같다. 4차 산업혁명과 함께 많이들 선호하고 있는 상태가 되었다.하지만, 언론, 소셜 등에서 너무 많은 관심을 보이는 것이 거품이 될까 우려가 좀 된다. 2000년 초에 인터넷 기업 붐이 엄청나게 일어나고, 갑자기 거품이 꺼졌을 때 처럼 될 것 같아 보이기 때문이다. 요즘 가장 열광하는 단어는 단연 AI일 것이라고 생각한다. 그런데, 머신러닝(machine learning), 그 중에서 딥 러닝(deep learning)에 집중하는 것은 인터넷 자체가 혁신을 일으킬 것처럼 말했던 상황을 답습하는 것이 아닐까..