본문 바로가기

분류 전체보기

 (97)
CSV 파일 읽고 쓰기 파이썬에서 CSV파일 읽고 쓰기파이썬에서 파일로 된 데이터를 처리하는 일은 매우 빈번하게 일어난다. 그 중에서 CSV형태가 가장 일반적일 것이다. 파이썬 공식 문서에는 CSV(Comma Separated Values)라 불리는 포멧은 스프레드시트와 데이터베이스에서 가장 많이 임포트(import)하고 엑스포트(export)하는 포멧이라고 정의되어 있다.공식 문서에 나와 있는 CSV에 대해 간략히 정리해 보면 아래와 같다.물론 앞으로 계속 발전하면서 업데이트 되겠지만 말이다.'CSV 표준'이라는 것은 사실 없다고 할 수 있다. 즉, 이 포멧은 서로 다른 어플리케이션에서 읽고 쓰는 방식을 통해 기능적으로 미묘한 차이를 갖는다고 할 수 있다. 이러한 차이점들은 다양한 소스들로부터 CSV 파일을 처리하는 것을 어..
머신러닝(Machine Learning)이란 머신러닝(Machine Learning) 기본 개념(Basci Concept)머신러닝은 주어진 데이터를 훈련시켜(training), 훈련된 지식을 기반으로 새로운 입력(test input)에 대해 적절한 답(test output)을 찾고자 하는 일련의 과정이라고 말할 수 있습니다. 이때 훈련시키는 데이터가 질문(training input)과 정답(training output)이 모두 주어진 경우가 있고, 질문만 주어진 경우가 있습니다. 전자의 경우를 라벨링(Labeling)이 되어 있다고 말합니다. 1. 지도학습(Supervised Learning)훈련 데이터에 라벨링이 되어 있는 경우. 즉, 각 질문(input)에 대해 무엇이 정답(output)인지 훈련데이터가 알고 있는 경우입니다. 예를 들면 (2,..
Jupyter Notebook 시작하기 Jupyter Notebook이란 Jupyter Notebook은 오픈 소스 웹 애플리케이션으로 라이브 코드, 등식, 시각화와 설명을 위한 텍스트 등을 포함한 문서를 만들고 공유하도록 할 수 있습니다. 주로 데이터 클리닝과 변형, 수치 시뮬레이션, 통계 모델링, 머신 러닝 등에 사용할 수 있습니다. Jupyter Notebook은 Python, R, Julia, Scala 등 데이터 과학 분야에서 인기있는 40종의 다양한 프로그래밍 언어를 지원합니다. 또한, 이메일, 드롭박스, 깃허브 등으로 공유할 수 있습니다. 가장 큰 장점은 실시간으로 인터렉티브하게 데이터를 조작하고 시각화할 수 있도록 해준다는 점을 것입니다. 신규 사용자는, Anaconda를 설치하는 것을 권장합니다. Anaconda는 과학적 컴퓨..
데이터 사이언스 기초 - 관련 라이브러리 소개 4차 산업혁명 시대의 데이터 사이언티스트(Data Scientist)를 위한 파이썬 라이브러리(Python Library)요즘 파이썬을 배워서 진출할 수 있는 직업 중에 데이터 사이언티스트가 핫한 것 같다. 4차 산업혁명과 함께 많이들 선호하고 있는 상태가 되었다.하지만, 언론, 소셜 등에서 너무 많은 관심을 보이는 것이 거품이 될까 우려가 좀 된다. 2000년 초에 인터넷 기업 붐이 엄청나게 일어나고, 갑자기 거품이 꺼졌을 때 처럼 될 것 같아 보이기 때문이다. 요즘 가장 열광하는 단어는 단연 AI일 것이라고 생각한다. 그런데, 머신러닝(machine learning), 그 중에서 딥 러닝(deep learning)에 집중하는 것은 인터넷 자체가 혁신을 일으킬 것처럼 말했던 상황을 답습하는 것이 아닐까..
빅 데이터의 시대 (1만권 독서법을 보고) 빅 데이터의 시대를 살아가기 위한 플로우 리딩 1만권 독서법을 보면, 기존의 독서와 조금은 다른 관점이 존재하는 것을 알 수 있습니다. 빠르게 읽기와 다독이 그 핵심입니다.제가 생각하는 이 책의 요지는 최고의 한 줄을 찾는 다독법이 정보과잉의 시대에 매우 적합하다는 것입니다. 처음에는 그래도 정독을 해서 깊이 있는 체계를 머릿속에 넣어야 하는 것이 아닌가 하는 생각이 들었습니다. 하지만, 다 읽고 돌아보니 우리가 살고 있는 세상에는 엄청난 데이터가 산재해 있고, 지금도 계속해서 기하급수적으로 증가하고 있는데, 이 정보를 효율적으로 흡수할 수 있도록 독서 방식도 바뀌어야 하지 않을까 하는 생각이 들었습니다. 그런 의미에서 이 책은 우리에게 의미가 있다고 생각합니다. 1. 다독 리듬 리듬감을 갖는다는 것은,..
일독일행을 읽고서 어제부터 지하철에서 일독일행이라는 책을 읽고 있다. 독서에 대해서는 어느 정도 자신감이 붙어 있었는데, 이 책을 보다 보니, 내가 혹시 책만 읽는 바보가 아닌가 하는 생각이 들었다. 읽기만 하고 그 다음 내 것으로 만드는 일을 하지 않는 그런 바보 말이다. 저자의 뚝심과 실행력, 그리고 이룩한 일을 보면서 내 자신을 돌아보게 된다. 난 너무 겁이 많고, 안일하게 살고 있다는 것이다. 내 나이가 45살이다. 이미 새로운 일을 하기에는 늦었다는 주변 반응이 내 발목을 잡는다. 무엇보다도 내 스스로가 발목을 잡는다. 과연 내가 새로운 일을 할 수 있을까? 안정적인 직장을 뿌리치고 나갈 수 있을까? 아니면 이 자리에서 일을 해가면서 새로운 일을 찾아보는 것은 어떨까? 이렇게 어중간한 상태로 15년 이상을 살아온..
하버드 집중력 혁명(Book) 1주일 동안 '하버드 집중력 혁명'이라는 책을 읽었다. 에드워드 할로웰(Edward Hallowell) 박사가 쓴 책인데, 하버드 대학교 의과대학 교수이자 자타가 공인하는 '주의력 결핍 치료'분야의 세계 최고 전문가라고 한다.이 분이 이 책을 통해 말하고자 하는 것은 원하는 것과 잘하는 것에 집중하는 삶을 얻는 데 필요한 지식과 지혜를 전하고자 한다는 것이다. 어쩌면 이 분이 말하는 것이 누구나 다 알고 있는 방법일지 모른다는 생각이 들었다. 그렇지만 이 분은 실제 이 방법들을 사람들에게 적용해 보았기 때문에 나에게도 효과가 있으리라는 믿음이 생긴다.집중력을 높여주는 3가지 요소를 체계와 새로움, 동기부여라고 정의하고 이 3가지 요소를 함께 고려해야 한다고 말하고 있다. 또한 자신에게 매우 중요하면서 약..
MDR-1ABT 사용기 저가 헤드폰과 아이폰 번들 이어폰만 사용하다가, 간만에 올레샵 25% 쿠폰을 사용해서 소니 MDR-1ABT를 구매했다. 역시 소니가 부활하긴 했다. 사용시간이 길어서 충전에 대한 부담이 없고, 맥 미니를 연결해서 듣고 있는데 소리가 나쁘지 않다. 크게 음악의 질을 가리지 않는데, 그렇다고 아예 막귀는 아니라 이 정도면 좋다고 생각한다.물론 소니의 새로운 오디오 코덱인 LDAC는 CD급 음원과 함께 고음질 음원에도 최적화되어 있다고 하던데, 출력할 수 있는 기기가 없어서 들어보지는 못했다. 그래도 블루투스로 된 다른 이어폰들에 비해 확실히 안정적으로 유선과 비슷한 음질을 보여주고 있다. 이것만으로도 만족한다.근데 한번 LDAC를 지원하는 기기를 통해 들어보고 싶은 마음이 생기는 건 어찌해야 할지...

티스토리툴바