우당탕탕 데이터 사이언스 정복기

카카오 API 사용해서 웹스크래핑 해보기 네이버 만큼 친절하진 않았지만... 그렇다! 우린 카카오 검색 api 를 사용해서 웹스크래핑을 할 수 있다! Kakao Developers Kakao Developers 카카오 API를 활용하여 다양한 어플리케이션을 개발해보세요. 카카오 로그인, 메시지 보내기, 친구 API, 인공지능 API 등을 제공합니다. developers.kakao.com 위의 사이트에 가면 친절하게 api 사용이 가능하다. 데이터 사용 제한도 막 걸려있지 않는듯 하다.(?) 다들 kakao 아이디는 있을테니... 그거로 하시면 된다. 내 애플리케이션 들어가서 간단하게 애플리케이션 만든다. 그럼 저렇게 앱 키가 나오는데 우리가 사용할 것은 REST API키다.왜냐면 검색 도구가 저걸 사용해..

Selenium 셀레니움! 동적 스크래핑을 위해 사용되는 도구다! numpy, pandas 처럼 설치만 하면 되는 것이 아니다. 1. Anaconda Prompt에서 selenium 다운로드 주피터 노트북이나 Anaconda Prompt를 이용해서 selenium 패키지를 설치하도록 하자 pip install selenium conda install selnium 2. Chrome 버전 확인 크롬에서 chrome://version/ 3. ChromeDriver 설치 아래 사이트로 접속하여 다운로드 https://chromedriver.chromium.org/downloads ChromeDriver - WebDriver for Chrome - Downloads Current Releases If you a..

기존 노트북이 너무 느려지는 바람에... 노트북을 하나 새로 장만했다! 원활한 코딩 라이프를 위해서 아나콘다를 설치해보도록 하자! 1. 아래 링크에서 아나콘다 설치 파일을 다운 받는다. Anaconda | The World's Most Popular Data Science Platform Anaconda | The World's Most Popular Data Science Platform Anaconda is the birthplace of Python data science. We are a movement of data scientists, data-driven enterprises, and open source communities. www.anaconda.com 2. Anaconda3-2022...

What is Regular Expression? 특정한 문자의 패턴을 정의하는 방식!! 데이터를 수집하거나 전처리할 때 사용된다. 실습 가능 사이트 RegExr: Learn, Build, & Test RegEx RegExr: Learn, Build, & Test RegEx RegExr is an online tool to learn, build, & test Regular Expressions (RegEx / RegExp). regexr.com 위 사이트에서 정규표현식을 쉽게 연습해볼 수 있다. 그럼 어떻게 사용할 수 있는가? >> 메타문자를 사용!! 메타문자는 검사 범위를 지정하거나 수량 그리고 검사 위치를 나타내는 등 기능에 따라 세부적인 분류를 한다. 메타문자를 사용해서 예제를 연습해보도록하자. ..

나름 프로젝트에서 상도 2번 받고... 자격증도 어느 정도는 땄지만... 데이터를 다루는 직업을 직접적으로 하기에는 아직 많이 부족하다고 느꼈다. 고민 끝에... 취준을 잠시 중단하고, 미래를 위해 대학원을 가야겠다고 결심했다. 결심을 늦게 했던 탓인지, 대부분의 대학원이 2차 모집 기간이었다. ㅠ 그러한 이유 때문에 많은 대학원이 선택군에서 빠졌지만, 후회하지 않을 커리큘럼과 거리, 레벨 등을 계산한 결과... 국민대학교 일반대학원 데이터사이언스학과에 지원을 하게 됐다! 가장 맘에 드는 점은 커리큘럼이었다. 산공 학사과정을 졸업한 나로서... '데이터'를 중심으로 통계, 경영, 텍스트, 딥러닝, 컴퓨터 비전 등 원하는 분야로 나아갈 수 있겠다고 생각이 들었기 때문이다. (진짜 큰 장점임!) 그렇지만 여..

사실 나는 SQLD 시험을 처음으로 본 것이 아니다..ADsP를 2018년 4월에 가볍게 클리어 한 후, SQLD 시험을 19년 8월에 봤었는데..그 당시 기억으로는, 학교 강의중에서 산업자료관리(데이터베이스) 과목을 수강한 후라 자신감이 아주 넘쳤었다.ADsP도 가뿐하게 클리어 했었기 때문에 대충 공부하면 붙을거라 예상했다.. 그렇게 무시하다가 아주 좌절을 맛보았다. 이후 나중에 시험볼 때에는 제대로 준비해야겠다고 생각했다...하하확실히 자격증 시험은... 기출풀이라고 안했던가. 기출 많은 수험서를 구매하여 공부했다.이기적 SQL 개발자 이론서+기출문제 | 임호진 - 교보문고 (kyobobook.co.kr) 이기적 SQL 개발자 이론서+기출문제 | 임호진 - 교보문고이기적 SQL 개발자 이론서+기출문제..

언리얼 프로젝트 생성 시작용 콘텐츠 포함으로 시작하자 프로젝트 구성 살피기

언리얼 엔진이란? 언리얼 엔진은 게임 개발사 에픽게임즈에서 만든 게임 엔진이다. 실사 표현에 주력하여 엔진 중에 가장 실사에 가까운 그래픽 구현 능력을 지녔다. 현재는 언리얼 엔진 5.1 버전까지 나온상태이다. 이 분야에 문외한 나는 책을 보고 따라해야하니 때문에... 아직 정보가 많은 언리얼 엔진 4를 설치하여 공부하도록 하겠다. 참고서적으로는 인생 언리얼 교과서/이영호 저자를 선택했다. 언리얼 엔진 4 설치하기 언리얼 엔진 | 가장 강력한 리얼타임 3D 제작 플랫폼 - Unreal Engine 언리얼 엔진 | 가장 강력한 리얼타임 3D 제작 플랫폼 언리얼 엔진은 세계에서 가장 개방되고 진보된 리얼타임 3D 제작 플랫폼으로서 포토리얼한 비주얼과 몰입감 있는 경험을 제공합니다. www.unrealengi..

그렇다!!! 2달 넘게 열심히 진행했던 프로젝트!! 결국 상을 타버렸다! - 시상식 후기 - 일단.. 우수 프로젝트 시상은 운영하는 대학교 내에서 1,2등을 하면 상을 받게 된다. (대학교 별로 1등만 오게 되는 경우도 있음) 동국대는 2팀이 선정되어... 운 좋게도 2등 안에 골인! 결국 우수 프로젝트 시상식에 참가할 수 있게 되었다 ㅠㅠ 시상식은 코엑스 내에 스튜디오159에서 실시간으로 유튜브에 생중계되며 진행되었다. (바이킹 스워프 바로 맞은편에 있다. 바이킹 스워프 또 가고싶다..) 스튜디오 바로 밖에는 요즘 핫한 인싸 포토존들이 있었다. 원래 발표자랑 동행 한 명밖에 못 오는데 같이 찍으려고 우리 팀원들 다 불렀다.ㅋㅋ 그리고.. staff분들의 안내에 맞춰서 스튜디오 안으로 들어갔다. 엄청 큰..

주피터 노트북에서 바로 불러왔다. 유용한 기능이지만... 앞으로는 안쓸것 같다.. 데이터 전처리 - 1¶ 넘파이, 판다스 패키지 사용 후 데이터 프레임 생성, columns 따로 설정¶ In [3]: import pandas as pd import numpy as np raw_data = { 'first_name': ['Jason', np.nan, 'Tina', 'Jake', 'Amy'], 'last_name': ['Miller', np.nan, 'Ali', 'Milner', 'Cooze'], 'age': [42, np.nan, 36, 24, 73], 'sex': ['m', np.nan, 'f', 'm', 'f'], 'preTestScore': [4, np.nan, np.nan, 2, 3], 'postT..