우당탕탕 데이터 사이언스 정복기

내가 '닌텐도'에 대해서 관심이있는데 닌텐도와 관련된 영상들의 댓글 데이터를 가져오고 싶다면? 방법은 생각보다 간단하다. Youtube Data API를 활용해서 닌텐도와 관련있는 영상 검색 + 그 영상의 댓글 데이터를 가져오면 된다! 차근차근 따라해보자. 1. Google API 프로젝트 생성 API 및 서비스 – API 및 서비스 – My First Project – Google Cloud Console Google 클라우드 플랫폼 로그인 Google 클라우드 플랫폼으로 이동 accounts.google.com 사이트에 들어가 로그인을 완료하면, 다음과 같은 화면이 있을 것이다. 새 프로젝트를 눌러 프로젝트를 생성해준다. 2. YouTube Data API 활성화 API 및 서비스의 라이브러리 페이지..

1편에서는 카카오API를 이용해서 원하는 keyword의 블로그의 타이틀과 링크 데이터를 가져왔다. 파이썬 카카오 검색 API 활용 웹스크래핑 (tistory.com) 파이썬 카카오 검색 API 활용 웹스크래핑 카카오 API 사용해서 웹스크래핑 해보기 네이버 만큼 친절하진 않았지만... 그렇다! 우린 카카오 검색 api 를 사용해서 웹스크래핑을 할 수 있다! Kakao Developers Kakao Developers 카카오 API를 활용하여 wookdata.tistory.com 2편에서는 가져온 링크들 중에서 네이버블로그 링크만 추출하여 동적웹스크래핑을 진행하였다. 파이썬 카카오 검색 API 활용 웹스크래핑(2) (tistory.com) 파이썬 카카오 검색 API 활용 웹스크래핑(2) 파이썬 카카오 검..

파이썬 카카오 검색 API 활용 웹스크래핑 (tistory.com) 파이썬 카카오 검색 API 활용 웹스크래핑 카카오 API 사용해서 웹스크래핑 해보기 네이버 만큼 친절하진 않았지만... 그렇다! 우린 카카오 검색 api 를 사용해서 웹스크래핑을 할 수 있다! Kakao Developers Kakao Developers 카카오 API를 활용하여 wookdata.tistory.com 1편에 이은... 2편이다. 지난 시간에는 API를 이용해서 블로그의 타이틀과 링크 데이터를 가져왔다. 이번 시간에서는 link에서 WebScraping을 통해 텍스트 데이터를 추출해보자! 네이버 블로그 웹스크래핑 ## 필요 모듈 import import re from bs4 import BeautifulSoup import ..

카카오 API 사용해서 웹스크래핑 해보기 네이버 만큼 친절하진 않았지만... 그렇다! 우린 카카오 검색 api 를 사용해서 웹스크래핑을 할 수 있다! Kakao Developers Kakao Developers 카카오 API를 활용하여 다양한 어플리케이션을 개발해보세요. 카카오 로그인, 메시지 보내기, 친구 API, 인공지능 API 등을 제공합니다. developers.kakao.com 위의 사이트에 가면 친절하게 api 사용이 가능하다. 데이터 사용 제한도 막 걸려있지 않는듯 하다.(?) 다들 kakao 아이디는 있을테니... 그거로 하시면 된다. 내 애플리케이션 들어가서 간단하게 애플리케이션 만든다. 그럼 저렇게 앱 키가 나오는데 우리가 사용할 것은 REST API키다.왜냐면 검색 도구가 저걸 사용해..

Selenium 셀레니움! 동적 스크래핑을 위해 사용되는 도구다! numpy, pandas 처럼 설치만 하면 되는 것이 아니다. 1. Anaconda Prompt에서 selenium 다운로드 주피터 노트북이나 Anaconda Prompt를 이용해서 selenium 패키지를 설치하도록 하자 pip install selenium conda install selnium 2. Chrome 버전 확인 크롬에서 chrome://version/ 3. ChromeDriver 설치 아래 사이트로 접속하여 다운로드 https://chromedriver.chromium.org/downloads ChromeDriver - WebDriver for Chrome - Downloads Current Releases If you a..

What is Regular Expression? 특정한 문자의 패턴을 정의하는 방식!! 데이터를 수집하거나 전처리할 때 사용된다. 실습 가능 사이트 RegExr: Learn, Build, & Test RegEx RegExr: Learn, Build, & Test RegEx RegExr is an online tool to learn, build, & test Regular Expressions (RegEx / RegExp). regexr.com 위 사이트에서 정규표현식을 쉽게 연습해볼 수 있다. 그럼 어떻게 사용할 수 있는가? >> 메타문자를 사용!! 메타문자는 검사 범위를 지정하거나 수량 그리고 검사 위치를 나타내는 등 기능에 따라 세부적인 분류를 한다. 메타문자를 사용해서 예제를 연습해보도록하자. ..