우당탕탕 데이터 사이언스 정복기

HRNet이 무엇인지? 논문 원문 https://arxiv.org/pdf/1902.09212v1.pdf HR Net은 Human Pose estimation 분야에서 SOTA(State of the art)모델을 달성한 모델로 2019년에 발표되었다. HRNet은 2D Human Pose Estimation중 하나이다. 2D Human Pose Estimation란, 입력 이미지로부터 사람의 관절을 2D 공간에 위치화 시키는 것을 말한다. 보통 2가지 형태로 나눠지게 되는데, Top-down approach와 Bottom-up appproach 방법으로 나눠져있다. HRNet 같은 경우, Top-down approach를 사용한다. 이는 Bottom-up approach 보다 더 뛰어난 정확성을 가지고 ..

Marketing Science에 게시된 논문으로, 상당히 구성이 탄탄하고 좋아서 리뷰해보려고 한다. 1. Introduction I. description of phenomenon 온라인 플랫폼에서 가짜 리뷰가 증가하고 있으며, 가짜 리뷰들은 소비자들에게 부정확하거나 과장된 정보를 제공함 • 온라인 플랫폼은 ‘사기 또는 조작’ 행위를 방지하기위해 힘쓰고 있음 • 가짜 리뷰(The Fake Review)는 평판시스템을 조작하는 행위 1. 온라인 플랫폼 내, 비대칭 정보를 완화하도록 설계된 시스템에 소음과 기만을 주입함 2. 소비자가 품질이 낮을 수 있는 제품을 구매하도록 함 3. 온라인 시장이 번창하는 데 중요한 리뷰 플랫폼에 대한 장기적인 신뢰를 약화시킴 “온라인 시장이 번성하려면 가짜 리뷰에 대한 효..

파이썬 카카오 검색 API 활용 웹스크래핑 (tistory.com) 파이썬 카카오 검색 API 활용 웹스크래핑 카카오 API 사용해서 웹스크래핑 해보기 네이버 만큼 친절하진 않았지만... 그렇다! 우린 카카오 검색 api 를 사용해서 웹스크래핑을 할 수 있다! Kakao Developers Kakao Developers 카카오 API를 활용하여 wookdata.tistory.com 1편에 이은... 2편이다. 지난 시간에는 API를 이용해서 블로그의 타이틀과 링크 데이터를 가져왔다. 이번 시간에서는 link에서 WebScraping을 통해 텍스트 데이터를 추출해보자! 네이버 블로그 웹스크래핑 ## 필요 모듈 import import re from bs4 import BeautifulSoup import ..

카카오 API 사용해서 웹스크래핑 해보기 네이버 만큼 친절하진 않았지만... 그렇다! 우린 카카오 검색 api 를 사용해서 웹스크래핑을 할 수 있다! Kakao Developers Kakao Developers 카카오 API를 활용하여 다양한 어플리케이션을 개발해보세요. 카카오 로그인, 메시지 보내기, 친구 API, 인공지능 API 등을 제공합니다. developers.kakao.com 위의 사이트에 가면 친절하게 api 사용이 가능하다. 데이터 사용 제한도 막 걸려있지 않는듯 하다.(?) 다들 kakao 아이디는 있을테니... 그거로 하시면 된다. 내 애플리케이션 들어가서 간단하게 애플리케이션 만든다. 그럼 저렇게 앱 키가 나오는데 우리가 사용할 것은 REST API키다.왜냐면 검색 도구가 저걸 사용해..

Selenium 셀레니움! 동적 스크래핑을 위해 사용되는 도구다! numpy, pandas 처럼 설치만 하면 되는 것이 아니다. 1. Anaconda Prompt에서 selenium 다운로드 주피터 노트북이나 Anaconda Prompt를 이용해서 selenium 패키지를 설치하도록 하자 pip install selenium conda install selnium 2. Chrome 버전 확인 크롬에서 chrome://version/ 3. ChromeDriver 설치 아래 사이트로 접속하여 다운로드 https://chromedriver.chromium.org/downloads ChromeDriver - WebDriver for Chrome - Downloads Current Releases If you a..

What is Regular Expression? 특정한 문자의 패턴을 정의하는 방식!! 데이터를 수집하거나 전처리할 때 사용된다. 실습 가능 사이트 RegExr: Learn, Build, & Test RegEx RegExr: Learn, Build, & Test RegEx RegExr is an online tool to learn, build, & test Regular Expressions (RegEx / RegExp). regexr.com 위 사이트에서 정규표현식을 쉽게 연습해볼 수 있다. 그럼 어떻게 사용할 수 있는가? >> 메타문자를 사용!! 메타문자는 검사 범위를 지정하거나 수량 그리고 검사 위치를 나타내는 등 기능에 따라 세부적인 분류를 한다. 메타문자를 사용해서 예제를 연습해보도록하자. ..

나름 프로젝트에서 상도 2번 받고... 자격증도 어느 정도는 땄지만... 데이터를 다루는 직업을 직접적으로 하기에는 아직 많이 부족하다고 느꼈다. 고민 끝에... 취준을 잠시 중단하고, 미래를 위해 대학원을 가야겠다고 결심했다. 결심을 늦게 했던 탓인지, 대부분의 대학원이 2차 모집 기간이었다. ㅠ 그러한 이유 때문에 많은 대학원이 선택군에서 빠졌지만, 후회하지 않을 커리큘럼과 거리, 레벨 등을 계산한 결과... 국민대학교 일반대학원 데이터사이언스학과에 지원을 하게 됐다! 가장 맘에 드는 점은 커리큘럼이었다. 산공 학사과정을 졸업한 나로서... '데이터'를 중심으로 통계, 경영, 텍스트, 딥러닝, 컴퓨터 비전 등 원하는 분야로 나아갈 수 있겠다고 생각이 들었기 때문이다. (진짜 큰 장점임!) 그렇지만 여..