우당탕탕 데이터 정복기

깔끔하게 정리는 못했지만... 파이토치를 처음 접해보는 분이라면, 아래 코드를 보고 기본적으로 다루는 방법을 연습 하실 수 있을 겁니다! In [1]: import torch In [2]: print(torch.__version__) print(torch.cuda.is_available()) 1.9.1+cu111 True Pytorch Components 1. torch 메인 네임스페이스입니다. Tensor 생성, tensor간의 연산 등 다양한 함수가 정의되어 있습니다. Numpy와 유사한 구조를 가집니다. 2. torch.autograd 자동 미분을 위한 함수들이 포함되어져 있습니다. 자동 미분의 on,off를 제어하는 콘텍스트 매니저(enable_grad/no_grad)나 자체 미분 가능 함수를 정..

생각보다 OS를 포맷하는 경우가 많아지고 있어, 파이토치(Pytorch) 환경 구성 하는 방법에 대해 정리해보고자 한다. 필자의 환경 OS: Windows11 (참고로 리눅스의 경우, 환경 구성이 윈도우와 살짝 다르지만 거의 비슷하다) GPU: RTX 3060 laptop nvidia 그래픽 드라이버는 설치 했을 것이라 가정하겠다. 다운로드를 안했다면 아래 링크를 확인하자. 공식 드라이버 | NVIDIA Download the latest official NVIDIA drivers Download the latest official NVIDIA drivers www.nvidia.com 먼저, PowerShell이나 윈도우 터미널 창에서 가용한 CUDA version을 확인한다. nvidia-smi 필자는..

안녕하세요! 데욱입니다! 제가 네이버에서 주최하는 큰 프로그램인 NAVER AI RUSH 2023 앰배서더에 선정되었습니다! AI RUSH는 온라인, 오프라인 밋업 등을 통해 활발하게 프로그램이 진행되고 있는데요. 밋업 도중 제가 새롭게 알게 된, HyperCLOVA X에 대해서 설명해 드리고자 합니다. # HyperCLOVA X가 무엇인가요? HyperCLOVA X는 네이버의 초대규모 AI입니다. HyperCLOVA X는 최근 가장 주목받는 ChatGPT에 비해서도 한국어 데이터를 6,500배 더 학습하였습니다. 이는 여태까지 한국 서비스 이용자들과 함께 한 경험이 있어서 가능한 일입니다. 네이버 뉴스와 블로그 등의 데이터를 통해 자연스러운 한국어 표현은 물론이고, 한국 사회의 법, 제도, 문화적 맥락..

갑자기 너무 바쁘다... 그래도 한가한 것보다 100배는 낫지! 요새하고 있는 것들을 정리해 보자 1. 랩 세미나: 컴퓨터 비전 랩실 나는 다른 동기들과 다르게 조금 일찍 교수님 랩실에 들어갔다. (미리 들어가서 논문 주제 설정 및 방향성 확립) 그래서 조금 더 구르고 굴렀다. 졸업을 위한... 나의 처절한 몸부림 너무 어려운 걸 선택했나 싶긴 한데... 또 쉬우면 재미없으니까... 그리고 성격 상 흥미로운 걸 해야 내가 안 질리고 잘한다. 뭐 하는 건 매번 똑같다. 논문 계속 보고 노션에 정리, 데이터 확인하며 코드 돌려보기 아직 모르는 게 많아서 하나하나씩 정리해 나가는데, 요즘 정리된 게 많아서 그런지 예전보다 이해하기 쉽기도 하고... GPT도 한몫하는 것 같고ㅎㅎ 좋은 시대에 잘 태어난 것 같다..

파이토치(PyTorch)는 현재 모델 개발 시 가장 많이 사용하는 딥러닝 라이브러리이다. 기본적으로 튜토리얼 자체가 잘 되어있기 때문에 따라 해보고 정리하고자 한다. https://tutorials.pytorch.kr/beginner/basics/intro.html 파이토치(PyTorch) 기본 익히기 파이토치(PyTorch) 기본 익히기|| 빠른 시작|| 텐서(Tensor)|| Dataset과 Dataloader|| 변형(Transform)|| 신경망 모델 구성하기|| Autograd|| 최적화(Optimization)|| 모델 저장하고 불러오기 Authors: Suraj Subramanian, Seth Jua tutorials.pytorch.kr 한국어 번역이 되어있는 사이트다. 원래는 Anacond..

Docker를 사용한다면? 환경구성을 쉽고 빠르게 할 수 있다. 도커는 리눅스 기반 컨테이너 기술이기 때문에 윈도우에서 사용하려면 WSL 2가 필요하다. 아래 링크를 바탕으로 환경 구성을 해보자! WSL에서 Docker 컨테이너 시작 | Microsoft Learn WSL에서 Docker 컨테이너 시작 Linux용 Windows 하위 시스템에서 Docker 컨테이너를 설정하는 방법을 알아봅니다. learn.microsoft.com 환경 구성 1. OS: Windows 11(10), 웬만하면 최신 버전으로 업데이트 필요(예전 구 버전일시 적용 안될 수 있음 2. WSL 2(1) 필수 설치 WSL 2는 이제 전체 시스템 호출 용량을 갖춘 Linux 커널에서 실행되므로 WSL 1 보다 WSL 2를 이용하는 것..

이전 포스팅을 통해 WSL2를 간단하게 설치 완료했다. WSL 설치 가이드 (tistory.com) 윈도우 개발환경 WSL WSL? 기본적으로 Windows만 사용한다면, Linux와 다르게 환경을 설정할 때 제한되는 경우가 많다. 실제로 개발환경을 보통 리눅스 환경으로 하는 경우가 많기 때문에, 윈도우로 개발하게 된다면 따로 wookdata.tistory.com 오늘은 설치 후 환경 설정에 대해 알아보자. 패키지 업그레이드 및 업데이트 sudo apt update && sudo apt upgrade 우분투 환경에서 이 코드를 처음 돌리는 건 필수적이다. 원하는 리눅스 배포판 설치 수동 설치를 했다면 필요없는 부분이지만, 필요하다면 여러 리눅스 배포판 중에서 하나를 선택해서 설치하자. 설치는 Micros..

WSL? 기본적으로 Windows만 사용한다면, Linux와 다르게 환경을 설정할 때 제한되는 경우가 많다. 실제로 개발환경을 보통 리눅스 환경으로 하는 경우가 많기 때문에, 윈도우로 개발하게 된다면 따로 설치하거나 코드 수정을 필히 해야한다. WSL을 사용하면 Windows에서 Linux 배포판을 설치하고 실행할 수 있다. 서로 통합된 두 개의 운영 체제를 실행하는 것이다. 현재는 WSL2가 기본 배포판으로 사용된다. WSL 설치 설치 방법은 생각보다 간단하다. 두 가지 방법 중, 본인에게 맞는 방법으로 결정해서 설치하면 된다. 1. WSL 설치가 처음이라면? (편하지만 이 방법 말고, 2번의 수동 과정 방법 추천) powershell을 관리자 권한으로 실행해서 코드 한줄만 입력하면 wsl이 설치된다...

태블로는 태플로 퍼블릭과 태블로 데스크탑으로 나눠져있다. 태블로 퍼블릭과 태블로 데스크탑의 가장 큰 차이점은 '결과물을 저장하는 위치'이다. 태블로 퍼블릭으로 작업한 결과물은 개인 PC에 저장할 수 없고, 온라인 상의 태블로 퍼블릭 계정에만 저장할 수 있다. 하지만 두 태블로 모두 기능적으로는 동일하며 태블로 데스크탑의 경우에는 유료이다. 따라서 태블로 퍼블릭을 학습용으로 사용한 후에 보안 데이터를 다루거나, 데이터를 개인 PC에 저장하고 회사의 데이터를 사용할 때는 태블로 데스크탑을 활용하는 것이 좋다. 설치 방법 매우 간단하다. 아래 사이트로 들어가서 app을 다운로드 받는다. Tableau Public 제품 다운로드 Tableau Public 제품 다운로드 몇 분 만에 탐색 가능 www.tablea..

내가 '닌텐도'에 대해서 관심이있는데 닌텐도와 관련된 영상들의 댓글 데이터를 가져오고 싶다면? 방법은 생각보다 간단하다. Youtube Data API를 활용해서 닌텐도와 관련있는 영상 검색 + 그 영상의 댓글 데이터를 가져오면 된다! 차근차근 따라해보자. 1. Google API 프로젝트 생성 API 및 서비스 – API 및 서비스 – My First Project – Google Cloud Console Google 클라우드 플랫폼 로그인 Google 클라우드 플랫폼으로 이동 accounts.google.com 사이트에 들어가 로그인을 완료하면, 다음과 같은 화면이 있을 것이다. 새 프로젝트를 눌러 프로젝트를 생성해준다. 2. YouTube Data API 활성화 API 및 서비스의 라이브러리 페이지..