pkl 저장, 불러오기
딥러닝 학습중에 학습을 하면 모델, 가중치를 저장을 하거나 이미 저장되어있는걸 불러오기도 한다.
Category
- 라이브러리쿡북 6
- 딥러닝에러 4
- numpy 3
- error 3
- 딥러닝환경설정 2
- ubuntu 2
- linux, 2
- 딥러닝, 2
- coding 1
- ubuntu, 1
- conda, 1
- env 1
- 딥러닝 1
- 에러해결 1
라이브러리쿡북
pytorch tensor .npy로 save & load
지난 포스팅에서 어떻게 tensor와 numpy로 확장자를 변환하는지에 대해 포스팅했었다. 이는 데이터끼리의 변환에 대한 이야기였다면 지금은 딥러닝 학습후 결과물을 어떻게 npy확장자로 어떻게 저장하며, npy확장자는 어떻게 불러오는지에 대해 알아보고자 한다.
numpy array와 asarray의 차이점
이미지 열기
numpy append error
AttributeError: ‘numpy.ndarray’ object has no attribute ‘append’
torch로 차원 줄이기(squeeze) 늘리기(unsqueeze) 변환하기(view)
원하는 데이터의 차원수가 데이터셋의 크기를 맞춰주기위해 불 필요하게 커져있는 경우가있다.
PIL 이미지 불러오기 + numpy, tensor로 형변환하기
python을 사용할 때 이미지와 관련해서는 주로 사용하는 몇가지 라이브러리가 있다.
딥러닝에러
에러해결 - OOM
ResourceExhaustedError: OOM when allocating tensor with shape[11772117,100] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0...
weight 확인
학습중 각각의 layer의 현재 weight를 확인을 해 보아야 하는 상황이 생긴다.
에러해결- GPU 할당 에러
RuntimeError: Input type (torch.FloatTensor) and weight type (torch.cuda.FloatTensor) should be the same
에러해결-mat1 dim 1 must match mat2 dim 0
RuntimeError: mat1 dim 1 must match mat2 dim 0 딥러닝 학습을 하다보면 만날수 있는 사소하지만 흔한 에러로 모델의 사이즈가 맞지 않은 경우이다. 그래서 모델 안에서의 구조를 .shape() 함수를 통해서 확인해주면 쉽게 문제가 된 부분을 찾을 수...
numpy
pytorch tensor .npy로 save & load
지난 포스팅에서 어떻게 tensor와 numpy로 확장자를 변환하는지에 대해 포스팅했었다. 이는 데이터끼리의 변환에 대한 이야기였다면 지금은 딥러닝 학습후 결과물을 어떻게 npy확장자로 어떻게 저장하며, npy확장자는 어떻게 불러오는지에 대해 알아보고자 한다.
numpy array와 asarray의 차이점
이미지 열기
numpy append error
AttributeError: ‘numpy.ndarray’ object has no attribute ‘append’
error
에러해결-Expected object of scalar type Float..
딥러닝 모델에 사용하는 데이터, 혹은 사용후 데이터를 처리할 때 종종 보게되는 error이다. 앞전에 포스팅한 numpy -> tensor, tensor -> numpy와 같이 형변환을 수행하다보면 만나는 여럿 error중 하나이다. RuntimeError: Expect...
numpy array와 asarray의 차이점
이미지 열기
numpy append error
AttributeError: ‘numpy.ndarray’ object has no attribute ‘append’
딥러닝환경설정
GPU 사용량 확인
GPU 사용량 확인
멀티 GPU
멀티 gpu 사용설정
ubuntu
linux 파일 압축, 압축풀기 command
리눅스 시스템을 경험한적 없던 당시 ubuntu를 처음 접하고 tar라는 확장자를 보며 당황했던 기억이 있습니다.
우분투 용량 확인
우분투 환경에서 잔여 저장공간을 확인하는 command를 포스팅한다.
linux,
가상환경
코드를 클론해서 사용하다 보면 환경설정을 해주어야한다. 하지만 기존의 나의 로컬 환경과 맞지 않을 경우 환경을 바꿔주는데, 이럴때 쓰는것이 가상환경이다.
linux 파일 압축, 압축풀기 command
리눅스 시스템을 경험한적 없던 당시 ubuntu를 처음 접하고 tar라는 확장자를 보며 당황했던 기억이 있습니다.
딥러닝,
에러해결 - OOM
ResourceExhaustedError: OOM when allocating tensor with shape[11772117,100] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0...
weight 확인
학습중 각각의 layer의 현재 weight를 확인을 해 보아야 하는 상황이 생긴다.
coding
테스트용 포스팅입니다.
블로그 시작합니다.
ubuntu,
가상환경
코드를 클론해서 사용하다 보면 환경설정을 해주어야한다. 하지만 기존의 나의 로컬 환경과 맞지 않을 경우 환경을 바꿔주는데, 이럴때 쓰는것이 가상환경이다.
conda,
가상환경
코드를 클론해서 사용하다 보면 환경설정을 해주어야한다. 하지만 기존의 나의 로컬 환경과 맞지 않을 경우 환경을 바꿔주는데, 이럴때 쓰는것이 가상환경이다.
env
가상환경
코드를 클론해서 사용하다 보면 환경설정을 해주어야한다. 하지만 기존의 나의 로컬 환경과 맞지 않을 경우 환경을 바꿔주는데, 이럴때 쓰는것이 가상환경이다.
딥러닝
wget,curl을 통해 다운로드
클라우드를 통해 gpu를 사용할 일이 생겼는데 그 곳에 데이터, 환경설정 등 여러일을 해줘야한다. 그 중에서 나의 데이터를 클라우드 컴퓨터 상에 전달을 해야하는데 이를 구글 드라이브를 통해 데이터를 옮기는것이 가장 보편적이기에 포스팅해본다.
에러해결
에러해결-OMP:Error
OMP: Error #15: Initializing libiomp5.dylib, but found libiomp5.dylib already initialized. OMP: Hint: This means that multiple copies of the OpenMP runtime h...