개인 저장소 사용 가이드
사용 가능한 PV:
Dropbox | AWS S3 | |
---|---|---|
연동 방식 | OAuth2 인증 | Access Key + Secret Key |
설정 난이도 | 쉬움 | 어려움(버킷 정책 설정 필요) |
성능 | 보통 | 높음 (대용량 처리 적합) |
사용 용도 추천 | 간단한 백업 및 중소규모 실험 | 대규모 학습, 장기 운영 환경 |
폴더/버킷 지정 | 선택 가능 | Bucket + Prefix 지정 필수 |
개인 저장소 설정 다이어그램
플랫폼에 PV 연동하는 방법
-
개인 저장소를 준비합니다.
- dropbox
- aws s3
-
gcube 플랫폼의 프로필 메뉴 → “개인 저장소”를 선택합니다.
-
저장소 등록에서 “개인 저장소 등록”을 선택합니다.
-
원하는 저장소 유형를 선택합니다.
저장소 목록에 표시될 저장소 별명을 설정한 후 저장소 내 연동할 폴더 경로를 설정합니다.
[예: “/data/data”는 컨테이너 내부에서 dropbox가 마운트되는 경로입니다.
이 위치에 파일을 읽고 쓸 수 있습니다.]접근 방식 및 용량은 필요에 따라 조정하시면 됩니다.
- dropbox
- aws s3
[AWS 저장소는 IAM의 access key와 secret access key, bucket의 region을 넣어야 합니다.]
-
아래 화면이 10~20초 표시 후 연결
PV 연동 워크로드 생성
-
새 워크로드 등록
-
워크로드는 개인의 설정에 맡깁니다.
- 예시용 설정
워크로드 설명: test
저장소 유형: 도커허브
컨테이너 이미지: ubuntu/nginx (이미지 검증까지 진행)
목적 스펙: 비어있는 아무 GPU 사용
- 예시용 설정
-
연결할 개인 저장소를 설정합니다.
-
컨테이너 내부에 연결할 경로를 설정해줍니다.
-
“즉시배포”를 체크한 후 등록합니다.
워크로드 생성 후 확인
-
워크로드 “제목”을 클릭해줍니다
-
워크로드 정보 아래 옵션에서 개인 저장소 확인합니다.
-
배포 상태에서 “배포 이벤트”를 클릭합니다.
-
배포 이벤트에서 해당 이벤트가 보이면 성공적으로 연결되었다는 뜻입니다.
-
워크로드 정보 화면으로 돌아와 배포 상태에서 “컨테이너 터미널”을 눌러줍니다.
-
하기 명령어들을 통해 각 저장소의 연결을 확인합니다.
[순서대로 입력합니다]
cd <저장소 연결 경로>
→ls
예시:- dropbox
cd /data/dropbox
→ls
- aws s3
cd /data/awss3
→ls
[문제 해결 가이드]
AWS S3:
2개의 저장소와 다르게 버킷 정책을 별도로 설정해야 합니다.
설정에 관해서는 아래 링크를 참고해주세요.
https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/example-bucket-policies.html
자주 묻는 질문
저장소 연결 관련
Q1. 한 가지 유형의 저장소를 2개 이상 등록할 수 있나요?
A. 네, 가능합니다. 동일한 유형이라도 다른 계정의 저장소를 별도로 등록할 수 있으며, 저장소 별명으로 구분됩니다.
Q2. 저장소를 삭제하고 다시 등록하면 기존 설정은 유지되나요?
A. 아니요, 기존 워크로드에 연결된 저장소 정보는 유지되지 않으며, 새로 등록 후 해당 워크로드를 재배포해야 합니다.
Q3. 저장소 연결 후 바로 사용해도 괜찮나요?
A. 대부분의 경우 등록 직후 바로 사용 가능하지만, 네트워크 상태에 따라 약간의 지연이 있을 수 있습니다.
연결 테스트를 위해 ls
명령어로 폴더 내용을 확인하는 것을 권장합니다.
Q4. 다른 PV는 추가할 예정이 있나요?
A. 네, 물론입니다. 현재 google drive를 추가할 계획을 가지고 있으며 필요에 따라 다양한 PV들도 추가해 나갈 예정입니다.
인증/토큰 관련
Q5.Dropbox 인증 갱신은 필요 없나요?
A. 네, 플랫폼 내부에서 access_token을 자동으로 갱신하도록 처리되어 있습니다.
따라서 일반 사용 중에는 인증 만료로 인한 파일 접근 오류가 발생하지 않습니다.
Q6. 저장소가 잘 연결되어 있는지 확인하려면 어떻게 하나요?
A. 워크로드 실행 후, 컨테이너 터미널에서 아래와 같이 입력해 폴더가 정상적으로 보이면 연결에 문제가 없는 것입니다.
경로 및 워크로드 관련
Q7. /data/dropbox
같은 경로는 어떻게 설정하는 건가요?
A. 저장소 등록 시 “컨테이너 내 연결 경로” 항목에 직접 입력하시면 됩니다. /data/[별칭]
형식을 추천드립니다.
Q8. 워크로드 등록 후 저장소 연결 경로를 바꾸려면 어떻게 하나요?
A. 기존 워크로드를 삭제하거나 복제 후, 새 경로로 연결 설정을 수정하고 재배포하셔야 합니다.
Q9. 터미널에서 ls
명령어를 입력했는데 아무것도 안 나와요.
A. 경로 설정이 잘못됐거나, 저장소에 파일이 없는 경우입니다. 저장소 경로(/gcube/data
등)를 다시 확인해 주세요.
Q10. 연결된 저장소에 쓰기(write)가 안 돼요.
A. 토큰 만료 외에도 저장소의 권한 설정(Dropbox 파일 권한 등)에 따라 쓰기가 제한될 수 있습니다.
보안/권한 관련
Q.11 다른 사람이 내 저장소 내용을 볼 수 있나요?
A. 아닙니다. 저장소는 계정 단위로 등록되며, 본인 외에는 접근할 수 없습니다.
Q12. AWS S3 연동 시, IAM Key를 노출하면 위험하지 않나요?
A. 네. 보안을 위해 최소 권한만 부여된 IAM 사용자 키를 사용하는 것이 좋으며, 사용 후엔 주기적으로 키를 갱신해 주세요.
기타 유용한 항목
Q13. 연결된 저장소를 삭제하면 워크로드에 영향이 있나요?
A. 예. 저장소가 삭제되면 해당 워크로드는 파일 입출력에 실패할 수 있습니다.
저장소를 삭제하기 전 워크로드를 정지하거나 수정해 주세요.
Q14. 연결된 저장소의 용량 제한은 어떻게 되나요?
A. 각 저장소(Dropbox, AWS S3)의 정책에 따릅니다.
워크로드에는 제한 없이 연결되지만 저장소 자체의 요금제에 유의해 주세요.
Q15. 저장소 내부에서 파일 업로드/다운로드는 어떻게 하나요?
A. 컨테이너 터미널 또는 마운트된 경로를 통해 일반적인 파일 복사 명령어(cp
, mv
, wget
, curl
) 등으로 가능합니다.