S3 버킷에 객체를 저장하는 비용을 지불합니다. 부과되는 요금은 객체의 크기, 해당 월에 객체를 저장한 기간, 스토리지 클래스에 따라 다르며, 스토리지 클래스에는 S3 Standard, S3 Intelligent-Tiering, S3 Standard - Infrequent Access, S3 One Zone - Infrequent Access, S3 Glacier, S3 Glacier Deep Archive, Reduced Redundancy Storage(RRS)가 있습니다. 액세스 패턴을 모니터링하고 S3 Intelligent-Tiering 스토리지 클래스의 액세스 계층 간에 객체를 이동하도록 S3 Intelligent-Tiering에 저장된 객체당 월별 모니터링 및 자동화 요금을 지불합니다.
- S3 Standard
: 모든 데이터 유형에 적합한 범용 스토리지로, 대개 자주 액세스하는 데이터에 사용됨 - S3 Intelligent
: Tiering - 액세스 패턴을 알 수 없거나 액세스 패턴이 변경되는 데이터에 대해 자동 비용 절감 효과 제공 - S3 Standard
: Infrequent Access - 라이브 상태가 된 지 오래되었지만 밀리초 단위 액세스 성능이 요구되는 자주 액세스하지 않는 데이터용 - S3 One Zone
: Infrequent Access - 밀리초 단위 액세스 성능이 요구되는 다시 생성 가능한 자주 액세스하지 않는 데이터용 - S3 Glacier
: 검색 옵션이 1분부터 12시간까지인 장기적인 백업 및 아카이브용 - S3 Glacier Deep Archive
: 일년에 한두 번 액세스하고 12시간 이내에 복원할 수 있는 장기적인 데이터 아카이빙용
S3 Glacier Deep Archive는 1년에 한두 번 정도 액세스하는 데이터의 장기 보존을 위한 안전하고 안정적인 객체 스토리지를 제공하는 새로운 Amazon S3 스토리지 클래스입니다. S3 Glacier Deep Archive는 온프레미스 마그네틱 테이프 라이브러리에서 데이터를 저장 및 유지 관리하거나 오프사이트에서 데이터를 아카이빙하는 것보다 대폭 저렴한 가격으로 매월 GB당 0.00099 USD(1센트의 1/10 또는 TB당 약 1 USD 미만)로 클라우드에서 업계 최저 비용의 스토리지를 제공합니다
S3 Glacier Deep Archive는 회사의 중요한 데이터 자산을 오프라인에서 보호해야 하는 경우 또는 회사 정책, 계약 또는 규정 준수 요건에 따라 데이터를 장기적으로 보존해야 하는 경우에 적합한 스토리지 클래스입니다. 금융 서비스, 의료, 오일 및 가스, 공공 부문처럼 규제가 엄격한 산업에서 종사하는 고객은 S3 Glacier Deep Archive를 활용하여 중요한 지적 재산, 금융 및 의료 기록, 연구 결과, 법률 문서, 지진 탐사 연구 및 장기 백업을 효과적으로 보호할 수 있습니다. 또한 미디어 및 엔터테인먼트 회사처럼 중요한 지적 재산의 백업 복사본을 유지하려는 조직도 있습니다. S3 Glacier Deep Archive를 사용하는 고객은 온프레미스 마그네틱 테이프 라이브러리 및 오프프레미스 테이프 아카이브 서비스의 이용을 줄이거나 이용하지 않게 되는 경우가 많습니다.
S3 Glacier Deep Archive는 AWS의 데이터 아카이빙 제공 범위를 확장하여 스토리지와 검색 비용 그리고 검색 시간을 기준으로 최적의 스토리지 클래스를 선택할 수 있도록 합니다. 긴급 검색을 사용하여 일반적으로 1~5분 만에 아카이브된 데이터를 검색해야 하는 경우 S3 Glacier를 선택하십시오. 이와 반대로, S3 Glacier Deep Archive는 액세스할 가능성은 매우 낮지만 여전히 오랫동안 안정적으로 저장해야 하는, 사용 빈도가 낮은 데이터를 위해 설계되었습니다. S3 Glacier Deep Archive는 S3 Glacier보다 최대 75%가 저렴하며 표준 검색 속도 사용 시 12시간 이내에 검색 결과를 제공합니다. 48시간 이내에 데이터를 반환하는 대량 검색을 사용하여 검색 비용을 줄일 수도 있습니다.
S3 Glacier는 데이터 보관을 위한 안전하고 내구력 있으며 저렴한 스토리지 클래스입니다. 온프레미스 솔루션과 비슷하거나 더 저렴한 비용으로 원하는 양의 데이터를 안정적으로 저장할 수 있습니다. 비용을 낮게 유지하면서 동시에 다양한 요구를 지원하기 위해 S3 Glacier는 몇 분에서 몇 시간까지 소요되는 세 가지 검색 옵션을 제공합니다. S3 Glacier에 객체를 직접 업로드하거나, S3 수명 주기 정책을 사용하여 활성 데이터를 위한 모든 S3 스토리지 클래스(S3 Standard, S3 Intelligent-Tiering, S3 Standard-IA, S3 One Zone-IA)와 S3 Glacier 간에 데이터를 전송할 수 있습니다.
S3 Standard-IA는 자주 액세스하지 않지만 필요할 때 빠르게 액세스해야 하는 데이터에 적합합니다. S3 Standard–IA는 S3 Standard의 뛰어난 내구성, 높은 처리량 및 짧은 지연 시간을 저렴한 GB당 스토리지 요금과 GB당 검색 요금으로 제공합니다. 낮은 비용과 높은 성능의 조합을 제공하는 S3 Standard-IA는 장기 스토리지, 백업 및 재해 복구 파일용 데이터 스토어에 이상적입니다. S3 스토리지 클래스를 객체 수준에서 구성할 수 있으며 S3 Standard, S3 Intelligent-Tiering, S3 Standard-IA, S3 One Zone-IA 전반에 걸쳐 저장된 여러 객체가 단일 버킷에 포함될 수 있습니다. 또한 S3 수명 주기 정책을 사용하여 애플리케이션 변경 없이 자동으로 스토리지 클래스 간에 객체를 전환할 수 있습니다.
S3 Standard는 자주 액세스하는 데이터를 위해 높은 내구성, 가용성 및 성능을 갖춘 객체 스토리지를 제공합니다. S3 Standard는 짧은 지연 시간과 많은 처리량을 제공하므로 클라우드 애플리케이션, 동적 웹 사이트, 콘텐츠 배포, 모바일 및 게임 애플리케이션, 빅 데이터 분석 등의 다양한 사용 사례에 적합합니다. S3 스토리지 클래스를 객체 수준에서 구성할 수 있으며 S3 Standard, S3 Intelligent-Tiering, S3 Standard-IA, S3 One Zone-IA 전반에 걸쳐 저장된 여러 객체가 단일 버킷에 포함될 수 있습니다. 또한 S3 수명 주기 정책을 사용하여 애플리케이션 변경 없이 자동으로 스토리지 클래스 간에 객체를 전환할 수 있습니다.
[ 참조 링크 ]
https://aws.amazon.com/ko/s3/faqs/
---
Amazon S3 Glacier는 데이터 백업 및 아카이브를 위한 안전하고 안정적이며 유연한 스토리지를 제공하는 매우 저렴한 스토리지 서비스입니다. Amazon S3 Glacier를 사용하면 GB당 월 0.004 USD라는 저렴한 비용으로 안정적으로 데이터를 저장할 수 있습니다. Amazon S3 Glacier를 사용하면 AWS에서 스토리지 운영과 확장을 처리하므로 사용자는 용량 계획, 하드웨어 프로비저닝, 데이터 복제, 하드웨어 장애 탐지 및 수리, 시간 소모적인 하드웨어 마이그레이션에 대해 걱정할 필요가 없습니다.
Amazon S3 Glacier를 사용하는 기업이나 조직은 몇 개월, 몇 년 혹은 수십 년 동안 데이터를 손쉽게 비용 효율적으로 보관할 수 있습니다. Amazon S3 Glacier를 사용함으로써 이제 고객은 향후 분석이나 참조를 위해 더 많은 데이터를 비용 효율적으로 보관할 수 있고, 스토리지 인프라의 운영 및 관리보다는 본연의 업무에 더 집중할 수 있습니다. 규정 준수 스토리지를 원하는 고객은 저장소 잠금을 사용하여 규제 및 규정 준수 보관 요건을 충족하도록 규정 준수 제어 기능을 배포할 수 있습니다.
Amazon S3는 내구성과 보안이 뛰어나고 간편하며 빠른 스토리지 서비스로서, 개발자들이 좀 더 쉽게 웹 규모 컴퓨팅을 수행할 수 있도록 설계되었습니다. 지연 시간을 줄여야 한다거나 데이터에 자주 액세스해야 하는 경우에는 Amazon S3를 사용하십시오. 저렴한 스토리지 비용이 가장 중요하고 데이터에 밀리초 만에 액세스해야 할 필요가 없다면 Amazon S3 Glacier를 사용하십시오.
S3 Glacier에서 데이터를 검색하도록 요청하면 아카이브에 대한 검색 작업이 시작됩니다. 검색 작업이 완료되면 24시간 동안 데이터를 다운로드하거나 Amazon Elastic Compute Cloud(Amazon EC2)를 사용해 액세스할 수 있습니다. 다양한 액세스 시간과 비용으로 데이터를 검색할 수 있는 긴급, 표준 및 대량 검색이라는 3가지 옵션이 제공됩니다.
표준 검색을 사용하면 어떤 아카이브든 몇 시간 내에 액세스할 수 있습니다. 표준 검색은 보통 3~5시간 이내에 완료됩니다.
대량 검색은 S3 Glacier에서 가장 저렴한 검색 옵션으로 이를 통해 페타바이트 규모의 데이터도 하루 만에 저렴하게 검색할 수 있습니다. 대량 검색은 보통 5~12시간 이내에 완료됩니다.
긴급 검색을 사용하면 아카이브 하위 집합을 긴급하게 사용해야 하는 경우 데이터에 신속하게 액세스할 수 있습니다. 긴급 검색을 사용하면 가장 큰 아카이브(250MB 이상)를 제외하고 모든 아카이브에 대해 보통 1~5분 이내에 데이터에 액세스할 수 있습니다. 긴급 검색에는 온디맨드와 프로비저닝된 요청이라는 2가지 유형이 있습니다. 온디맨드 요청은 AWS가 검색을 1~5분 이내에 완료할 수 있을 때 이행됩니다. 프로비저닝된 요청은 긴급 검색에 대한 검색 용량을 필요할 때 사용할 수 있도록 합니다.
References
https://aws.amazon.com/ko/glacier/faqs/
https://docs.aws.amazon.com/ko_kr/amazonglacier/latest/dev/uploading-an-archive.html
https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/dev/object-lifecycle-mgmt.html
--
AWS DataSync는 온라인 데이터 전송 서비스로, 인터넷 또는 AWS Direct Connect를 통해 AWS 스토리지 서비스에서 송수신되는 대량의 데이터 복사를 간소화, 자동화 및 가속화합니다. DataSync는 NFS(Network File System)/SMB(Server Message Block) 파일 서버 또는 AWS Snowcone과 Amazon Simple Storage Service(Amazon S3) 버킷, Amazon Elastic File System(Amazon EFS) 또는 Amazon FSx for Windows File Server 파일 시스템 간에 데이터를 복사할 수 있습니다.
DataSync 서비스는 스토리지 프로토콜과 결합되지 않은 AWS 디자인 전송 프로토콜을 배포하여 데이터 이동 속도를 높입니다. 이 프로토콜은 네트워크를 통해 전송되는 데이터, 데이터 전송 방식 및 시기를 최적화합니다. DataSync가 수행하는 네트워크 최적화에는 인라인 데이터 검증과 암호화뿐만 아니라 증분 전송, 인라인 압축 및 스파스 파일 감지가 포함됩니다.
로컬 DataSync 에이전트와 클라우드 내 서비스 구성 요소 간의 연결이 다중 스레드 방식이며, WAN(Wide Area Network)을 통해 성능을 극대화합니다. 단일 DataSync 에이전트는 10Gbps 네트워크 링크를 포화 상태로 만들 수 있습니다.
DataSync는 고용량 전송을 지원하도록 클라우드 리소스를 자동으로 확장하며 필요한 경우 온프레미스에서 에이전트를 쉽게 추가할 수 있도록 합니다. 이를 통해 자체 복사 스크립트의 작성, 최적화 및 관리 또는 규모가 큰 상업용 전송 도구의 배포와 조정 시 발생하게 되는 많은 인프라 및 관리 문제도 해결할 수 있습니다.
DataSync 에이전트는 산업 표준 NFS 및 SMB 프로토콜을 사용하여 기존 스토리지 시스템과 연결됩니다. 연결된 에이전트는 데이터를 빠르게 전송하고, 지정된 Amazon S3 버킷 또는 Amazon EFS 파일 시스템 또는 Amazon FSx for Windows File Server에 보관합니다.
NFS 공유 및 Amazon EFS 간에 또는 SMB 고유 및 Amazon FSx for Windows File Server 간에 데이터를 복사할 때에는 파일 권한 및 메타데이터가 보존되므로 대상 파일 시스템으로 손쉽게 전환할 수 있습니다.
데이터를 Amazon S3에 복사할 때 DataSync는 각 파일을 1:1 비율로 단일 S3 객체로 변환하고, POSIX 메타데이터를 Amazon S3 객체 메타데이터로 보존합니다. 파일 시스템 메타데이터가 포함된 객체를 파일 형식으로 다시 복사하면 DataSync가 S3에 복사한 원본 파일 메타데이터가 복원됩니다.
DataSync는 기본적으로 AWS 인프라 및 관리 서비스와 함께 작동하여 데이터를 보다 간단하게 이동시켜 주며, DevOps 팀에게 일관된 관리 환경을 제공합니다. DataSync는 Amazon S3, Amazon EFS 및 Amazon FSx for Windows File Server와 통합될 뿐 아니라 파일을 Amazon VPC로 직접 이동하기 위해 VPC 종단점(AWS PrivateLink 기반)을 지원합니다. 다른 AWS 서비스와 마찬가지로 AWS Identity and Access Management(IAM)를 사용하여 DataSync에 대한 액세스를 안전하게 관리할 수 있습니다. 마찬가지로, 이 서비스는 사용자가 구성한 IAM 역할을 사용하여 Amazon S3 버킷에 액세스합니다.
[ 참조 링크 ]
https://aws.amazon.com/ko/datasync/features/
--
Amazon S3 Transfer Acceleration은 거리가 먼 클라이언트와 S3 버킷 간에 파일을 빠르고, 쉽고, 안전하게 전송할 수 있게 해줍니다. Transfer Acceleration은 전 세계적으로 분산되어 있는 Amazon CloudFront의 엣지 로케이션을 활용합니다. 엣지 로케이션에 도착한 데이터는 최적화된 네트워크 경로를 통해 Amazon S3로 라우팅됩니다.
버킷에서 Transfer Acceleration을 사용하는 이유는 다음과 같이 다양합니다.
• 전 세계 각지에서 중앙의 버킷으로 업로드하는 고객이 있을 경우
• 전 세계에 정기적으로 수 기가바이트에서 수 테라바이트의 데이터를 전송할 경우
• Amazon S3에 업로드할 경우 인터넷을 통해 사용 가능한 대역폭을 충분히 활용하지 못할 수 있습니다.
멀티파트 업로드를 사용하면 단일 객체를 여러 파트의 집합으로 업로드할 수 있습니다. 각 파트는 객체 데이터의 연속적인 부분입니다. 이러한 객체 파트는 독립적으로 그리고 임의의 순서로 업로드할 수 있습니다. 파트의 전송이 실패할 경우 다른 파트에 영향을 주지 않고도 해당 파트를 재전송할 수 있습니다. 객체의 모든 파트가 업로드되면 Amazon S3에서 이들 파트를 수집하여 객체를 생성합니다. 일반적으로 객체 크기가 100MB에 근접할 경우, 단일 작업에서 객체를 업로드하는 대신 멀티파트 업로드 사용을 고려해 봐야 합니다.
멀티파트 업로드 사용은 다음 이점을 제공합니다.
• 개선된 처리량 - 파트를 병렬적으로 업로드하여 처리량을 개선할 수 있습니다.
• 네트워크 문제로부터 빠른 복구 - 더 작아진 파트 크기는 네트워크 오류로 인해 실패한 업로드 재시작의 영향을 최소화합니다.
• 객체 업로드 일시 중지 및 재개 – 객체 파트를 장시간에 걸쳐 업로드할 수 있습니다. 일단 멀티파트 업로드가 시작되면 제한 시간이 없습니다. 멀티파트 업로드를 명시적으로 완료하거나 중단해야 합니다.
• 최종 객체 크기를 알기 전에 업로드를 시작 – 객체를 생성하는 동안 업로드할 수 있습니다.
--
S3 Intelligent-Tiering 스토리지 클래스는 성능 영향 또는 운영 오버헤드 없이 가장 비용 효과적인 액세스 계층으로 데이터를 자동으로 이동하여 비용을 최적화하기 위해 설계되었습니다. 이 스토리지 클래스는 두 개의 액세스 계층에 객체를 저장하여 작동합니다. 한 계층은 빈번한 액세스에 맞게 최적화되고 저렴한 비용의 다른 한 계층은 빈번하지 않은 액세스에 맞게 최적화됩니다. Amazon S3는 소액의 객체별 월 모니터링 및 자동화 요금으로 S3 Intelligent-Tiering에서 객체의 액세스 패턴을 모니터링하고 연속 30일 동안 액세스하지 않은 객체를 빈번하지 않은 액세스 계층으로 이동합니다. 빈번하지 않은 액세스 계층의 객체에 액세스하면 이 객체는 자동으로 빈번한 액세스 계층으로 다시 이동합니다. S3 Intelligent-Tiering 스토리지 클래스를 사용할 때 검색 요금은 없으며 액세스 계층 간에 객체를 이동할 때 추가 계층화 요금은 없습니다. 이 스토리지 클래스는 수명이 길고 액세스 패턴을 알 수 없거나 예측할 수 없는 데이터에 이상적입니다. S3 스토리지 클래스를 객체 수준에서 구성할 수 있으며 S3 Standard, S3 Intelligent-Tiering, S3 Standard-IA, S3 One Zone-IA에 저장된 여러 객체가 단일 버킷에 포함될 수 있습니다. S3 Intelligent-Tiering에 객체를 직접 업로드하거나, S3 수명 주기 정책을 사용하여 S3 Standard 및 S3 Standard-IA에서 S3 Intelligent-Tiering으로 객체를 전송할 수 있습니다. 또한 S3 Intelligent-Tiering에서 S3 Glacier로 객체를 아카이브할 수 있습니다.
S3 Standard-IA는 자주 액세스하지 않지만 필요할 때 빠르게 액세스해야 하는 데이터에 적합합니다. S3 Standard–IA는 S3 Standard의 뛰어난 내구성, 높은 처리량 및 짧은 지연 시간을 저렴한 GB당 스토리지 요금과 GB당 검색 요금으로 제공합니다. 낮은 비용과 높은 성능의 조합을 제공하는 S3 Standard-IA는 장기 스토리지, 백업 및 재해 복구 파일용 데이터 스토어에 이상적입니다. S3 스토리지 클래스를 객체 수준에서 구성할 수 있으며 S3 Standard, S3 Intelligent-Tiering, S3 Standard-IA, S3 One Zone-IA 전반에 걸쳐 저장된 여러 객체가 단일 버킷에 포함될 수 있습니다. 또한 S3 수명 주기 정책을 사용하여 애플리케이션 변경 없이 자동으로 스토리지 클래스 간에 객체를 전환할 수 있습니다.
S3 One Zone-IA는 자주 액세스하지 않지만 필요할 때 빠르게 액세스해야 하는 데이터에 적합합니다. 최소 3개의 가용 영역(AZ)에 데이터를 저장하는 다른 S3 스토리지 클래스와는 달리, S3 One Zone-IA는 단일 AZ에 데이터를 저장하며 비용이 S3 Standard-IA보다 20% 적게 듭니다. S3 One Zone-IA는 자주 액세스하지 않는 데이터에 대한 저렴한 옵션을 원하지만 S3 Standard 또는 S3 Standard-IA 스토리지와 같은 가용성 및 복원력이 필요 없는 고객에게 적합합니다. 이 서비스는 온프레미스 데이터 또는 쉽게 다시 생성할 수 있는 데이터의 보조 백업 복사본을 저장하는 경우 좋은 선택입니다. 또한 S3 교차 리전 복제를 사용하여 다른 AWS 리전에서 복제한 데이터를 위한 비용 효과적인 스토리지로 사용할 수 있습니다.
S3 One Zone-IA 는 S3 Standard와 동일한 높은 내구성, 많은 처리량 및 짧은 지연 시간을 저렴한 GB당 스토리지 요금과 GB당 검색 요금으로 제공합니다. S3 스토리지 클래스를 객체 수준에서 구성할 수 있으며 S3 Standard, S3 Intelligent-Tiering, S3 Standard-IA, S3 One Zone-IA 전반에 걸쳐 저장된 여러 객체가 단일 버킷에 포함될 수 있습니다. 또한 S3 수명 주기 정책을 사용하여 애플리케이션 변경 없이 자동으로 스토리지 클래스 간에 객체를 전환할 수 있습니다.
[ 참조 링크 ]
'30. Cloud' 카테고리의 다른 글
| [토크ON세미나_아파치 하둡 입문 3/3] Hadoop Map Reduce (0) | 2022.01.23 |
|---|---|
| [토크ON세미나_아파치 하둡 입문] HDFS 이해 2 (0) | 2022.01.23 |
| [토크ON세미나_아파치 하둡 입문 1/3] HDFS 하둡 분산 파일 시스템 (0) | 2022.01.22 |
| [AWS SA-CO2] AWS EC2 (0) | 2021.08.01 |
| [WIP] AWS 솔루션즈 아키텍트 (SAA-CO2) 자격증 준비 (2) | 2021.06.20 |
댓글