[SAA-C03] Amazon FSx for Lustre

사례

전자 설계 자동화(EDA) 애플리케이션은 두 가지 범주에 속하는 방대한 양의 데이터를 생산합니다. ‘핫 데이터’는 병렬 및 분산 방식으로 빠르게 처리되어 저장되어야 하고, ‘콜드 데이터’는 낮은 비용으로 읽기 및 업데이트를 수행하기 위해 신속히 액세스할 수 있도록 참조용으로 보관해야 합니다.

다음 중 위에서 언급한 칩 설계 프로세스를 가속화하는 데 가장 적합한 AWS 서비스는 무엇입니까?

 

본론

Amazon FSx for Lustre  머신러닝, 고성능 컴퓨팅(HPC), 비디오 프로세싱, 재무 모델링 등의 워크로드에 사용됨. 오픈소스 Lustre 파일 시스템은 스토리지가 연산 속도와 보조를 맞추는 빠른 스토리지를 요구하는 애플리케이션을 위해 설계되어 있다.

 

FSx for Lustre는 Amazon S3와 통합되어 Lustre 파일 시스템으로 간편하게 데이터셋을 처리할 수 있다.

S3 버킷에 연결된 경우, S3 객체를 파일로서 투명하게 제시하고 변경된 데이터를 다시 S3에 기록할 수 있게 해줌.

FSx for Lustre는 ‘핫 데이터(hot data)’를 병렬로, 그리고 분산식으로 모두 처리할 능력을 제공할 뿐만 아니라 ‘콜드 데이터’를 간단히 Amazon S3에 저장할 능력도 제공.

 

• 핫 데이터는 주로 활발하게 액세스되고 빈번하게 사용되는 데이터
• 콜드 데이터는 상대적으로 적게 액세스되거나 덜 활발하게 사용되는 데이터

---

Amazon FSx for Windows File Server는 SMB 프로토콜을 통해 액세스할 수 있고 완벽히 관리되는 높은 신뢰도의 파일 스토리지를 제공

Windows Server를 기반으로 하며, 사용자 쿼터, 최종 사용자 파일 복구, AD 통합 등 다양한 관리 기능을 제공

하지만 FSx for Windows는 S3 객체를 파일로서 제시하도록 해주지 않으며, 변경된 데이터를 다시 S3에 기록하게 해주지도 않음. 그러므로 저렴한 비용으로 읽기와 업데이트를 위해 빠르게 액세스하여 ‘콜드 데이터’를 참조할 수 없다.

 

Amazon EMR은 Apache Spark, Apache Hive, Apache HBase, Apache Flink, Apache Hudi, Presto 같은 오픈소스 툴을 사용하여 대량의 데이터를 처리하기 위한 업계를 선도하는 클라우드 빅데이터 플랫폼이다.

Amazon EMR은 오픈소스 프레임워크인 Hadoop을 사용하여 여러분의 데이터를 배포하고 Amazon EC2 인스턴스들로 된 사이즈 조정이 가능한 클러스터들에 걸쳐 처리함. EMR은 FSx for Lustre와 같은 스토리지와 처리 속도를 제공하지 않기 때문에 제시된 고성능 워크플로 시나리오에는 적합하지 않다.

 

AWS Glue는 고객이 분석을 위해 자신들의 데이터를 손쉽게 준비하고 로딩할 수 있게 해주는 완벽히 관리되는 추출, 변환, 로드(ETL) 서비스이다. AWS Glue의 작업은 배치 ETL 데이터 처리에 사용되고 FSx for Lustre와 같은 스토리지와 처리 속도를 제공하지 않는다.