스프링부트 S3 PreSignedURL을 통한 이미지 저장

 

 

 

🤔 적용을 고려한 이유

“우리집 반려동물의 AI 프로필 사진관” 펫튜디오 프로젝트를 개발하는 과정에서 반려동물 AI 프로필 사진을 만들기 위해 Stable Diffusion 모델에 학습시킬 10~12장의 이미지를 S3에 저장해야하는 상황이 발생하였다.

 

일반적으로 이러한 경우에 클라이언트→서버 방향으로 이미지 파일을 전송하고 서버→S3 방향으로 이미지를 저장시키는 구조를 대체적으로 많이 봐왔을 것이다.

 

하지만 10장~12장이나 되는 이미지를 서버로 전송하는 일은 일반적은 요청과는 다르게 서버에 가하는 부하가 컷고, 금전적인 이슈로 AWS 프리티어의 t2.micro를 사용 중인 현재 인프라 환경에서 최대한 부하를 줄이는 작업은 불가피했다.

때문에 이미지 저장의 책임을 클라이언트 측에 위임하여 서버에 가해지는 부하를 감소시키고자 PreSignedURL 방식을 도입하기로 결정하였다.

 

 

---

 

💭 PreSignedURL이란?

PreSignedURL은 S3 버킷의 특정 디렉토리URL에 대하여 미리 접근에 대한 서명(권한을 부여하는 일이라고 생각하면 된다)을 받은 후, 서명된 URL, 즉 PreSignedURL 을 사용자에게 넘겨주어 특정 권한에 대한 요구없이 S3에 파일을 업로드할 수 있는 방식이다.

원래는 S3에 파일을 업로드하려면 S3 관련 권한을 가진 IAM 또는 루트 계정으로 접근해야 하지만, 미리 서명을 통해 권한을 가진 PreSignedURL을 사용하면 권한에 대한 증명없이 서명된 S3 버킷 디렉토리 경로에 파일 업로드가 가능하다.

 

 

미리 권한을 부여한 URL이면 보안적으로 안 좋지 않을까?

 

PreSignedURL은 생성 시에 만료 일자를 정할 수 있기 때문에 안전한 관리가 가능하다.

우리가 활용할 IAM 사용자는 AWS 서명 버전 4를 사용할 경우 최대 7일 동안 유효하다고 문서에 적혀있다.

물론 최댓값인 7일을 다 사용할 건 아니고, 업로드에 필요한 시간에서 조금 넉넉하게 잡은 1~2분 정도의 시간으로 제한할 예정이다.

 

 

 

업로드된 파일의 소유권

PreSignedURL 방식을 통해 권한이 없는 유저도 S3에 파일을 올릴 수 있지만, 파일의 소유권은 버킷 소유자가 객체를 소유하게 된다.

 

 

AWS Docs

자세한 내용은 문서를 통해 살펴보자

미리 서명된 URL을 통해 객체 공유 - Amazon Simple Storage Service

 

 

---

 

♻️ PreSignedURL 동작 플로우

 

펫튜디오에선 클라이언트에서 PreSignedURL을 요청하는 API를 호출하면, 로직을 통해 서명된 URL과 저장될 Image의 경로 를 클라이언트에게 전송할 예정이다.

 

어떤 방식으로 동작하는 지, 그림을 통해 이해해보자

 

 

 

1. PreSignedURL 요청

클라이언트에서 파일 저장을 위해 S3 관련 권한을 가지고 있는 WAS에게 PreSignedURL 발급을 요청한다.

• PreSignedURL은 각 파일 별로 생성해야 하기 때문에 2개 이상의 파일을 저장할 예정이라면, 해당 과정에서 파일 개수에 대한 정보를 WAS에 함께 넘긴다.

 

2. PreSignedURL 생성 요청

WAS는 파일 개수에 따른 파일을 저장할 S3 버킷 디렉토리 경로를 지정 후, 요청에 담아 S3에 PreSignedURL 생성을 요청한다.

 

3. PreSignedURL 발급

S3는 WAS의 권한을 확인 후, 요청받은 S3 버킷 디렉토리 경로에 대한 PreSignedURL을 발급하여 WAS에게 전달한다.

 

4. 발급받은 PreSignedURL, ImageURI, S3DirectoryPath 전달

WAS는 발급받은 PreSignedURL과 ImageURI, S3DirectoryPath 를 클라이언트에게 전달한다.

여기서 ImageURI 란, 이미지가 S3에 저장되었을 때 해당 이미지에 접근할 수 있는 주소이다. WAS는 이미지 저장의 역할을 Client에게 넘기기 때문에 이미지가 정상적으로 저장되었는 지 확인할 방법이 없다.

 

때문에 클라이언트가 PreSignedURL을 통해 이미지를 저장한 후, 저장에 성공한 Image의 URI를 서버에게 전달하여 해당 이미지가 업로드에 성공하였음을 전달하도록 하였다.

• ImageURI는 클라이언트로부터 다시 전달받은 후에 DB에 저장되어 모델 파인튜닝 등에 적극적으로 활용된다.

S3DirectoryPath는 이미지가 저장될 S3의 디렉토리 경로이다. 해당 디렉토리 안에 이미지들이 저장되며, 문제 발생 시 이미지 삭제 요청 등에 사용된다.

 

5. PreSignedURL을 통해 이미지 업로드

클라이언트는 PreSignedURL을 통해 이미지를 업로드한다. 이미지 업로드는 PreSignedURL에 PUT 메서드로 바이너리 파일을 전송한다.

• 만약 이때 업로드 실패 등의 오류 발생 시 클라이언트에선 오류를 발생에 대한 처리를 수행 후, 4번 과정에서 받은 S3DirectoryPath를 WAS의 이미지 삭제 API에 요청하여 해당 디렉토리와 디렉토리에 저장된 이미지를 제거한다.

 

6. ImageURI, S3DirectoryPath 전달

클라이언트는 이미지를 업로드 후 ImageURI와 S3DirectoryPath를 WAS에게 전달한다.

WAS는 해당 데이터를 활용하여 애완동물 정보를 저장하고, 이후 이미지 관련 작업에 활용한다.

 

 

---

 

🆚 앱에서 직접 S3에 업로드 VS 서버에서 PreSignedURL 발급받아 업로드

 

PreSignedURL을 도입하기로 했던 개발 초기에는 이런 생각이 들었다.

 

서버에서 PreSignedURL을 발급받지 않고 앱에서 직접 S3에 업로드하는 방식을 사용하면 PreSignedURL을 발급하는 복잡한 코드를 작성하지 않고 속도도 더욱 개선되지 않을까?

 

이러한 고민을 해결하기 위해 인터넷 여러 글들을 찾아본 결과, 위처럼 굳이 서버에 PreSignedURL을 요청하지 않고 앱에서 직접 S3에 업로드하는 방식 또한 가능하다는 것을 알게 되어 고민을 시작하게 되었다.

 

결론부터 말하자면 본인은 이 문제에 대한 깊은 고민의 끝에 서버에서 PreSignedURL을 발급받아 업로드하는 방식을 선택했고, 같은 고민을 할 누군가를 위해 내 생각을 기록해두고자 한다.

 

 

왜 서버에서 PreSignedURL을 발급하도록 구현했을까?

S3에 접근하기 위해선 S3에 대한 Access 권한을 가진 AWS IAM의 사용자 정보를 사용자의 로컬에 직접적으로 설치되는 앱에 포함하여 개발해야한다.

하지만 앞으로 만들어질 AI프로필 이미지와 사용자가 등록한 본인의 애완동물 사진 등의 주요 정보가 담길 S3에 대한 주요 권한 정보를 앱에 지니게 하는 것은 보안적으로 큰 문제를 불러일으킬 수 있을 것 같다고 생각했다.

때문에 앱보다 훨씬 안전한 환경인 WAS에 S3에 대한 주요 정보를 관리하면서 필요할 때 API 호출을 통해 PreSignedURL을 발급할 수 있도록 구현하기로 결정하였다.

 

---

 

✨ 구현

 

S3 버킷 생성

 

ap-northeast-2 선택 후, 버킷 이름 입력

 

 

 

• ACL 비활성화됨 선택
• 버킷 소유자 선호

🚨 해당 설정을 해주지 않으면 ACL 관련 400번대 오류가 발생

 

 

 

• 외부에서 이미지 URI를 통해 이미지에 접근하도록 할 예정이므로, 버킷을 퍼블릭 엑세스로 변경

여기까지 따라왔다면, 그대로 버킷 만들기 선택

 

 

S3 버킷 권한 설정

 

PreSignedURL을 활용하기 위해선 만들어진 버킷의 권한을 수정해야함.

 

 

 

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": "*",
            "Action": [
                "s3:Put*",
                "s3:Get*"
            ],
            "Resource": "arn:aws:s3:::{현재_버킷_이름}/*"
        }
    ]
}

• 버킷이 Put 또는 Get 작업을 허용하도록 정책 설정

 

 

[
    {
        "AllowedHeaders": [
            "*"
        ],
        "AllowedMethods": [
            "HEAD",
            "GET",
            "PUT",
            "POST"
        ],
        "AllowedOrigins": [
            "*"
        ],
        "ExposeHeaders": [
            "ETag"
        ]
    }
]

 

 

HEAD, GET, PUT, POST 메서드에 대해 CORS 설정

해당 설정을 해주지 않으면 CORS 에러 발생

 

 

IAM 생성

다음으로 S3에 PreSignedURL 요청을 가능하게 하기 위한 권한을 얻기 위해 AWS IAM을 통해 S3FullAccess 권한을 가진 사용자를 생성해야한다.

 

 

AWS IAM에서 사용자 생성 클릭

 

 

 

S3FullAccess 권한 선택

 

 

 

사용자 생성 클릭

 

 

 

생성된 사용자를 클릭하고 보안 자격 증명 클릭

 

 

 

해당 사용자로 엑세스하기 위한 엑세스 키 생성

 

 

 

사용 사례는 CLI 선택

 

 

 

필요하다면 설명 태그를 추가 후, 엑세스 키 만들기 클릭 후 만들어진 엑세스 키를 저장한다.

 

 

build.gralde

// AWS
implementation "org.springframework.cloud:spring-cloud-starter-aws:2.2.6.RELEASE"

 

spring-cloud-starter-aws 라이브러리 implementation

 

 

application.yml

cloud:
  aws:
    credentials:
      accessKey: ${AWS_ACCESS_KEY_DEV} # S3 관련 권한을 가진 AWS IAM Access Key
      secretKey: ${AWS_SECRET_KEY_DEV} # S3 관련 권한을 가진 AWS IAM Secret Key
    s3:
      bucket: ${AWS_S3_BUCKET_NAME} # S3 버킷 이름
      path: ${AWS_S3_FILE_DEFAULT_PATH} # S3에서 이미지 저장에 활용할 기본 경로
    region:
      static: ${AWS_REGION_DEV} # AWS Region
    stack:
      auto: false

 

application.yml에 PreSignedURL 구현에 필요한 환경변수 등록

 

 

S3Config

@Configuration
public class S3Config {
    @Value("${cloud.aws.credentials.accessKey}")
    private String accessKey;
    @Value("${cloud.aws.credentials.secretKey}")
    private String secretKey;
    @Value("${cloud.aws.region.static}")
    private String region;

    @Bean
    public AmazonS3 amazonS3() {
        BasicAWSCredentials credentials = new BasicAWSCredentials(accessKey, secretKey);
        return AmazonS3ClientBuilder.standard()
                .withRegion(region)
                .withCredentials(new AWSStaticCredentialsProvider(credentials))
                .build();
    }
}

• S3Config에서 S3FullAccess 권한을 가진 사용자의 accessKey, secretKey와 region을 통해 AmazonS3 Bean 생성
• AmazonS3 Bean을 PreSignedURL 생성에 사용

 

 

S3FileService

@Service
@RequiredArgsConstructor(access = AccessLevel.PROTECTED)
public class S3FileService {
    private final AmazonS3 amazonS3;

    @Value("${cloud.aws.s3.bucket}")
    private String bucketName;
    @Value("${cloud.aws.s3.path}")
    private String s3DefaultPath;
    private static final String BUCKET_DIRECTORY_NAME = "petProfile";
    private static final String FILE_NAME_PREFIX = "Petudio_";


    /**
     * presigned url 발급
     *
     * @param s3DirectoryPath 파일을 저장할 S3 디렉토리 경로
     * @param index           이미지 순서
     * @return presigned url
     */
    public String getPreSignedUrl(String s3DirectoryPath, int index) {
        try {
            String filePath = createFilePath(s3DirectoryPath, index);

            GeneratePresignedUrlRequest generatePresignedUrlRequest = getGeneratePreSignedUrlRequest(bucketName,
                    filePath);
            URL url = amazonS3.generatePresignedUrl(generatePresignedUrlRequest);
            return url.toString();
        } catch (Exception exception) {
            throw new BadGatewayException(ErrorCode.BAD_GATEWAY_EXCEPTION,
                    String.format("S3 버킷의 디렉토리(%s/%d) 에 대한 PreSignedURL을 생성하는 과정에서 에러가 발생하였습니다.", s3DirectoryPath, index));
        }
    }

    /**
     * 파일의 전체 경로를 생성
     *
     * @param index 이미지 순서
     * @return 파일의 전체 경로
     */
    private String createFilePath(String directoryPath, int index) {
        // 경로: {BUCKET_DIRECTORY_NAME}/{memberId}/Petudio_{fileId}/{index}
        return String.format("%s/%d", directoryPath, index);
    }

    /**
     * 파일 업로드용(PUT) presigned url 생성
     *
     * @param bucket   버킷 이름
     * @param filePath S3 업로드용 파일 경로
     * @return presigned url
     */
    private GeneratePresignedUrlRequest getGeneratePreSignedUrlRequest(String bucket, String filePath) {
        GeneratePresignedUrlRequest generatePresignedUrlRequest =
                new GeneratePresignedUrlRequest(bucket, filePath)
                        .withMethod(HttpMethod.PUT)
                        .withExpiration(getPreSignedUrlExpiration());
        generatePresignedUrlRequest.addRequestParameter(
                Headers.S3_CANNED_ACL,
                CannedAccessControlList.PublicRead.toString());
        return generatePresignedUrlRequest;
    }

    /**
     * presigned url 유효 기간 설정
     *
     * @return 유효기간
     */
    private Date getPreSignedUrlExpiration() {
        Date expiration = new Date();
        long expTimeMillis = expiration.getTime();
        expTimeMillis += 1000 * 60 * 2;
        expiration.setTime(expTimeMillis);
        return expiration;
    }

    /**
     * 파일을 저장할 디렉토리 경로를 생성
     *
     * @param memberId 회원 Primary Key
     * @return 파일의 전체 경로
     */
    public String createS3DirectoryPath(Long memberId) {
        return String.format("%s/%d/%s", BUCKET_DIRECTORY_NAME, memberId, FILE_NAME_PREFIX + createFileId());
    }

    /**
     * 파일 고유 ID를 생성
     *
     * @return 36자리의 UUID
     */
    private String createFileId() {
        return UUID.randomUUID().toString();
    }

    /**
     * s3 파일 접근 URI 생성
     *
     * @param filePath S3 업로드용 파일 경로
     * @return s3 파일 접근 URI
     */
    public String createImageUri(String filePath) {
        return s3DefaultPath + filePath;
    }


    /**
     * s3 Directory 데이터 삭제
     *
     * @param s3DirectoryPath 파일 삭제를 위한 S3 디렉토리 경로
     */
    public void deleteImagesByS3DirectoryPath(String s3DirectoryPath) {
        try {
            // s3DirectoryPath에 속한 객체들 나열
            ListObjectsV2Request listObjectsRequest = new ListObjectsV2Request()
                    .withBucketName(bucketName)
                    .withPrefix(s3DirectoryPath);
            ListObjectsV2Result objectsResult = amazonS3.listObjectsV2(listObjectsRequest);

            // s3DirectoryPath 내의 객체들 삭제
            for (S3ObjectSummary objectSummary : objectsResult.getObjectSummaries()) {
                String key = objectSummary.getKey();
                amazonS3.deleteObject(new DeleteObjectRequest(bucketName, key));
            }
        } catch (Exception exception) {
            throw new BadGatewayException(ErrorCode.BAD_GATEWAY_EXCEPTION,
                    String.format("S3 버킷의 디렉토리(%s) 내부 데이터를 삭제하는 과정에서 에러가 발생하였습니다.", s3DirectoryPath));
        }
    }
}

 

S3의 파일을 다루기 위한 객체로 PreSignedURL 생성, S3 파일 삭제 등의 역할을 함

 

 

PetController

    // 반려동물 이미지 저장용 S3 PreSignedURL 요청
    @GetMapping("/pet/images/presigned-url")
    public ApiResponse<CreatePetImagesUploadUrlsResponse> createPreSignedUrlForSavePetImages(
            @MemberId final Long memberId, @RequestBody @Valid final CreatePetImagesUploadUrlsRequest request) {
        return ApiResponse.success(petQueryService.createPreSignedUrlForSavePetImages(memberId, request));
    }

 

PreSignedURL 요청을 받는 Controller 로직이다.

 

 

CreatePetImagesUploadUrlsRequest

public record CreatePetImagesUploadUrlsRequest(
        @Min(value = 10, message = "이미지 갯수는 10개 이상, 12개 이하이어야 합니다.")
        @Max(value = 12, message = "이미지 갯수는 10개 이상, 12개 이하이어야 합니다.")
        short imageAmount
) {}

이미지는 10~12개 이어야하기 때문에 Validation 로직 구현

 

 

PetService

public CreatePetImagesUploadUrlsResponse createPreSignedUrlForSavePetImages(Long memberId,
                                                                                CreatePetImagesUploadUrlsRequest request) {
        String s3DirectoryPath = s3FileService.createS3DirectoryPath(memberId);
        List<PetImageUploadInfo> petImageUploadInfos = new ArrayList<>();
        
        // s3Directory 경로를 통해, 요청받은 이미지 갯수 만큼 PreSignedURL, ImageURI 생성  
        for (int i = 1; i <= request.imageAmount(); i++) {
            String s3FilePath = s3DirectoryPath + "/" + i;
            petImageUploadInfos.add(
                    new PetImageUploadInfo(s3FileService.getPreSignedUrl(s3DirectoryPath, i),
                            s3FileService.getImageUri(s3FilePath)));
        }

        return new CreatePetImagesUploadUrlsResponse(s3DirectoryPath, petImageUploadInfos);
    }

입력받은 이미지 개수만큼 PreSignedURL, ImageURI를 생성하기 위한 Service 메서드

• S3FileService의 createS3DirectoryPath를 활용하여 파일을 저장할 디렉토리 경로 s3DirectoryPath를 생성 후, 슬래시(/) + index 를 덧붙여 각 파일의 s3filePath를 생성한다.
• 그리고 s3DirectoryPath, s3filePath 를 활용하여 PreSignedURL, ImageURI를 생성하고 만들어진 경로와 s3DirectoryPath를 CreatePetImagesUploadUrlsResponse DTO 객체에 담아 보낸다.

 

 

CreatePetImagesUploadUrlsResponse

public record CreatePetImagesUploadUrlsResponse(
        String s3DirectoryPath,
        List<PetImageUploadInfo> petImageUploadInfos) {
}

 

 

PetImageUploadInfo

public record PetImageUploadInfo(String preSignedUrl, String imageUri) {
}

 

 

---

 

✅ 테스트

 

Postman

 

 

Postman으로 해당 API에 요청을 보낸 결과 이렇게 10개의 PreSignedURL이 정상적으로 호출되는 것을 확인할 수 있었다.

 

 

S3

 

클라이언트에서 PreSignedURL을 통해 S3에 이미지 저장을 시도해보았는데 이미지가 정상적으로 저장되었음을 확인할 수 있었다.

 

 

ImageUri

 

PreSignedURL 요청 시에 함께 받은 imageURI를 통해서도 정상적으로 이미지에 접근할 수 있었다.

 

 

---

 

추후 개선 방향

지금으로도 괜찮은 것 같다고 생각했지만, 문제가 되는 부분이 아직 남아있었다.

PreSignedURL을 통한 이미지 저장에 실패하여, 삭제 API가 요청되었을 때 만약 삭제 API 또한 실패한다면 잘못 저장된 이미지는 계속해서 S3에 남아있게 된다.

 

이러한 문제 해결을 위한 개선 방향을 고민할 필요가 있을 것 같다.

향후에 개선이 완료된다면 이곳에 기록하겠다.