[Spring boot] 스크립트와 S3 bucket을 이용한 스프링 앱 배포 자동화(+ 슬랙 봇, crontab 활용)

스크립트와 S3 bucket을 이용한 스프링 앱 배포 자동화(+ 슬랙 봇, crontab 활용)

yeon이 오늘 프로젝트에서 가르쳐 주신 배포자동화 과정을 정리해 보았다! 🙇‍♂️

(출처 : S3 bucket을 이용한 배포 자동화)

다음과 같은 자동화를 하게 된다.

• 로컬에서 빌드한 스프링 앱의 빌드 파일(jar)을 S3에 넣기
• 인스턴스가 s3를 1분마다 체크
• 빌드 파일이 새로운 버전이면 s3에서 빌드 및 배포

[준비물] 잘 돌아가는 스프링 앱, aws 계정과 ec2 인스턴스, 슬랙

1. (로컬) 스프링 앱을 빌드해 jar파일을 생성함

   • 프로젝트 폴더에서 ./gradlew build jar

2. (ec2) S3에서 배포용 bucket 생성

   • aws서비스 중 s3 선택 - 버킷 - 버킷 만들기
   • 버킷 생성시 이름이 다른 버킷과 중복되면 안 됨
   • 기본옵션 그대로 만들기

3. (로컬) aws cli 설치

   • aws 명령어를 사용하기 위해 설치함.
   • https://velog.io/@trycatch/AWS-CLI-%EC%84%A4%EC%B9%98%ED%95%98%EA%B8%B0 를 참고해 설치한 다음,
     • 윈도우는 위 링크를 참조해 설치 프로그램 다운로드, 맥/Linux는 sudo apt install awscli
     • 맥/리눅스 설치가 안 될 시 sudo apt update 를 통해 업데이트 한 다음 다시 시도해 보기
   • https://lovemewithoutall.github.io/it/aws-cli-configure/ 를 참고해 초기 설정을 마치기. (IAM을 만들 때 생성되는 AWS Access Key ID, AWS Secret Access Key 필요)

4. (로컬 -> ec2) jar파일을 S3 버킷으로 복사

   • jar파일이 있는 위치로 이동(보통 프로젝트 파일에서 cd /build/libs)
   • aws s3 cp jar파일명.jar s3://버킷이름/파일이름.jar
   • *파일이름의 경우, 복사를 통해 새로 생성되는 파일 이름을 뜻함. 직접 지정해 주면 된다.
   • aws s3 ls s3://버킷이름 으로 s3버킷에 잘 들어갔는지 확인할 수 있다.

5. (ec2 - Role) s3 access 정책이 연결된 Role(역할) 추가 및 ec2 인스턴스에 등록

   • ec2 인스턴스에 접속 후, 3.의 방법을 참고해 aws cli를 동일하게 설치 (sudo apt install awscli)
   • 이제 s3에 접근하는 주체인 ec2가 s3에 액세스할 수 있는 권한을 부여해 주어야 한다. = aws Role
   • aws서비스 중 IAM을 선택 - 역할(role) - 역할 만들기.
   • 만든 역할에 AmazonS3FulAccess라는 정책 연결
   • 역할 생성 후, 다시 ec2 인스턴스로 돌아기
   • 인스턴스에 체크박스 체크 후 [작업] - [보안] - [IAM 역할 수정] - 'IAM역할'에서 방금 생성한 역할 선택 후 저장
   • 이제 해당 인스턴스는 S3에 접근할 수 있게 됨.
   • 해당 인스턴스에서 aws s3 ls를 입력해 잘 조회되는지 확인.

6. (로컬) 슬랙 web hook 설정하기

   • 배포 자동화를 통해 배포가 이루어질 때, 슬랙 특정 채널에 봇을 통해 알림이 전송되도록 할 수 있다.
   • https://jojoldu.tistory.com/552 를 참고해 알림을 받을 슬랙 채널에 webhook 앱을 추가하고, WebhookURL주소를 받아 둔다.

7. (ec2) 배포 자동화 - 배포 스크립트 작성

   • ec2 인스턴스에 접속해 build.sh라는 이름의 스크립트 파일을 생성한다(vi build.sh). 그리고 아래 내용을 입력한다.

   • build.sh

   • #!/bin/bash
     IP=`curl -s 169.254.169.254/latest/meta-data/public-ipv4`
     START="$IP start deploying app!"
     END="$IP end deploying app!"
     
     #real deploy script
     CK=`aws s3 cp jar파일명 s3://버킷이름/파일이름`
     if [[ ! $CK ]]; then
         echo "no need to build"
         exit 0
     fi
     
     curl -X POST --data-urlencode "payload={\"text\": \"$START\"}" WebhookURL주소
     
     /usr/bin/fuser -k 8080/tcp
     aws s3 cp s3://버킷이름/jar파일명.jar ./jar파일명.jar
     nohup java -jar jar파일명.jar &
     aws s3 rm s3://버킷이름/jar파일명.jar
     
     curl -X POST --data-urlencode "payload={\"text\": \"$END\"}" WebhookURL주소
     
     echo "Deploy end: `date`"

   • #예시
     #!/bin/bash
     IP=`curl -s 169.254.169.254/latest/meta-data/public-ipv4`
     START="$IP start deploying app!"
     END="$IP end deploying app!"
     #real deploy script
     CK=`aws s3 ls s3://codesquad-issue-tracker-team7/issue-tracker.jar`
     if [[ ! $CK ]]; then
         echo "no need to build"
         exit 0
     fi
     
     curl -X POST --data-urlencode "payload={\"text\": \"$START\"}" https://hooks.slack.com/services/링크링크/링크링크/링크링크
     
     /usr/bin/fuser -k 8080/tcp
     aws s3 cp s3://codesquad-issue-tracker-team7/issue-tracker.jar ./
     nohup java -jar issue-tracker.jar &
     aws s3 rm s3://codesquad-issue-tracker-team7/issue-tracker.jar
     
     curl -X POST --data-urlencode "payload={\"text\": \"$END\"}" https://hooks.slack.com/services/링크링크/링크링크/링크링크
     
     echo "Deploy end: `date`"

   • 동작 : ./build.sh 실행 시, s3 버킷에 빌드 파일(.jar)이 있으면 배포를 진행하고 배포 종료 시간을 출력한다. 반대로 s3버킷에 빌드 파일이 없으면 배포를 하지 않고 no need to build를 출력한다.

   • curl -s 169.254.169.254/latest/meta-data/public-ipv4

     • 현재 ec2인스턴스의 public ipv4 주소를 알아낸다.

   • WebhookURL주소

     • 7.에서 받아 둔 주소를 넣는다. 배포 시작/종료 시 해당 채널에 알림이 전송됨

   • /usr/bin/fuser -k 8080/tcp

     • 포트 번호(8080)를 이용해 실행 중인 프로세스를 죽이는 코드.
     • 재배포 전 이미 실행 중인 프로세스를 죽여야 하므로 필요.

   • jar파일명.jar

     • 4.에서 지정한 파일 이름에 .jar 확장자를 붙임. 예를 들어 airbnb.jar.

   • 이제 로컬에서 ec2 인스턴스에 jar파일을 보낸 후, ec2에서 ./build.sh 만 실행하면 배포가 자동으로 되며 슬랙 알림도 온다.

8. (로컬) '로컬 빌드 - jar파일 s3로 복사' 과정 자동화

   • 로컬 프로젝트 파일 위치에서도 마찬가지로 build.sh파일을 만들어서, jar파일 빌드 및 aws s3에 복사하는 과정을 자동화할 수 있다.

   • build.sh

   • #!/bin/bash
     ./gradlew build jar
     aws s3 cp build/libs/로컬jar파일명.jar s3://버킷이름/jar파일명.jar
     echo "Done!"

   • 이후 로컬에서도 ./build.sh 명령어를 통해 빌드, s3복사 과정을 자동화할 수 있다.

   • 이제 재배포를 원할 때, 로컬에서 ./build.sh 후 ec2인스턴스에서 ./build.sh 입력하면 재배포가 끝난다.

9. (ec2) crontab으로 1분마다 build.sh실행하기

   • ec2 인스턴스에 접속 후 crontab -e명령어를 실행한다.

   • 이후 맨 아래에 아래와 같이 작성한다.

   • * * * * *      /home/ubuntu/build.sh >> log.txt 2>&1

   • 1분마다 build.sh를 실행하고, 그 로그를 log.txt에 남긴다.

   • cat log.txt를 통해 로그를 볼 수 있다.