[Kafka] AWS의 EC2 머신에서 Kafka 실행 & Error 조치

목차

1. Zookeeper & Kafka 설치
2. Zookeeper 실행 & Error 조치
3. Kafka 실행 & Error 조치

---

Zookeeper & Kafka 설치

[Kafka] AWS의 EC2 머신에 Kafka 설치 & 설정

해당 포스트를 참고하여 EC2 머신에 Zookeeper 와 Kafka를 먼저 설치 후 진행

 

---

Zookeeper 실행 & Error 조치

cd /home/ec2-user/apache-zookeeper-3.6.1-bin

zookeeper가 설치 된 경로로 이동

(ec2-user : 사용자 이름)

 

 

sudo ./bin/zkServer.sh start

zookeeper 실행

(/var/lib 경로에 자동으로 zookeeper 디렉토리 생성 됨)

("./ ": 현재있는 위치까지의 경로 모두를 뜻함)

 

 

 

# Error 1

Starting zookeeper ... FAILED TO START 가 표시되면

 

 

cd /var/lib/zookeeper

생성 된 zookeeper 디렉토리로 이동

(위치: /var/lib)

 

 

sudo vi zookeeper_server.pid

zookeeper_server.pid 파일을 각 호스트 별로 1, 2, 3 으로 수정

 

 

sudo vi myid

zookekper_server.pid와 같은 경로에 myid 파일을 생성

zookekper_server.pid와 마찬가지로 각 호스트의 내용을 1, 2, 3으로 수정

 

 

cd /home/ec2-user/apache-zookeeper-3.6.1-bin

sudo ./bin/zkServer.sh start

다시 zookeeper의 디렉토리로 이동하여 zkServer.sh 파일을 start 시킨다.

Starting zookeeper ... already running as process "zookeeper_server.pid의 내용" 가 표시 되며 실행 된다.

 

---

Kafka 실행 & Error 조치

cd /home/ec2-user/kafka_2.12-2.6.0

kafka_2.12-2.6.0 디렉토리로 이동

 

 

sudo ./bin/kafka-server-start.sh ./config/server.properties

kafka_2.12-2.6.0 디렉토리에서 kafka 실행

(bin 디렉토리의 kafka-server-start.sh 파일과 config 디렉토리의 server.properties 파일을 같이 실행)

 

 

 

 

 

# ERROR 1

만일 사진과 같은 Error 발생 시

 

 

cd bin

sudo vi kafka-server-start.sh

bin 디렉토리의 kafka-server-start.sh 파일의 편집 실행

 

 

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

해당 부분을

 

 

#if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
#    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
#fi

주석 처리 ( "#": 주석)

 

 

cd ..

sudo ./bin/kafka-server-start.sh ./config/server.properties

다시 kafka_2.12-2.6.0 디렉토리로 돌아가서 실행

 

 

 

# ERROR 2

만일 사진과 같은 에러가 난다면 java version 호환성 문제이므로 

 

 

[Linux] java openJDK 업그레이드

해당 포스트 확인하여 자바 버전 update

 

 

 

# ERROR 3

만약 소켓 연결 에러가 뜬다면 

maxClientCnxns=60

zoo.cfg 파일에 해당 내용 추가

 

 

tickTime=2000
dataDir=/var/lib/zookeeper
clientPort=2181
initLimit=20
syncLimit=5

maxClientCnxns=60

server.1=test-broker01:2888:3888
server.2=test-broker02:2888:3888
server.3=test-broker03:2888:3888