개발자의 개발괴발

이전 글에서 topic에 메세지를 produce 해보았다.topic에 저장된 message에 대해 살펴보자토픽을 조회해보자.$ kafka-topics.sh --list --bootstrap-server=localhost:9092__consumer_offsetsmyTopic__consumer_offsets와 myTopic 두개의 토픽이 보인다.__consumer_offsets 토픽은 자동으로 생성된 토픽이다.우리가 생성한 myTopic에 저장된 내용을 보자.kafka console consumer를 통해 내용을 확인해보면 아래와 같다.$ kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic myTopic --from-beginningWel..

현재 myTopic이라는 topic 하나밖에 없다.I have no name!@bitnami-kafka-controller-0:/$ kafka-topics.sh --list --bootstrap-server=localhost:9092myTopic 이 토픽의 data를 조회하면 현재 아무것도 없다.아래 명령어를 입력하고 기다려도 아무런 값도 나오지 않는다.I have no name!@bitnami-kafka-controller-0:/$ kafka-console-consumer.sh --bootstrap-server localhost:9092 \ --topic myTopic --from-beginning이제 producer를 이용해 데이터를 topic에 넣어보자. package mainimpor..

이전의 설정으로 잘 되는줄 알았는데 잘 되지 않았다.이전 글에선 LoadBalancer type으로 동작을 시켰는데 이번엔 nodePort type으로 동작시켰다. 아래 명령어를 통해 얻은 values.yaml 파일을 다시 변경했다.helm show values bitnami/kafka > values.yaml전체 변경사항을 보여주자면listeners: client: containerPort: 9092 protocol: PLAINTEXT ## 여기 변경 name: CLIENT sslClientAuth: "" controller: name: CONTROLLER containerPort: 9093 protocol: PLAINTEXT ## 여기 변경 sslCl..

토픽을 만들기 위해선 Admin client를 이용해야 한다.admin, err := kafka.NewAdminClient(&kafka.ConfigMap{"bootstrap.servers": "localhost:9092"})위와 같이 새로운 admin client를 생성한다.config에는 bootstrap.servers 항목만 추가해준다.localhost:9092로 포트포워딩 해놓았으니 bootstrap.servers를 localhost:9092로 설정한다. 로컬에서 kafka client를 실행시켜 myTopic이라는 topic을 하나 생성해보자.이때 토픽의 파티션은 20개, replication factor는 3개로 하자.(replication factor는 broker의 수를 넘을 수 없음)아래 ..

※ 되는줄 알고 포스팅을 했는데 안되는 동작들이 발견되었다. topic create를 할때에도 몇번은 되는데 간혹가다 실패하는 경우도 있고 message producing을 할땐 아예 동작하지 않았다.알아가는 과정 중의 일부라 생각하고 이 글은 지우지 않고 놔둘 것이며 잘 되는(?) 2번 글을 참고 바란다. local에서 kafka client로 k8s 안에서 동작하는 broker에 접근을 하려고 하는데 아래와 같이 에러가 난다.%3|1740825925.737|FAIL|rdkafka#producer-1| [thrd:bitnami-kafka-controller-0.bitnami-kafka-controller-headless.de]: bitnami-kafka-controller-0.bitnami-kafka-..

minikube로 service 타입을 생성하면 아래와 같이 external-ip가 pending으로 떠있다.$ k get svcNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGEbitnami-kafka ClusterIP 10.97.113.130 9092/TCP,9095/TCP 39hbitnami-kafka-controller-0-external LoadBalancer 10.98.228.102 9094:30092/TCP ..

※ kafka 설치된 것에 따라 명령어의 위치가 다를 수 있음(/opt/bitnami/kafka/bin/kafka-topics.sh 여기에 있을 수도 있고 /bin에 있을 수도 있고...) ※ 쉘에 .sh이 붙고 안붙고 차이가 있을 수 있음 Group 리스트 : kafka-consumer-groups.sh --bootstrap-server localhost:9092 --listGroup 정보 조회 :kafka-consumer-groups.sh --bootstrap-server localhost:9092 \ --group $group --describeGroup Consumer 정보 조회 : kafka-consumer-groups.sh --bootstrap-server localhost:9092 \ ..

※ kafka 설치된 것에 따라 명령어의 위치가 다를 수 있음(/opt/bitnami/kafka/bin/kafka-topics.sh 여기에 있을 수도 있고 /bin에 있을 수도 있고...)※ 쉘에 .sh이 붙고 안붙고 차이가 있을 수 있음 여러 topic에 적용하기 예시topics=$(kafka-topics.sh --list --bootstrap-server=localhost:9092 | grep kakfa-connect)echo "$topics" | while IFS= read -r topic; do eval \"kafka-configs.sh --bootstrap-server localhost:9092 --alter --entity-type topics --entity-name $topic --add-..

M2 Macbook Air에 minikube를 설치해서 k8s 환경을 간단히 구성해 놨다.kafka를 공부하기로 마음먹었으니 kafka를 설치해 보자.helm을 이용하면 kafka 설치는 간단하다.먼저 helm을 설치해 보자helm 설치하기brew install helm 설치 후 helm을 쳐서 아래와 같이 나온다면 제대로 설치된 것이다.kubernetes package manager라고 소개도 해준다.$ helmThe Kubernetes package managerCommon actions for Helm:- helm search: search for charts- helm pull: download a chart to your local directory to view- helm ins..