개발자의 개발괴발

※ 되는줄 알고 포스팅을 했는데 안되는 동작들이 발견되었다. topic create를 할때에도 몇번은 되는데 간혹가다 실패하는 경우도 있고 message producing을 할땐 아예 동작하지 않았다.알아가는 과정 중의 일부라 생각하고 이 글은 지우지 않고 놔둘 것이며 잘 되는(?) 2번 글을 참고 바란다. local에서 kafka client로 k8s 안에서 동작하는 broker에 접근을 하려고 하는데 아래와 같이 에러가 난다.%3|1740825925.737|FAIL|rdkafka#producer-1| [thrd:bitnami-kafka-controller-0.bitnami-kafka-controller-headless.de]: bitnami-kafka-controller-0.bitnami-kafka-..

minikube로 service 타입을 생성하면 아래와 같이 external-ip가 pending으로 떠있다.$ k get svcNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGEbitnami-kafka ClusterIP 10.97.113.130 9092/TCP,9095/TCP 39hbitnami-kafka-controller-0-external LoadBalancer 10.98.228.102 9094:30092/TCP ..

동작중인 pod에 접속을 해보고 싶을 때가 있다.pod에 접속해서 네트워크 상태를 체크해보거나 설정을 변경하거나 할때 말이다.이럴때 포트포워딩을 사용하면 된다.포트 포워딩하는 법은 간단하다.먼저 아래 명령어로 pod을 확인한다.$ k get podNAME READY STATUS RESTARTS AGEbitnami-kafka-controller-0 2/2 Running 0 4h30mbitnami-kafka-controller-1 2/2 Running 0 4h30mbitnami-kafka-controller-2 2/2 Running 0 4h31m bitnami-k..

명령어를 쳐도 응답이 안오는 경우가 있다.I have no name!@bitnami-kafka-controller-0:/$ kafka-topics.sh --list --bootstrap-server=localhost:9092Error while executing topic command : Timed out waiting for a node assignment. Call: listTopics[2025-03-01 03:48:19,048] ERROR org.apache.kafka.common.errors.TimeoutException: Timed out waiting for a node assignment. Call: listTopics (org.apache.kafka.tools.TopicCommand) k..

※ kafka 설치된 것에 따라 명령어의 위치가 다를 수 있음(/opt/bitnami/kafka/bin/kafka-topics.sh 여기에 있을 수도 있고 /bin에 있을 수도 있고...) ※ 쉘에 .sh이 붙고 안붙고 차이가 있을 수 있음 Group 리스트 : kafka-consumer-groups.sh --bootstrap-server localhost:9092 --listGroup 정보 조회 :kafka-consumer-groups.sh --bootstrap-server localhost:9092 \ --group $group --describeGroup Consumer 정보 조회 : kafka-consumer-groups.sh --bootstrap-server localhost:9092 \ ..

※ kafka 설치된 것에 따라 명령어의 위치가 다를 수 있음(/opt/bitnami/kafka/bin/kafka-topics.sh 여기에 있을 수도 있고 /bin에 있을 수도 있고...)※ 쉘에 .sh이 붙고 안붙고 차이가 있을 수 있음 여러 topic에 적용하기 예시topics=$(kafka-topics.sh --list --bootstrap-server=localhost:9092 | grep kakfa-connect)echo "$topics" | while IFS= read -r topic; do eval \"kafka-configs.sh --bootstrap-server localhost:9092 --alter --entity-type topics --entity-name $topic --add-..

M2 Macbook Air에 minikube를 설치해서 k8s 환경을 간단히 구성해 놨다.kafka를 공부하기로 마음먹었으니 kafka를 설치해 보자.helm을 이용하면 kafka 설치는 간단하다.먼저 helm을 설치해 보자helm 설치하기brew install helm 설치 후 helm을 쳐서 아래와 같이 나온다면 제대로 설치된 것이다.kubernetes package manager라고 소개도 해준다.$ helmThe Kubernetes package managerCommon actions for Helm:- helm search: search for charts- helm pull: download a chart to your local directory to view- helm ins..

Kubernetes를 공부해보고 싶고 사용해보고 싶지만 내가 쓸 수 있는 예산은 한계가 있다.제대로 된 kubernetes를 운영해보려면 최소 3대는 있어야 kubernetes를 맛볼 수 있다. 그래서 공부하거나 간단하게 테스트 할 수 있는 방법으로는 minikube를 이용하는 것이다.나는 M2 Macbook Air를 가지고 있다.여기에 minikube를 설치하고 실행해보려고 한다.minikube를 설치하기 위해선 아래 두가지를 먼저 설치해야한다.- docker- kubectl- k9s(optional)Docker 설치설치는 간단하다.google에서 docker desktop을 검색해서 페이지 진입 후, 아래로 내리면 Download Docker Desktop을 클릭해서 다운로드하고 설치를 한다.설치 후..