개발자의 개발괴발

Elasticsearch와 Kibana를 설치했고 Elasticsearch가 잘 동작하는걸 확인했었다.여기 페이지에 있는 화면에 접근을 하고 싶은데 Kibana에 접근하면 보여지는 것으로 보인다.Kibana를 localhost로 port-forward하고 브라우저로 접속하면 바로 접속될 줄 알았지만 역시나 한번에 되는 것은 없다.curl로도 마찬가지였다.$ curl "http://localhost:5601" -vvv* Host localhost:5601 was resolved.* IPv6: ::1* IPv4: 127.0.0.1* Trying [::1]:5601...* Connected to localhost (::1) port 5601> GET / HTTP/1.1> Host: localhost:560..

Helm으로 설치하기operator없이 그냥 배포할 수도 있지만 operator가 있으면 k8s에서 운영하기 더 편하다고 한다(안해봐서 모르겠지만 그렇다고 한다.)그래서 operator를 배포하고 elasticsearch를 배포해보도록 하겠다.Operator 배포helm을 이용하면 매우 쉽게 설치할 수 있다.여기에서 시키는대로만 하면 된다.(helm 버전은 3.2.0부터 가능)설명에 있는대로 실행해보자.$ helm repo add elastic https://helm.elastic.co"elastic" has been added to your repositories$ helm repo updateHang tight while we grab the latest from your chart repositor..

kafka나 posgresql같은 서비스는 1개보단 3개 이상으로 HA로 구성하는 경우가 많다.k8s에 위와 같은 서비스를 HA로 구성해서 배포해보면 보통 service에 headless service라는 것이 생긴다.나는 현재 minikube에 kafka를 배포해놓은 상태이다. 아래와 같이 세개의 pod이 떠있다.$ k get podNAME READY STATUS RESTARTS AGEbitnami-kafka-controller-0 2/2 Running 0 2dbitnami-kafka-controller-1 2/2 Running 0 2dbitna..

현재 myTopic이라는 topic 하나밖에 없다.I have no name!@bitnami-kafka-controller-0:/$ kafka-topics.sh --list --bootstrap-server=localhost:9092myTopic 이 토픽의 data를 조회하면 현재 아무것도 없다.아래 명령어를 입력하고 기다려도 아무런 값도 나오지 않는다.I have no name!@bitnami-kafka-controller-0:/$ kafka-console-consumer.sh --bootstrap-server localhost:9092 \ --topic myTopic --from-beginning이제 producer를 이용해 데이터를 topic에 넣어보자. package mainimpor..

이전의 설정으로 잘 되는줄 알았는데 잘 되지 않았다.이전 글에선 LoadBalancer type으로 동작을 시켰는데 이번엔 nodePort type으로 동작시켰다. 아래 명령어를 통해 얻은 values.yaml 파일을 다시 변경했다.helm show values bitnami/kafka > values.yaml전체 변경사항을 보여주자면listeners: client: containerPort: 9092 protocol: PLAINTEXT ## 여기 변경 name: CLIENT sslClientAuth: "" controller: name: CONTROLLER containerPort: 9093 protocol: PLAINTEXT ## 여기 변경 sslCl..

토픽을 만들기 위해선 Admin client를 이용해야 한다.admin, err := kafka.NewAdminClient(&kafka.ConfigMap{"bootstrap.servers": "localhost:9092"})위와 같이 새로운 admin client를 생성한다.config에는 bootstrap.servers 항목만 추가해준다.localhost:9092로 포트포워딩 해놓았으니 bootstrap.servers를 localhost:9092로 설정한다. 로컬에서 kafka client를 실행시켜 myTopic이라는 topic을 하나 생성해보자.이때 토픽의 파티션은 20개, replication factor는 3개로 하자.(replication factor는 broker의 수를 넘을 수 없음)아래 ..

※ 되는줄 알고 포스팅을 했는데 안되는 동작들이 발견되었다. topic create를 할때에도 몇번은 되는데 간혹가다 실패하는 경우도 있고 message producing을 할땐 아예 동작하지 않았다.알아가는 과정 중의 일부라 생각하고 이 글은 지우지 않고 놔둘 것이며 잘 되는(?) 2번 글을 참고 바란다. local에서 kafka client로 k8s 안에서 동작하는 broker에 접근을 하려고 하는데 아래와 같이 에러가 난다.%3|1740825925.737|FAIL|rdkafka#producer-1| [thrd:bitnami-kafka-controller-0.bitnami-kafka-controller-headless.de]: bitnami-kafka-controller-0.bitnami-kafka-..

minikube로 service 타입을 생성하면 아래와 같이 external-ip가 pending으로 떠있다.$ k get svcNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGEbitnami-kafka ClusterIP 10.97.113.130 9092/TCP,9095/TCP 39hbitnami-kafka-controller-0-external LoadBalancer 10.98.228.102 9094:30092/TCP ..

동작중인 pod에 접속을 해보고 싶을 때가 있다.pod에 접속해서 네트워크 상태를 체크해보거나 설정을 변경하거나 할때 말이다.이럴때 포트포워딩을 사용하면 된다.포트 포워딩하는 법은 간단하다.먼저 아래 명령어로 pod을 확인한다.$ k get podNAME READY STATUS RESTARTS AGEbitnami-kafka-controller-0 2/2 Running 0 4h30mbitnami-kafka-controller-1 2/2 Running 0 4h30mbitnami-kafka-controller-2 2/2 Running 0 4h31m bitnami-k..

M2 Macbook Air에 minikube를 설치해서 k8s 환경을 간단히 구성해 놨다.kafka를 공부하기로 마음먹었으니 kafka를 설치해 보자.helm을 이용하면 kafka 설치는 간단하다.먼저 helm을 설치해 보자helm 설치하기brew install helm 설치 후 helm을 쳐서 아래와 같이 나온다면 제대로 설치된 것이다.kubernetes package manager라고 소개도 해준다.$ helmThe Kubernetes package managerCommon actions for Helm:- helm search: search for charts- helm pull: download a chart to your local directory to view- helm ins..