| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
- elastic
- Kafka
- Golang
- create topic
- es
- command
- offset
- k8s
- partition
- Producer
- broker
- Kafka Connect
- loadbalance
- ElasticSearch
- Produce
- 쿠버네티스
- http
- kafka-connect
- Message
- Kubernetes
- tls disable
- Elk
- topic
- Helm
- minikube
- kibana
- kafka broker
- Consumer
- consumer group
- eck
- Today
- Total
목록개발/kubernetes (6)
개발자의 개발괴발
kafka connector를 동작시키기 위해선 kafka connect가 필요하다.kafka connector와 kafka connect는 이름이 비슷하지만 다른 것이다.kafka connector는 kafka connect 위에서 플러그인 형식으로 동작한다.kafka-connect를 docker로 빌드하기일단 kafka connector를 포함해서 docker build를 먼저 해보자. 여기를 참고해서 해보았다.링크해준 것은 로컬 PC에 내가 사용할 kafka connector가 있는 경우에 유용하다.많은 경우에는 Confluent Hub 에서 제공하는 kafka connector를 쓰는 경우가 많을 것이다.그러나 가끔 접속이 안되는 경우도 있고 또 내가 커스텀으로 개발한 kafka connector..
결론부터 얘기하면 아래 yaml 파일을 만들어 kube apply를 하면 된다.아래 코드를 복사해서 psql17.yaml로 저장한다.apiVersion: v1kind: PersistentVolumeClaimmetadata: name: postgres-pvcspec: storageClassName: manual accessModes: - ReadWriteOnce resources: requests: storage: 5Gi---apiVersion: v1kind: ConfigMapmetadata: name: postgres-configdata: POSTGRES_DB: psql POSTGRES_USER: psql---apiVersion: v1kind: Secretmetadata:..
kafka나 posgresql같은 서비스는 1개보단 3개 이상으로 HA로 구성하는 경우가 많다.k8s에 위와 같은 서비스를 HA로 구성해서 배포해보면 보통 service에 headless service라는 것이 생긴다.나는 현재 minikube에 kafka를 배포해놓은 상태이다. 아래와 같이 세개의 pod이 떠있다.$ k get podNAME READY STATUS RESTARTS AGEbitnami-kafka-controller-0 2/2 Running 0 2dbitnami-kafka-controller-1 2/2 Running 0 2dbitna..
minikube로 service 타입을 생성하면 아래와 같이 external-ip가 pending으로 떠있다.$ k get svcNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGEbitnami-kafka ClusterIP 10.97.113.130 9092/TCP,9095/TCP 39hbitnami-kafka-controller-0-external LoadBalancer 10.98.228.102 9094:30092/TCP ..
동작중인 pod에 접속을 해보고 싶을 때가 있다.pod에 접속해서 네트워크 상태를 체크해보거나 설정을 변경하거나 할때 말이다.이럴때 포트포워딩을 사용하면 된다.포트 포워딩하는 법은 간단하다.먼저 아래 명령어로 pod을 확인한다.$ k get podNAME READY STATUS RESTARTS AGEbitnami-kafka-controller-0 2/2 Running 0 4h30mbitnami-kafka-controller-1 2/2 Running 0 4h30mbitnami-kafka-controller-2 2/2 Running 0 4h31m bitnami-k..
[Kubernetes] Mac에서 k8s 연습하기(feat. minikube)
Kubernetes를 공부해보고 싶고 사용해보고 싶지만 내가 쓸 수 있는 예산은 한계가 있다.제대로 된 kubernetes를 운영해보려면 최소 3대는 있어야 kubernetes를 맛볼 수 있다. 그래서 공부하거나 간단하게 테스트 할 수 있는 방법으로는 minikube를 이용하는 것이다.나는 M2 Macbook Air를 가지고 있다.여기에 minikube를 설치하고 실행해보려고 한다.minikube를 설치하기 위해선 아래 두가지를 먼저 설치해야한다.- docker- kubectl- k9s(optional)Docker 설치설치는 간단하다.google에서 docker desktop을 검색해서 페이지 진입 후, 아래로 내리면 Download Docker Desktop을 클릭해서 다운로드하고 설치를 한다.설치 후..