| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 | 31 |
- broker
- loadbalance
- Produce
- Message
- eck
- 쿠버네티스
- docker
- gorm
- ElasticSearch
- go test
- Golang
- minikube
- Consumer
- Kafka
- gortsplib
- kibana
- http
- topic
- k8s
- Elk
- go
- gin
- Helm
- kafka-connect
- tls disable
- create topic
- Kubernetes
- Kafka Connect
- consumer group
- kafka broker
- Today
- Total
목록partition (2)
개발자의 개발괴발
[kafka] consumer group 소개
consumer group은 마치 하나의 consumer가 동작하는 것 처럼 보이게 한다.consumer group이 하나가 있다. 이 consumer group에는 두 개의 consumer가 있다. 이때 이 두 consumer가 하나의 topic(파티션이 3개)에서 데이터를 가져온다면 아래 그림처럼 동작할 것이다. Topic에 데이터가 저장이 된 다는 것은 정확하게는 Topic 안의 partition에 저장이 된다. consumer는 이 토픽의 각 partition들을 나눠서 담당한다. consumer는 여러개의 partition을 담당할 수 있다. 그러나 partition은 단 하나의 consumer와 일을 한다. 위 그림처럼 partition의 수가 더 많으면 consumer가 두개 이상의 part..
이전 글에서 topic에 메세지를 produce 해보았다.topic에 저장된 message에 대해 살펴보자토픽을 조회해보자.$ kafka-topics.sh --list --bootstrap-server=localhost:9092__consumer_offsetsmyTopic__consumer_offsets와 myTopic 두개의 토픽이 보인다.__consumer_offsets 토픽은 자동으로 생성된 토픽이다.우리가 생성한 myTopic에 저장된 내용을 보자.kafka console consumer를 통해 내용을 확인해보면 아래와 같다.$ kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic myTopic --from-beginningWel..