TIL
kafka 개념 (파티셔너)
하얀잔디
2024. 1. 4. 15:20
프로듀서가 데이터를 보내면 파티셔너 ! 를 통해서 데이터가 전송됨
어떤 파티션에 넣을지 설정
따로 설정안하면 UniformStikyPartitioner으로 됨
1) 메시지 키로
동일한 메시지 키 -> 동일한 파티션에 들어갈 수 있어서 순서를 지킬 수 있음.
메시지 키에 '서울' 이라는 String 값을 넣고
레코드를 지속적으로 보내면 항상 동일한 파티션에 순서대로 값이 들어가기때문에
2)
메시지 키가 없는 경우
-> 라운드 로빈으로 들어감
전통적인 방식과 좀 다른데,
배치로 모을 수 있는 레코드를 모아서 파티션으로 데이터를 보냄.
위에는 기본적인거고,
Custom을 하면 따로 파티션을 넣을 수 있음.
언제 커스텀을 사용할까?
ex ) VIP 고객을 위해서 조금 더 빠르게 처리하기 위해
10개의
8개의 파티션에는 VIP를 위해서
2개는 일반유저를 위해서 하면 VIP를 위해 빠르게 데이터 처리 가능