kafka 개념 (파티셔너)

프로듀서가 데이터를 보내면 파티셔너 !  를 통해서 데이터가 전송됨

출처 : 데브원영 youtube

 

 

어떤 파티션에 넣을지 설정

 

따로 설정안하면 UniformStikyPartitioner으로 됨

 

1) 메시지 키로

 

동일한 메시지 키 -> 동일한 파티션에 들어갈 수 있어서 순서를 지킬 수 있음.

 

메시지 키에 '서울' 이라는 String 값을 넣고

 

레코드를 지속적으로 보내면 항상 동일한 파티션에 순서대로 값이 들어가기때문에

 

2)

메시지 키가 없는 경우 

-> 라운드 로빈으로 들어감

전통적인 방식과 좀 다른데,

배치로 모을 수 있는 레코드를 모아서 파티션으로 데이터를 보냄.

 

위에는 기본적인거고,

 

Custom을 하면 따로 파티션을 넣을 수 있음.

언제 커스텀을 사용할까?

 

ex ) VIP 고객을 위해서 조금 더 빠르게 처리하기 위해 

10개의 

8개의 파티션에는 VIP를 위해서

2개는 일반유저를 위해서 하면 VIP를 위해 빠르게 데이터 처리 가능