애옹쓰

이번 글은 kafka의 resilient를 위해 k8s 클러스터를 구축한 경험을 정리한 글입니다. 가장 먼저 memory swap을 꺼줍니다. swapoff -a 이유는 k8s는 컨테이너들의 리소스 사용량을 관리하는데 메모리가 부족할때 억지로 디스크를 끌어다 쓰는 memory swap특성상 k8s입장에선 예외이기 때문입니다. 찾아보면 아래 명령어를 사용해 swap부분을 주석처리(#) 해주라하는데, 저는 들어가보니 swap관련된 줄이 없더군요. sudo vi /etc/fstab 다음은 설치 가능한 패키지 리스트를 한번 새로고침 해줍니다. sudo apt update & sudo apt-get update 이후 필요한 패키지들을 다운 받아줍니다. sudo apt-get install \ apt-transpo..

kafka의 탄생 kafka는 링크드인에서 근무하던 제이 크렙스(현 confluent ceo), 준 라오, 네하 나크헤데가 링크드인 서비스 내에서 발생하는 이슈들을 해결하기 위해 만들었습니다. 그럼 링크드인 내의 이슈들을 무엇이 있었을까요? 대표적으로 데이터 파이프라인의 확작성, 이기종 간의 호환성, 고성능 기반의 실시간 데이터처리에 대한 어려움이 있었습니다. 기존 링크드인은 데이터 파이프라인 처리를 위해 redis, rabbitMQ등 여러 애플리케이션을 사용했고 각각의 특징이 뚜렷하여 파편화가 심했습니다. 파편화는 같은 기능 애플리케이션을 만들어도 개발자가 각각에 호환되는 소프트웨어(redis, rabbitMQ가 이에 속하죠)를 만들게 했습니다. 이러한 파편화는 유지보수를 어렵게 했고 이는 비즈니스를 ..