Kafka와 Python을 활용한 백엔드 비동기 처리 시스템 구축 경험 — 5개월간의 도전으로 80% 응답 속도 향상 사례 분석

비동기 처리 시스템 구축은 많은 개발자에게 도전이 된다. 특히, 데이터 스트리밍 플랫폼인 Kafka와 Python을 활용한 사례는 실무에서 유용한 경험이 될 수 있다. 이번 글에서는 5개월간의 프로젝트를 통해 얻은 인사이트와 성과를 공유하고자 한다.

프로젝트 개요

프로젝트의 목표는 기존의 동기 처리 방식에서 비동기 방식으로 전환하여 응답 속도를 개선하는 것이었다. 초기 시스템은 HTTP 요청을 동기적으로 처리하여, 요청이 많아질수록 응답 시간이 기하급수적으로 증가하는 문제를 겪고 있었다. 이를 해결하기 위해 Kafka를 도입하고 Python의 비동기 라이브러리를 활용하기로 했다.

Kafka의 도입과 설정

Kafka는 높은 처리량과 내구성을 제공하는 메시지 브로커이다. 이를 도입하면서 고려한 점은 다음과 같다.

1. 토픽 설계: 데이터 흐름을 명확히 하기 위해 여러 개의 토픽으로 나누었다. 각 서비스가 필요한 데이터만 구독할 수 있도록 설계했다.
2. 파티셔닝: 데이터의 부하를 분산하기 위해 파티셔닝을 활용하였다. 이를 통해 여러 소비자가 동시에 메시지를 처리할 수 있게 했다.

Kafka 설정은 처음에는 복잡하게 느껴졌지만, 공식 문서를 참조하면서 점차 익숙해졌다. 특히, 각종 설정 값이 성능에 미치는 영향을 직접 경험하면서 많은 것을 배웠다.

from kafka import KafkaProducer

producer = KafkaProducer(bootstrap_servers='localhost:9092')
producer.send('my_topic', b'Hello, Kafka!')
producer.flush()

Python 비동기 처리

Python에서는 asyncio와 aiohttp를 활용하여 비동기 처리를 구현하였다. 기존의 동기 코드에서 비동기로 전환하는 과정에서 몇 가지 트레이드오프가 발생했다.

1. 코드 복잡성 증가: 비동기 코드는 동기 코드보다 가독성이 떨어질 수 있다. 예외 처리와 상태 관리가 복잡해져, 디버깅이 어려워졌다.
2. 성능 개선 효과: 비동기 처리를 통해 I/O 작업이 끝나는 동안 다른 작업을 수행할 수 있어, 응답 속도가 평균 80% 향상되었다. 이는 사용자의 대기 시간을 크게 줄였다.

아래는 aiohttp를 활용한 비동기 HTTP 요청 예시이다.

import aiohttp
import asyncio

async def fetch_data(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return await response.json()

async def main():
    url = 'https://api.example.com/data'
    data = await fetch_data(url)
    (data)

asyncio.run(main())