[Python] 두 개의 Task 클래스를 계층 구조로 리팩터링 하기

수행에 오랜 시간이 걸려서 한번 trigger 되면 알아서 주어진 일을 수행하고 그 결과 물을 전달하는 task를 worker라는 패키지 안에 넣어 두었다. 이 녀석은 주어진 dataset으로 AI model training을 수행했기에 TrainingTask 라는 class에 넣어 두었다. 조금 시간이 흘러서 이번에는 Dataset을 한 번 받으면 그 안에 있는 내용을 unzip해서 database에 등록하고 여차저차한 일을 수행하는 새로운 class를 도입해야 하는 상황이 되었는데, 이 녀석의 이름을 DatasetTask라고 짓고 코드를 구성하다 보니, task에 필요한 parameter들을 가져와서 작업하고 결과물을 돌려주는 구조가 기존의 TrainingTask와 매우 유사했다.

이번 포스팅에서는 혼자만 있던 TrainingTask와 유사한 기능을 가진 DatasetTask를 정의하면서 중복을 걷어낸 과정을 단계별로 정리한다. 파이썬의 ABC, 추상 프로퍼티, frozen dataclass, 구조적 패턴 매칭을 어떻게 사용했는지를 보려고 한다.

공통 코드를 베이스 클래스로 끌어올리기

두 클래스는 각자의 고유한 일을 하기 전에 똑같은 준비 작업을 수행하고 있다.

  • 환경 변수에서 페이로드 읽기
  • JSON 파싱
  • 페이로드의 task_id가 기대한 값과 같은지 확인
  • 로드 여부 추적

이 부분을 BaseTask로 옮기고 템플릿 메서드 패턴을 적용했다. 전체 흐름은 베이스 클래스가 잡고, 서브클래스는 hook인 _inflate_payload()의 내용을 채워준다.

class BaseTask:
    def inflate(self):
        raw = os.environ.get(self._PAYLOAD_ENV)
        if raw is None:
            raise RuntimeError(f"Environment variable {self._PAYLOAD_ENV!r} is not set.")
        payload = json.loads(raw)
        if payload.get("task_id") != self._id:
            raise RuntimeError("task_id mismatch")
        self._inflate_payload(payload)   # 서브클래스별 로직
        self._loaded = True

여기에 작은 헬퍼 _ensure_loaded(field)도 추가했다. 여러 곳에 흩어져 있던 “아직 로드되지 않았음” 검사를 하나로 묶은 것이다. 에러 메시지에 type(self).__name__을 넣어서, 각 서브클래스는 여전히 자기 클래스 이름이 찍힌 에러를 받는다.

함정: 클래스 본문 안에서는 부모에게 상속받은 속성을 이름만으로 참조할 수 없다. _PYTHON_VERSION을 부모로 옮긴 뒤 서브클래스 본문에서 Path(f".../python{_PYTHON_VERSION}/...")처럼 쓰면 NameError가 난다. 클래스 본문은 상속 체인을 타는 스코프가 아니기 때문이다. BaseTask._PYTHON_VERSION으로 명시해야 한다.

BastTask 클래스를 추상 클래스로 만들기

훅이 raise NotImplementedError만 하는 베이스 클래스는 실제로 호출될 때가 되어서야 문제를 알려주지만, ABC로 바꾸면 그 에러가 인스턴스를 만드는 시점으로 앞당겨지기에 실제 호출 pass가 없더라도 비교적 쉽게 문제를 알 수 있다.

from abc import ABC, abstractmethod

class BaseTask(ABC):
    @abstractmethod
    def _inflate_payload(self, payload: dict[str, Any]):
        """Populate the task specific fields from the validated payload."""

이제 훅을 빠뜨린 서브클래스는 만들자마자 실패한다.

TypeError: Can't instantiate abstract class XXX without an implementation for abstract method '_inflate_payload'

워커가 한참 일하다가 터지는 대신, 테스트나 시작 단계에서 바로 문제를 알 수 있다.

클래스 상수 강제하기

각 서브클래스는 어떤 환경 변수를 읽을지도 정해야 한다. _PAYLOAD_ENV: str같은 어노테이션만 두면 아무것도 강제하지 않는다. 추상 프로퍼티로 선언하면 이 것을 강제할 수 있다.

class BaseTask(ABC):
    @property
    @abstractmethod
    def _PAYLOAD_ENV(self) -> str:
        """Name of the environment variable that holds the task payload."""

좋은 점은 서브클래스가 프로퍼티를 직접 작성할 필요가 없다는 것이다. 클래스 속성을 정의하는 것으로 추상 멤버를 덮어쓴 것으로 인정된다.

class TrainingTask(BaseTask):
    _PAYLOAD_ENV = "TRAINING_TASK_PAYLOAD"

선언을 빠뜨리면 이것 역시도 인스턴스 생성 시점에 TypeError가 발생한다.

연산별 파라미터는 Subclassing 대신 Sum type으로

DatasetTask는 여러 연산(add, remove, export)을 지원하고, 연산마다 필요한 파라미터가 다르다. 처음에는 연산마다 서브클래스를 만들 생각이었지만 두 가지 이유로 접었다.

  • 페이로드를 읽기 전에는 어떤 클래스를 만들지 알 수 없다. 결국 페이로드를 두 번 읽는 팩토리가 필요해진다.
  • 서브클래스들이 동작이 아니라 데이터만 다르다.

대신 DatasetTask는 하나로 두고, 연산마다 작고 불변하는 dataclass를 하나씩 선언하고 Params라고 이름을 붙였다. Payload를 읽을 때는 조회 테이블(_PARAMS_BY_OP)이 적합한 클래스를 고르게 된다. 이 세 클래스를 '|'로 묶은 DatasetParams는 “셋 중 정확히 하나”인 값을 나타내는데, 이러한 타입을 sum type이라 한다.

@dataclass(frozen=True)
class ExportParams:
    dataset_id: str
    dataset_version: str

    @classmethod
    def from_payload(cls, p: dict[str, Any]) -> Self:
        return cls(dataset_id=p["dataset_id"], dataset_version=p["dataset_version"])

DatasetParams = AddParams | RemoveParams | ExportParams

class DatasetTask(BaseTask):
    _PARAMS_BY_OP = {"ADD": AddParams, "REMOVE": RemoveParams, "EXPORT": ExportParams}

    def _inflate_payload(self, payload):
        op = payload.get("dataset_op", "").upper()
        params_cls = self._PARAMS_BY_OP.get(op)
        if params_cls is None:
            raise RuntimeError(f"Unknown dataset_op {op!r}.")
        self._params = params_cls.from_payload(payload)

워커 쪽에서는 패턴 매칭으로 파라미터 타입에 따라 분기한다.

match task.params():
    case ExportParams() as p:
        self._op_export(p)   # p.dataset_id가 타입을 갖고 에디터에서 자동완성된다
    case AddParams() as p:
        self._op_add(p)

이 방식으로 얻은 것은 세 가지다.

  • 어떤 속성이 채워져 있을지 추측할 필요가 없다.
  • 빠진 필드나 모르는 연산은 작업 도중이 아니라 inflate()에서 실패한다.
  • 새 연산은 dataclass, 테이블 항목 추가, case문 추가를 수행해 주면 된다.

결론

진짜로 공유되는 코드만 베이스 클래스로 끌어올리고, 베이스 클래스가 추상 메서드와 추상 프로퍼티로 계약을 강제하게 하자.

동작이 아니라 데이터만 다른 경우라면 서브클래스 보다는 타입이 있는 값 객체를 두고 sum type으로 묶는 방안을 고려해보자.

PHP 보안취약점 긴급 패치 (Amazon Linux 2023)

원격으로 서버에서 명령을 실행할 수 있는 취약점 CVE-2026-109618, CVE-2026-109619이 발견되었다는 뉴스가 돌았다. PHP 8.1은 패치가 지원되지 않고 8.2는 곧 지원종료 예정이어서 8.3으로 업그레이드가 권장된다.

Amazon Linux 2023 패치방법

sudo dnf upgrade --releasever=latest
sudo dnf upgrade php php-common php-cli php-fpm

업그레이드 후 php version 확인

$ php -v
PHP 8.3.36 (cli) (built: Oct 19 2026 14:00:34) (NTS gcc x86_64)
Copyright (c) The PHP Group
Zend Engine v4.3.36, Copyright (c) Zend Technologies
    with Zend OPcache v8.3.33, Copyright (c), by Zend Technologies

꼭 서버들을 재시작 해주자.

# Nginx + PHP-FPM인 경우
sudo systemctl restart php-fpm
sudo systemctl restart nginx

다행히도 예전에 PHP version을 올리려고 삽질해둔 덕에 그나마 다행이지 하마터면 Bitnami stack 전체 업그레이드 하느라 삽질 깨나 할 뻔 했다.

Rust의 Sized / ?Sized (Marker Trait)

간단한 Rust Template 함수하나를 생각해 보자. Argument ‘T’를 받아서 화면에 출력하는 코드이다.

fn print_item<T: Debug>(item: &T) {
    println!("{:?}", item);
}

Template의 취지에 맞게 넘겨지는 argument의 type을 달리하면 그에 해당하는 함수들이 자동으로 만들어지고 해당 코드가 호출된다.

fn main() {
    let t1: i32 = 42;
    let t2: i64 = 42;
    let t3: f32 = 42.;
    let t4: f64 = 42.;
    let t5: String = "hello".to_string();
    print_item(&t1);
    print_item(&t2);
    print_item(&t3);
    print_item(&t4);
    print_item(&t5);
}

objdump를 이용해서 이 template에 의해 실제로 생성된 함수들을 살펴보면 다음과 같이 각 데이터 타입에 대해 생성된 것들을 확인할 수 있다.

$> objdump -d -C ./print_item|grep print_item
./print_item:	file format mach-o arm64
00000001000008c0 <print_item::print_item::<alloc::string::String>>:
0000000100000908 <print_item::print_item::<f64>>:
0000000100000950 <print_item::print_item::<f32>>:
0000000100000998 <print_item::print_item::<i32>>:
00000001000009e0 <print_item::print_item::<i64>>:
0000000100000ce8 <print_item::main>:
...

문자열 슬라이스 template

이번에는 print_item() 함수에 &str type을 한번 넘겨 보자

let t6: &str = "hello";
print_Item(t6);

Rust 컴파일러 특유의 길고 자세한 오류 보고인데 요약하자면:

`t6`의 크기를 컴파일 타임에 알 수 없어서 컴파일에 실패 했습니다. 왜냐하면 str 타입에 대해서 Sized trait 이 구현되어 있지 않거든요. 함수 정의 쪽에 ?Sized를 추가해 보세요.

Rust는 “Zero 비용 추상화“를 지향하기 때문에 이를 지원하기 위한 수단으로 컴파일 시간에 모든 데이터의 크기를 “알고” 있는 것을 전제로 한다. 그런데 &str 같은 슬라이스를 print_item(&T) 함수에 넘기면 T가 str이 되므로 원래 할당된 공간의 "hello"를 가리키게 된다. 현재는 그 크기가 다섯 글자짜리 문자열이지만, 추후에 받아들이는 문자열의 실제 길이에 따라 데이터의 크기가 변할 수 있는 상황이 되는 것이다.

이 경우에는 컴파일 오류에서 안내된 것 처럼 ?Sized를 template의 type에 추가해서 type 확인에 대한 제한을 완화해 주면 해당 오류가 해결되면서 str type의 함수 template도 잘 동작한다.

$> objdump -d -C ./print_item|grep print_item
./print_item:	file format mach-o arm64
00000001000008c0 <print_item::print_item::<alloc::string::String>>:
0000000100000908 <print_item::print_item::<f64>>:
0000000100000950 <print_item::print_item::<str>>:
000000010000099c <print_item::print_item::<f32>>:
00000001000009e4 <print_item::print_item::<i32>>:
0000000100000a2c <print_item::print_item::<i64>>:
0000000100000d58 <print_item::main>:
...

크기를 알아야 된다매?

대부분의 경우에는 Rust compiler가 암묵적으로 Sized Marker Trait을 자동으로 붙여주어서 그 크기를 알고 있다고 알린다. 하지만 사용자가 ?Sized를 붙이는 경우에는 크기 확인에 대한 제약을 완화해 주어서 컴파일을 가능하게 해준다. 위 예제의 경우 &str fat pointer를 넘기게 되므로 실제 데이터 “hello”의 크기는 늘거나 줄어들 수 있어도 이것을 가리키고 있는 fat pointer의 크기 자체는 변하지 않으므로 ?Sized 로 조건을 완화해도 문제가 없는 것이다.

다시 말해서, 컴파일 타임에 “모든” 데이터 타입의 크기를 알고 있어야 한다는 것은 Rust에서 엄밀하게 말해 정확하지 않다.

좀 더 정확하게 말하자면:

“스택에 직접 올라가는 값이나 변수의 크기는 컴파일 타임에 반드시 알아야 하지만, 포인터나 참조자로 간접 참조하는 데이터는 그렇지 않아도 된다.”

여기에서 “그렇지 않아도 되는” 조건에 &str template에 해당하는 것이어서 ?Sized로 이것을 풀어 줄 수 있었던 것이다.

Sized / ?Sized Marker Trait

Sized는 Rust 표준 라이브러리(std::marker::Sized)에 정의된 마커 트레이트(marker trait)이다. Sized marker trait은 다음과 같은 특징을 가진다.

  • 메소드가 없음: 실행해야 할 함수가 없고, 컴파일러에게 “이 타입은 크기를 컴파일 타임에 알 수 있다”고 알려주는 표식 역할만 수행.
  • 기본값(Default): Rust에서 제네릭 타입 파라미터를 만들 때, 우리가 따로 적지 않아도 컴파일러는 기본적으로 T: Sized가 붙어 있는 것으로 간주.

이런게 왜 필요할까?

만약, Rust가 Sized / ?Sized 같은 번접한 marker trait을 빼고 “모든 타입의 크기를 몰라도 된다”라고 기본 설정을 했다면 컴파일 타임에 ‘모든’ 데이터 크기를 알고 Zero cost abstraction 정책으로 stack을 중심으로 하는 효율적 데이터 할당을 통한 성능 최적화 추구를 위한 설계 철학 자체가 이뤄질 수 없었을 것이다. 모든 데이터가 동적으로 할당되는 heap에 있었어야 했을 테니 말이다.

  • 스택(Stack): CPU의 스택 포인터 레스트터와 변경하면 되는 매우 빠른 메모리 할당, 데이터의 크기를 미리 알고 있는 경우(Sized가 선언된 경우) 이 영역을 사용할 수 있음.
  • 힙(Heap): 빈 공간을 검색하고, 단편화를 관리하며 운영체제 시스템 콜을 부를 수도 있는 상대적으로 느린 동적 할당.

Rust의 모든 generic이 기본적으로 Sized를 보장 함으로써, 데이터를 스택에 올려 둘 수 있었던 것이고 이것이 Rust의 빠른 성능의 바탕이 된다. 결론적으로 ?Sized는 이 철학을 깨는 것은 아니고 fat pointer의 고정된 크기는 알고 있으니 그것이 가리키고 있는 영역에 대한 검사 조건을 완화 해도 문제가 없다는 표시인 것이다.