개발자의 개발괴발

mlflow는 머신러닝 Experiment를 관리하고 재현성 있게 만들기 위한 오픈소스 플랫폼이다.머신러닝 모델을 학습하다보면 모델 저장도 하고 저장된 모델의 성능같은 부가 정보들을 같이 기록해야한다.아무 도구 없이 파일로 기록하다보면 기록하기도 힘들고 다시 찾아보기도 힘든데 mlflow를 사용하면 쉽게 기록하고 쉽게 찾아볼 수 있다.mlflow 설치하기설치하기는 매우 쉽다.pip install mlflowpip로 간단하게 설치할 수 있다. 이렇게하면 로컬PC에 바로 설치가 되지만 Docker를 이용해 로컬PC와 환경을 분리하고 싶다.(가상환경을 써도 분리할 수 있지만 dockerfile로 분리해보겠다.) Dockerfile# 베이스 이미지 (Python 포함된 경량 이미지)FROM python:3.13..

kafka connector를 동작시키기 위해선 kafka connect가 필요하다.kafka connector와 kafka connect는 이름이 비슷하지만 다른 것이다.kafka connector는 kafka connect 위에서 플러그인 형식으로 동작한다.kafka-connect를 docker로 빌드하기일단 kafka connector를 포함해서 docker build를 먼저 해보자. 여기를 참고해서 해보았다.링크해준 것은 로컬 PC에 내가 사용할 kafka connector가 있는 경우에 유용하다.많은 경우에는 Confluent Hub 에서 제공하는 kafka connector를 쓰는 경우가 많을 것이다.그러나 가끔 접속이 안되는 경우도 있고 또 내가 커스텀으로 개발한 kafka connector..