목록MLOps (53)

JUST WRITE

What is kafka

What is Kafka? Kafka는 publish-subscribe messaging queue, messaging system이다. Real-time streaming data architecture에 주로 사용된다. Kafka는 안정적이고 좋은 performance로 Spotify, Uber, Netflix 등 다양한 회사에서 사용되고 있다. Kafka는 분산 streaming 플랫폼으로 Fault tolerant, 장애에 대응할 수 있는 storage이기도 하다. Kafka 특징 so fast Kafka는 빠른 Data 이동을 위해 OS Kernel에 의존한다. Zero-copy를 통해 속도를 개선한다. Immutable commit log를 Disk에 순차적으로 저장한다. 이로 인해 Rando..
MLOps/Kafka 2022. 8. 9. 14:34
How Airflow works?

How Airflow works Airflow가 어떻게 동작하는지 알아보려 한다. Single Node, Multi Nodes에서 각각 어떻게 동작하는지 알아보려 한다. Single Node Architecture Single Node Architecture에서는 모든 Airflow Componet가 단일 Machine에서 동작한다. (WebServer, Metastore, Scheduler, Executor) WebServer는 Metastore에서 Data를 가져와 Web Application에서 보여준다. Scheduler는 Metastore와 통신하고 실행한 Task가 있을 시 Executor에게 요청한다. Executor는 Metstore에서 Data를 확인하고 실행할 Task를 실행한다. Ex..
MLOps/Airflow 2022. 3. 24. 17:07
What is Airflow?

What is Airflow Airflow is a platform to programmatically author, schedule and monitor workflow 위 문장이 Apache Airflow 공식 사이트에 게시되어 있는 Airflow 한 줄 소개글이다. Airflow는 Workflow를 프로그래밍적으로 작성할 수 있고, Schedule 하고 모니터링을 하게 해주는 Platform이다. 다르게 해석하면 작업들을 일정한 시간에 정확한 방법으로 올바른 순서대로 실행하게 해주는 Tool이다. 장점 Dynamic Airflow에서 Pipeline은 Python으로 정의할 수 있다. Python으로 가능한 것이면 Airflow에서 Pipeline내 Task로 실행할 수 있다. Scalable Ai..
MLOps/Airflow 2022. 3. 23. 22:13
What is CI/CD?

What is CI/CD? CI/CD는 Application 개발부터 배포까지 모든 단계를 자동화해서 빠르게 사용자에게 배포하는 것을 말한다. CI는 Continuous Integration 지속적인 통합이고, CD는 Continuous Delibery 지속적인 제공, Continuous Deployment 지속적인 배포를 의미한다. CI Continuous Integreation CI는 주기적으로 개발 Code가 Repository에 반영 -> Build -> Test -> Merge까지 되는 것을 말한다. CI가 효과적으로 진행되려면 2가지 사항이 중요하다. 빈번하고 작은 단위 Code 반영 코드 변경사항을 반영하는 것이 주기적으로 빈번하게 이루어져야 한다. 변경 사항이 작은 단위로 반영되어야 한다...
MLOps 2022. 3. 13. 18:43
Docker 제품 만들기(6) - docker-compose 구성

2020년에 다니고 있는 회사 내부 프로젝트에서 기술적인 부분만 발췌해서 정리한 글입니다. Docker Compose Compose는 다수의 Container를 정의하고 실행시킬 수 있는 Tool이다. YAML 파일을 통해 한 번의 command로 다수의 Container를 실행할 수 있다.Compose command로 아래 사항을 Manage 할 수 있다. Container 시작, 중지, Rebuild 실행 중인 Container 상태 실행 중인 Container Log Container에 명령 수행 Docker Compose의 자세한 사항은 따로 정리하겠다. 제품 Docker Compose 구성 docker-compose.yml version: '3.2' services: repo: image: po..
MLOps/Docker 2021. 10. 11. 19:47
Docker 제품 만들기(5) - Container 운영

2020년에 다니고 있는 회사 내부 프로젝트에서 기술적인 부분만 발췌해서 정리한 글입니다. 제품 Docker Image 구성하고 배포까지 완료하였다. 이제 제품 Docker Container들을 어떻게 운영하였는지 정리해보았다. 먼저 docker run 명령어에 대해서 정리해보려 한다. docker run docker container는 host에서 하나의 process에서 작동한다. container는 host와는 별개로 자신만의 file system, networking, 독립된 process tree를 가진다. docker run은 docker image를 기반으로 container를 실행시키는 명령어이다. # debian 이미지 기반 container 실행 docker run --name test..
MLOps/Docker 2021. 10. 4. 14:03
Prev 1 ··· 5 6 7 8 9 Next