머신러닝 숄구

Reference를 보고 구축된 Kubeflow Pipeline을 이용해 Tensor2Tensor 모델을 트레이닝하고 서빙하는 과정을 따라가 보았다. Kubeflow Pipeline을 이용해 ML 트레이닝을 진행하려면 GPU가 필요하다.(Reference: https://codelabs.developers.google.com/codelabs/cloud-kubeflow-pipelines-gis/index.html?index=..%2F..index#0) GPU Node Pool을 생성하는 단계 message: "Insufficient quota to satisfy the request: Not all instances running in IGM after 17.643053934s. Expected 1, ru..

Reference: https://github.com/ml-kubernetes/MNIST GitHub - ml-kubernetes/MNIST: Simple example for learning and serving 'MNIST' in kubernetes cluster Simple example for learning and serving 'MNIST' in kubernetes cluster - GitHub - ml-kubernetes/MNIST: Simple example for learning and serving 'MNIST' in kubernetes cluster github.com GCP Platform에서 Kubernetes를 이용해 MNIST 데이터셋을 훈련시켜 보기로 했다. Reference..

GCP PCA 시험을 준비하는데 대략 3개월이 걸렸습니다. 독학을 하는 저로서는 PCA 준비에 대한 모든 정보를 오래된 블로그 글에 의존할 수 밖에 없었고 유용한 정보와 그렇지 않은 정보도 있었습니다. 제가 했던 공부 방법이 정답은 아니지만 조금이나마 도움이 되었으면 하는 마음에 글을 작성하게 되었습니다. 1. GCP의 모든 서비스에 대해 전반적으로 골고루 알아야하기 때문에 처음에는 강의를 추천합니다. 많은 블로그에서 추천하는 코세라 강의는 솔직히 도움이 되지 않았지만 그 중에 실습 파트는 GCP 사용법을 맛보기로 해 볼 수 있어 좋았습니다. 제가 추천하는 강의는 https://acloudguru.com/course/google-certified-professional-cloud-architect-Z6X..

우리가 사용하는 인터넷을 통신해주는 HTTP는 계속 연결되어 있는 것이 아니다. 클라이언트가 검색을 했을 시에 서버는 그 검색에 대한 정보를 반환해 주고 끊어진다. 이것을 Stateless 프로토콜 이라고 한다. 즉, 계속 연결되어 있지 않다는 뜻이다. HTTP Cookie 쿠키를 사용하지 않는다면, 클라이언트가 요청을 했을 때 서버는 이전의 요청을 기억하지 못한다. 예를 들어, 어떤 사이트에 로그인 했을 때 다음 페이지를 넘길 때마다 로그인을 해줘야 하는 경우가 발생한다. 쿠키를 사용한다면, 로그인 정보에 대해서 서버에서는 set-cookie 헤더로 정보를 담아 응답해주고, 이는 클라이언트의 웹 브라우저 별도 Cookie 저장소에 저장된다. 따라서 서버에 요청을 보낼 때마다 Cookie 저장소를 조회하..

Application을 Production 환경으로 옮길때 사용하는 기술적인 방법들이 있다. Application의 새로운 버전이 잘 동작하는지 테스트 하고 싶거나 아예 새로운 버전으로 바꾸고 싶을 때, A/B Testing, Canary Releases, and Blue-Green Deployments 등의 방법이 쓰인다. Blue-Green Deployments 새로운 Version의 Application을 배포하는 과정은 신속하게 이루어져야 하며, 새로운 배포판에 Bug가 감지되면 빠르게 Rollback을 해야한다. Blue-Green Deployments는 2개의 동일한 Production 환경을 셋팅해놓고 시작한다. 예를 들어, 현재 live 되고 있는 환경이 Green이라고 해보자. V2로 업..

트래픽 분할을 사용하면 서비스 내 버전 두 개 이상에 트래픽 분산 비율을 지정할 수 있다. 트래픽을 분할하면 버전 간 A/B 테스트를 할 수 있으며, 기능을 배포할 때 속도를 제어할 수 있다. 이러한 트래픽 분할은 특정 버전을 명시적으로 대상하지 않는 URL에 적용된다. 예를 들어, https://PROJECT_ID.REGION_ID.r.appspot.com - 트래픽을 default 서비스의 여러 버전으로 분산한다. https://SERVICE_ID-dot-PROJECT_ID.REGION_ID.r.appspot.com - 트래픽을 [SERVICE_ID] 서비스의 여러 버전으로 분산한다. 여러 버전 간 트래픽을 분할할 때는 IP 주소를 사용할지, HTTP 쿠키를 사용할지를 선택해야 한다. IP 주소 분할..

★ gsutil gsutil은 Command line에서 Cloud Storage에 액세스하는데 사용할 수 있는 Python Application이다. gsutil은 HTTPS 및 전송 계층 보안 (TLS)을 사용하여 업로드 및 다운로드를 포함한 모든 작업을 수행한다. The gsutil tool is the standard tool for small to medium sized transfers (less than 1 TB) over a typical enterprise-scale network from a private data center of from another cloud provider to Google Cloud. ● For transfers of larger datasets, there ..

SRE - Site Reliability Engineering 사이트 신뢰성 엔지니어링은 IT 운영에 대한 소프트웨어 엔지니어링 접근방식이다. SRE는 확장 가능하고 신뢰성이 높은 소프트웨어 시스템을 생성할 때 유용한 방법이다. 코드를 통해 대규모 시스템을 관리할 수 있으므로 수천 대에서 수십만대에 이르는 머신을 관리하는 시스템 관리자에게 더 큰확장서과 지속가능성을 제공한다. SLI - Service Level Indicators 서비스의 측정 가능한 특성을 의미한다. A carefully defined quantitative measure of some aspect of the level of service that is provided. Example: Request Latency - How long..

URI - Uniform Resource Identifier 통합 자원 식별자의 줄임말 인터넷에 있는 자원을 어디에 있는지 자원 자체를 식별하는 방법 URI가 가장 포괄적인 개념이고, URL과 URN으로 나뉜다. URL - Uniformed Resource Locator 프로토콜을 포함하고, 해당 자원의 위치 Path를 의미한다. 일반적으로 사이트 도메인을 자주 의미한다. 웹상 뿐만아니라 컴퓨터 네트워크 상의 자원은 모두 나타낼 수 있다. URN - Uniformed Resource Name 프로토콜을 포함하지 않고, 해당 자원의 이름을 의미한다. 독립적인 자원 지시자이며 Page 이후 부분까지 포함한다.