ML Strategy

ML strategy

  • 데이터 모으기, 구조 개선하기 등 수많은 아이디어 중 가치 우선순위를 두는 전략이 필요

Orthogonalization

  • 특정 결과를 위해 어떤 것을 튜닝할지 정하는 절차 ->  orthogonalization(직교화)
    • 여러 기능들에 대해 각각 method들이 있음
    • 각 method들의 조정에 따라 나오는 결과가 독립되어있어야 조절하기 쉬움
    • 만약 method들의 영향이 서로 중첩되면 조절하기 어려움
    • ex) tv 화면 조정 버튼 : 버튼 A, 버튼 B가 각각 가로 세로로만 조정하는게 쉽다. A가0.1x + 0.6y, B가 -0.1x - y 이런식으로 되면 화면을 가운데 맞추기 어려울 것임
    • Fit Training set well on cost function -> Fit dev set well -> Fit Test set well  -> Performs well in real world
    • 위의 각 단계에 따라 잘 안되는 경우가 있으면, 한가지의 method를 조정하여서 해결. 가령 Training set well on 에서 A method로 해결했으면 그다음 단계에선 B method로 해결하면, 미리 성능을 맞춰 놓은 전단계에 다시 영향을 미치는일을 방지 할 수 있음. 해 볼 수 있는 각 method의 경우 아래와 같음
    • Ng 교수는 early stopping은 잘 사용하지 않음