소식

Nov 02, 2023

자동화된 데이터 라벨링 소개

참고: 위의 사고 리더십/교육 기사를 제공한 Superb AI에게 감사드립니다.

참고: 위의 사고 리더십/교육 기사를 제공한 Superb AI에게 감사드립니다. Superb AI는 이 콘텐츠를 지원하고 후원했습니다.

인공 지능은 지난 10년 동안 큰 파장을 일으켰으며 일상적인 애플리케이션에서 발전이 나타났습니다. 그러나 거기에 도달하려면 엄청난 양의 데이터가 필요하며, 해당 데이터를 큐레이팅하고 이를 실행에 옮기려면 많은 작업이 필요합니다. ML 전문가들은 ML 모델을 실제 애플리케이션에 더 빠르게 구현하기 위해 자동화된 데이터 라벨링에 관심을 돌렸으며 그 이유를 쉽게 이해할 수 있습니다. 모든 ML 실무자는 성공적인 모델에는 수천 개의 데이터 레이블이 필요하다는 것을 알고 있습니다. 이를 수동으로 수행한다는 것은 수천 시간의 작업을 투입하고 전략을 간소화하며 프로세스의 각 단계를 감독하는 것을 의미합니다. 대부분의 실무자에게 자동화된 데이터 라벨링은 당연한 일입니다.

기계 학습 파이프라인의 데이터 라벨링은 큰 병목 현상과 속도 저하가 있는 것으로 악명이 높습니다. 각 이미지의 중요한 개체에 개별적으로 주석을 달려면 광범위한 팀이 필요하며 때로는 매우 상세하고 시간이 많이 걸릴 수 있습니다. 라벨러 팀을 이끌려면 각 사람이 모든 이미지에 대해 동일한 균일한 패턴을 따르도록 해야 하는 경우가 많습니다. 차이점이 있으면 모델이 혼란스러울 수 있기 때문입니다. 또한 내부 데이터 라벨러 팀을 고용하는 데는 비용이 많이 들고 아웃소싱으로 인해 잘못된 의사소통과 오류가 발생합니다. 지금까지 수집하지 않았다면 수동으로 데이터 라벨을 지정하는 것은 지루한 작업입니다. 그리고 각 단계를 통해 QA 전문가가 데이터 주석을 감독하고 실수를 수정해야 합니다.

기계 학습 프로젝트에 자동화를 추가하면 위에서 설명한 많은 문제를 해결할 수 있습니다. 인간 개입의 영향이 전혀 없는 프로젝트는 없지만 이러한 필요성을 최소화하면 비용이 절감되고 오류가 최소화되며 아웃소싱의 필요성이 사라지고 전체 작업 속도가 빨라집니다. 워크플로에 자동화를 도입하면 인공 지능 도입 이후 ML 전문가를 괴롭히던 병목 현상이 해결됩니다.

자동화는 다른 프로젝트보다 특정 프로젝트에 가장 적합합니다. 수천 개의 데이터 이미지에 의존하는 모델을 훈련할 때 자동화하지 않는 것은 거의 불가능합니다. 사람만 사용하면 속도가 느려지고 오류가 발생하기 쉽습니다. 따라서 프로젝트가 더 세부적일수록 자동화가 더 유용해집니다. 또한 특정 유형의 라벨링 프로젝트는 자동화와 함께 진행되며 이 전략을 구현하는 것은 효과적입니다.

기계 학습에서 모델은 실제 애플리케이션만큼만 우수합니다. 많은 경우 이는 변화하는 환경에 적응하고 새로운 혁신을 고려하는 것을 의미합니다. 이를 염두에 두고 ML 실무자는 정확한 결과를 계속 제공할 수 있도록 모델을 계속 업데이트해야 합니다. 자율주행차는 지속적인 수정이 필요한 애플리케이션의 대표적인 예이다. 자동차 모델이 바뀌고, 거리 표지판이 업데이트되고, 전반적인 주변 환경이 거의 동일하게 유지되지 않습니다. 모델을 업데이트하지 못하면 위험한 오류가 발생하거나 모델 붕괴라는 개념의 사고가 발생할 수 있습니다.

반대로, 빈번한 모델 수정으로 인해 모델 성능이 거의 또는 전혀 개선되지 않는 예가 있습니다. 모델에 더 많은 데이터를 추가하려면 더 많은 QA와 감독은 물론 추가 교육도 필요합니다. 때로는 그만한 가치가 없습니다. 반면, 시간이 지남에 따라 모델 성능이 저하되는 경우 재학습 일정을 미세 조정하는 것은 성능을 최적으로 유지하는 데 도움이 됩니다. 빈번한 재교육이 프로젝트의 일부인 경우 자동 라벨링이 필수적입니다.

또한 자동화된 라벨링을 프로그래밍하여 극단적인 경우를 식별하고 신뢰 수준을 계산할 수 있습니다. 모델이 자동으로 이미지에 라벨을 지정하는 경우 확실성이 낮은 이미지를 식별하면 QA 프로세스에서 많은 시간을 절약할 수 있습니다. 예를 들어 Superb AI의 불확실성 추정 도구는 바로 이러한 작업을 수행합니다. 오류가 발생하기 쉬운 극단적인 사례를 식별하고 사람이 검사할 수 있도록 플래그를 지정합니다. 이는 완전히 제거하지 않고도 필요한 인간 개입의 양을 줄입니다.