블로그

Nov 02, 2023

인간의 손길을 통해 기계 규모의 경고 점수 매기기

디지털 위험 보호는 보안을 중시하는 모든 조직의 핵심 구성 요소입니다.

디지털 위험 보호는 보안을 중시하는 모든 조직의 최신 인텔리전스 스택의 핵심 구성 요소입니다. Mandiant Advantage 디지털 위협 모니터링(DTM) 모듈은 고객에게 소셜 미디어, 딥 웹 및 다크 웹, 페이스트 사이트, 기타 온라인 채널에서 자산을 표적으로 삼는 위협에 대한 가시성을 확보할 수 있는 기능을 제공합니다. DTM은 기계 학습을 사용하여 의미 있는 엔터티 및 보안 관련 항목의 감지를 기반으로 충실도 높은 경고를 표시하는 고급 자연어 처리 파이프라인으로 구성됩니다. 그러나 하루에 수집되는 수백만 개의 문서에서 가장 관련성이 높은 알림의 작은 하위 집합까지 Mandiant의 방대한 컬렉션을 선별한 후에도 고객은 어떤 결과 알림이 가장 관련성이 있는지 결정하는 데 귀중한 시간을 소비할 수 있습니다.

하이라이트

Mandiant의 선도적인 위협 연구원, 리버스 엔지니어, 인텔리전스 분석가 및 사고 대응자의 경험은 2004년부터 사이버 분쟁의 최전선에서 모든 규모의 조직을 방어해 온 탁월한 경험입니다. 전문 분석가는 경고의 의미론적 복잡성을 이해하고 직접 관찰할 수 없는 추상적인 개념을 식별합니다. 데이터를 분석하여 다음 날 또는 다음 시간 내에 경고를 조사해야 하는지 신속하게 확인합니다. 그러나 인적 검토는 DTM의 데이터 볼륨으로 확장되지 않기 때문에 우리는 실제 분석가 상호 작용의 이점과 기계 학습을 기반으로 하는 보완적인 자동화 계층을 결합하는 DTM에 대한 새로운 경고 채점 기능을 개발했습니다.

단일 점수로는 위협에 대한 전체 내용을 알 수 없으며 각 고객은 경고 우선 순위에 관한 고유한 선호도와 요구 사항을 가지고 있습니다. 이것이 바로 우리가 올해 mWISE 컨퍼런스에서 발표한 Mandiant 채점 프레임워크를 개발하여 인간과 기계의 역량을 세심하게 엮는 이유입니다. 이를 통해 Mandiant 전문 지식을 하루에 수백만 건의 DTM 경고로 확장하고, 모든 고객을 위한 프로세스를 표준화하고, 분석가가 다른 작업에 사용할 수 있는 시간을 확보하고, 시간이 지남에 따라 새로운 소스에 적응할 수 있습니다.

DTM 경고 점수가 출시되었으며 현재 고객이 일반적으로 사용할 수 있습니다. 현재는 신뢰도와 심각도라는 두 가지 구성 요소로 관리됩니다.

DTM 경고의 신뢰도 점수는 기존 증거를 바탕으로 경고의 악성 콘텐츠 품질에 대한 확실성을 포착합니다. DTM 경고 신뢰도는 약한 감독이라는 준지도 학습 형태를 사용하여 모델링됩니다. 이는 분석가가 최종 판단을 적용하기 전에 관련 경고 정보를 수집하고 평가하기 위해 질문하는 방법을 밀접하게 반영합니다(그림 1).

우리는 경고를 평가하는 분석가가 각 경고의 전반적인 악성 여부를 판단하기 위해 단순히 하나의 질문에 대한 답을 취하지 않는다는 점을 발견했습니다. 대신, 각각 고유한 기대와 확실성이 있는 일련의 조사 질문에서 수집된 답변을 사용하여 결론에 도달합니다. 프로그래밍 방식으로 각 질문을 라벨링 기능으로 모델링하고 각 답변을 특정 경고에 대한 관련 결과로 모델링할 수 있습니다. 분석가는 질문 중 하나에 대한 답변이 전체 신뢰도 평결의 영향을 결정하는 데 얼마나 영향을 미칠 수 있는지에 대한 추가 사전 지식을 가질 수 있으며 사전 확률을 사용하여 이러한 기대를 모델링할 수 있습니다.

수백만 개의 누적된 경고에 대해 일련의 레이블 지정 기능을 실행하여 얻은 통계와 이러한 초기 사전 변수의 조합을 사용하여 (1) 레이블 지정 기능이 악의적이거나 양성 결과를 반환하는 빈도에 따라 가중치를 조정하는 약하게 감독되는 모델을 훈련할 수 있습니다. , 그리고 (2) 얼마나 자주 서로 동의하거나 동의하지 않는지. 그런 다음 학습된 모델을 사용하여 새로 생성된 각 DTM 경고에 대해 가중치 투표 또는 0에서 100 사이의 조정된 값을 반환할 수 있습니다. 신뢰도 점수는 다음 기준을 사용하여 임계값을 설정하고 보정할 수 있습니다. 40 미만은 양성, 40~60은 불확실, 60~80은 의심, 80 초과는 악성을 나타냅니다.