블로그

Nov 24, 2023

자동화된 추론 및 도구를 만나보세요

대규모 언어 모델은 상황 내 활용을 활용하여 새로운 작업에 신속하게 적응할 수 있습니다.

대규모 언어 모델은 몇 가지 데모와 실제 언어 지침을 통해 상황 내 학습을 활용하여 새로운 작업에 신속하게 적응할 수 있습니다. 이렇게 하면 LLM을 호스팅하거나 대규모 데이터 세트에 주석을 달 수는 없지만 다단계 추론, 수학, 최신 정보 보유 등과 관련된 주요 성능 문제가 있습니다. 최근 연구에 따르면 LLM에게 보다 정교한 추론 단계를 촉진하는 도구에 대한 액세스 권한을 부여하거나 이러한 제약을 완화하기 위해 다단계 추론을 위한 일련의 추론을 에뮬레이션하도록 요구하는 것이 좋습니다. 그럼에도 불구하고 도구 사용과 관련된 이유로 기존 접근 방식을 새로운 활동 및 도구에 적용하는 것은 어렵습니다. 이를 위해서는 특정 활동이나 도구에 특화된 미세 조정이나 신속한 엔지니어링이 필요합니다.

워싱턴 대학, 마이크로소프트, 메타, 캘리포니아 대학 및 Allen Institue of AI 연구의 연구원들은 새로운 작업의 예에 대한 분해(다단계 추론)를 자동으로 생성하는 자동 추론 및 도구 사용(ART) 프레임워크를 개발했습니다. 이 연구는 이 연구에서 제시됩니다. . ART는 작업 라이브러리에서 유사한 작업의 예를 가져와 추가 작업을 위한 몇 번의 분석 및 도구 사용을 허용합니다. 이러한 예제에서는 중간 단계를 간단하게 읽고, 외부 도구를 사용하기 위해 생성을 일시 중지하고, 해당 도구의 출력이 포함된 후 다시 시작하는 유연하면서도 구조화된 쿼리 언어를 사용합니다(그림 1). 또한 프레임워크는 각 단계에서 가장 적합한 도구(예: 검색 엔진 및 코드 실행)를 선택하고 사용합니다.

LLM은 다양한 관련 활동의 인스턴스를 분류하는 방법과 이러한 예에 설명된 도구 라이브러리에서 도구를 선택하고 사용하는 방법에 대한 데모를 ART로부터 받습니다. 이는 모델이 예제를 일반화하여 새로운 작업을 분류하고 작업에 적합한 도구를 제로샷으로 활용하는 데 도움이 됩니다. 또한 사용자는 작업 및 도구 라이브러리를 업데이트하고 필요에 따라 최신 예제를 추가하여 논리 체인의 오류를 수정하거나 새 도구(예: 현재 작업에 대한)를 추가할 수 있습니다.

그들은 15개의 BigBench 작업에 대한 작업 라이브러리를 생성하고 이전에 볼 수 없었던 19개의 BigBench 테스트 작업, 6개의 MMLU 작업 및 관련 도구 사용 연구(SQUAD, TriviaQA, SVAMP, MAWPS)의 수많은 작업에 대해 ART를 테스트합니다. BigBench 문제 34개 중 32개와 모든 MMLU 작업에 대해 ART는 정기적으로 컴퓨터에서 생성된 CoT 추론 체인과 평균 22% 이상 일치하거나 능가합니다. 도구를 허용하면 그렇지 않은 경우에 비해 테스트 작업 성능이 평균 약 12.3% 포인트 향상됩니다.

평균적으로 ART는 BigBench 및 MMLU 작업 모두에서 직접적인 Few-Shot 프롬프트보다 10.8% 더 나은 성능을 보입니다. ART는 수학적 및 알고리즘적 추론을 요구하는 보이지 않는 작업에 대한 직접적인 퓨샷 프롬프트보다 12.5% ​​더 나은 성능을 발휘하고, 분해 및 도구 사용에 대한 감독을 포함하여 가장 잘 알려진 GPT3 결과보다 6.1% 더 나은 성능을 보입니다. 새로운 예제로 작업 및 도구 라이브러리를 업데이트하면 인간의 상호 작용과 추론 프로세스의 향상이 가능하므로 최소한의 인간 입력으로 주어진 작업의 성능을 놀라울 정도로 간단하게 높일 수 있습니다. 12가지 테스트 작업에서 ART는 추가 인간 피드백이 제공될 때 가장 잘 알려진 GPT3 결과를 평균 20% 이상 능가합니다.

확인해 보세요종이그리고프로젝트 페이지 . 이 연구에 대한 모든 공로는 이 프로젝트의 연구원에게 돌아갑니다. 또한, 가입하는 것을 잊지 마세요16,000개가 넘는 ML SubReddit,디스코드 채널, 그리고이메일 뉴스레터에서는 최신 AI 연구 뉴스, 멋진 AI 프로젝트 등을 공유합니다.

Aneesh Tickoo는 MarktechPost의 컨설팅 인턴입니다. 그는 현재 빌라이에 있는 인도 공과대학(IIT)에서 데이터 과학 및 인공 지능 학사 학위를 취득하고 있습니다. 그는 머신러닝의 힘을 활용하는 것을 목표로 하는 프로젝트에 대부분의 시간을 보냅니다. 그의 연구 관심 분야는 이미지 처리이며 이를 중심으로 솔루션을 구축하는 데 열정을 쏟고 있습니다. 그는 사람들과 소통하고 흥미로운 프로젝트에 협력하는 것을 좋아합니다.