소식

Nov 18, 2023

스탠포드 연구원들은 코드 대규모 언어 모델 LLM을 사용하여 복잡한 알고리즘의 자동 구현 및 검증을 가능하게 하는 인공 지능 AI 프레임워크인 Parsel을 소개합니다.

최근 LLM(대형 언어 모델) 추론이 발전했지만,

최근 LLM(대형 언어 모델) 추론이 발전했지만 LLM은 여전히 ​​정교한 프로그램 개발과 같은 계층적 다단계 추론 작업에 어려움을 겪고 있습니다. 인간 프로그래머는 다른 토큰 생성자와 달리 (일반적으로) 어려운 작업을 단독으로 작동하고(모듈형) 함께 작동하는(구성형) 관리 가능한 구성 요소로 나누는 방법을 배웠습니다. 보너스로, 사람이 생성한 토큰이 기능에 문제를 일으키는 경우 나머지 애플리케이션에 영향을 주지 않고 소프트웨어의 해당 부분을 다시 작성할 수 있어야 합니다. 대조적으로, 코드 LLM이 오류 없이 토큰 시퀀스를 생성할 것이라고 순진하게 예상됩니다.

이로 인해 최근 Stanford University의 연구에서 문제 분해 및 구성 솔루션 구축에 LLM을 사용하는 방법을 조사하게 되었습니다. 그들은 자연어로 작성된 함수 설명과 구현된 함수의 원하는 동작을 정의하는 제약 조건을 포함하는 사양을 수용하는 컴파일러인 Parsel을 제안합니다. Parsel을 사용하면 코더는 경쟁 수준에서 코딩 문제를 해결할 수 있는 일반 언어로 프로그램을 작성할 수 있으며 이전 SoTA보다 75% 이상 뛰어난 성능을 발휘합니다.

코드 LLM에는 함수 설명과 함수의 서명이 제공되며 함수 구현을 생성하도록 요청됩니다. 제약 조건이 추가되면 컴파일러는 작동하는 조합을 찾을 때까지 가능한 구현 조합을 살펴봅니다.

이전 연구에 따르면 인간과 달리 코드 언어 모델은 수많은 작은 작업을 순차적으로 수행하는 프로그램을 개발할 수 없는 것으로 나타났습니다. Parsel은 분해 및 구현 프로세스를 분할하여 문제를 제거합니다. 그들은 자연어 코딩을 가능하게 하려고 했지만 LLM이 파셀 코딩에도 탁월하다는 사실을 발견했습니다.

자동으로 해결될 수 있을 때까지 추상적 계획을 분해하는 것은 Parsel의 생성 및 구현에 반영된 인간 추론의 일반적인 패턴입니다. 이 구성 구조는 언어 모델에도 유용합니다. 이 연구에서 팀은 LLM이 소수의 인스턴스에서 Parsel을 생성할 수 있으며 해당 솔루션이 APPS 데이터 세트의 경쟁 수준 문제에 대한 최첨단 방법보다 성능이 우수하다는 것을 보여줍니다. 높은 수준의 작업에서 단계별 로봇 계획을 생성하기 위해 Parsel을 사용하여 LLM이 작성한 계획은 흥미롭게도 제로샷 플래너 기준보다 2/3 이상 정확합니다.

경험이 풍부한 코더인 Gabriel Poesia는 Parsel의 효율성을 평가하기 위해 이를 사용하여 코딩 대회에서 일반적으로 볼 수 있는 수많은 APPS 문제를 해결했습니다. 6시간 만에 그는 이전에 GPT-3가 실패했던 3개를 포함하여 10개의 문제 중 5개에 대한 해결책을 찾았습니다.

연구원들은 Parsel을 범용 프레임워크로 공식화함으로써 정리 증명 및 알고리즘 추론이 필요한 기타 활동에 사용할 수 있음을 보여줍니다.

그들은 가까운 장래에 자율 단위 테스트 생성을 구현할 계획입니다. 그들은 한 가지 접근 방식이 특별한 상황을 검색하고 모든 기존 테스트에 동의하는 기능 그룹이 새로운 테스트에서도 동의하는지 확인하는 것이라고 언급합니다. 구현 조합의 기하급수적인 발전을 방지하여 자동 분해가 가능하도록 합니다. 또한 더 중요한 프로그램이나 프로그램 섹션에 대한 설명을 명확하고 간결하게 유지하는 것이 필요하기 때문에 언어 모델의 "신뢰도 임계값"을 조정하는 것을 목표로 하며 설명이 명확하고 간결한지 확인하는 것이 필요합니다.

확인해 보세요종이,Github,그리고프로젝트 페이지. 이 연구에 대한 모든 공로는 이 프로젝트의 연구원에게 돌아갑니다. 또한, 가입하는 것을 잊지 마세요13,000개가 넘는 ML SubReddit,디스코드 채널, 그리고이메일 뉴스레터에서는 최신 AI 연구 뉴스, 멋진 AI 프로젝트 등을 공유합니다.

Tanushree Shenwai는 MarktechPost의 컨설팅 인턴입니다. 그녀는 현재 부바네스와르의 인도 공과대학(IIT)에서 기술 학사 과정을 밟고 있습니다. 그녀는 데이터 과학에 관심이 많으며 다양한 분야의 인공지능 적용 범위에 관심이 많습니다. 그녀는 기술의 새로운 발전과 실제 적용을 탐구하는 데 열정을 갖고 있습니다.