생성형 AI 보안 진단 및 취약점 자동 탐지/차단 솔루션
에임인텔리전스가 해결하고자 하는 문제는 생성형 AI 탈옥입니다. 탈옥은 생성형 AI가 개발자의 설계에서 벗어난 행동을 하도록 유도하는 모든 공격 행위를 의미합니다. 프롬프트 인젝션이라는 단순한 작업을 통해 잘못된 정보(환각), 불법 콘텐츠 생성 및 Service Failure를 유도할 수 있다는 점에서 주목할 만한 문제입니다.
팀 에임인텔리전스는 생성형 AI 탈옥 문제의 정복과 안전하고 믿을 수 있는 AI 개발을 위해 모였습니다. 현재 생성형 AI 대상 레드티밍을 진행하는 기업 고객 향 보안 진단 (penetration test) 사업을 착수했습니다.
1) 생성형 AI 레드티밍을 통해 취약점을 진단, 공격 레포트를 생성하고 (*LLM을 위한 오답 노트!)
2) 자동으로 테스트용 공격 프롬프트를 생성하는 진단 도구를 제공합니다. (*기출 변형 문제 은행!)
나아가 탐지한 취약점을 유형화하여, 모더레이션 API 형태로 안전하지 않은 생성 결과를 자동 탐지 및 차단하는 안전 가드레일을 개발하고 있습니다.
저희의 최종 목표는 LLM 생성 결과의 안전성, 윤리성에 대해 판단, 컨트롤하는 인공지능의 메타인지 능력을 개발하는 것입니다.
