■
앤트로픽이 2026년 2월 23일 Claude.ai에서 이루어진 9,830건의 대화를 바탕으로 사용자의 AI 활용 능력을 측정한 ‘AI 능숙도 지수(Fluency Index)’를 공개
●
앤트로픽은 이번 연구를 위해 ‘4D AI 능숙도 프레임워크’를 개발하고 안전하고 효과적인 인간-AI 협업을 규정한 24개의 구체적 행동 지표를 정의했으며, 분석 대상은 직접 관찰 가능한 11개 항목*으로 한정
* 반복과 개선, 목표 명확화, 형식 지정, 예시 제공, 필요한 서식과 구조 명시, 상호작용 방식 설정, 어조와 스타일 정의,
부족한 맥락 파악, 대상 독자 정의, 사실 체크, 모델 추론 과정에 의문 제기, AI 접근법 사전 상의
●
나머지 13개 항목은 사용자가 AI 결과물을 공유할 때의 결과 고려, 업무에서 AI 활용 사실 공개 등 Claude.ai 채팅 인터페이스 외부에서 발생해 관찰이 어려운 행동으로, 추후 질적 연구를 통해 다룰 예정
■
분석 결과, 전체 대화의 85.7%에서 AI가 생성한 결과물을 다듬는 반복·정교화 행동이 나타났고, 해당 행동이 나타난 대화는 그렇지 않은 대화 대비 AI 능숙도를 나타내는 행동도 두 배 높게 관찰
●
반복과 정교화를 거친 대화에서는 사용자가 클로드의 추론 과정에 대하여 질문할 가능성이 5.6배 더 높았으며, 부족한 맥락을 지적할 가능성도 4배 더 높은 것으로 확인
●
이는 AI의 초기 응답을 그대로 수용하는 대신, 후속 질문과 반론 제기, 지속적인 정교화를 통해 대화를 이어가는 방식이 AI 활용 능력 전반과 밀접히 연관되어 있음을 시사
■
전체 대화의 12.3%는 코드나 문서, 인터랙티브 도구 등 아티팩트*를 생성하는 대화로, 해당 대화에서는 목표 명확화(+14.7%p), 형식 지정(+14.5%p) 등 지시 측면의 능숙도 행동이 유의미하게 증가
* Artifacts: AI가 대화 내에서 생성하는 독립적인 결과물로, 실행 가능한 코드, 문서, 인터랙티브 도구, 앱 등을 포함
●
반면, 부족한 맥락 파악(-5.2%p), 사실 확인(-3.7%p), AI 추론에 대한 의문 제기(-3.1%p) 등 비판적 평가 행동은 오히려 감소하는 경향을 확인
●
앤트로픽은 이를 완성도가 있어 보이는 산출물에 대하여 검증을 소홀히 하는 경향으로 해석하면서, AI가 정교한 결과물을 생성할수록 비판적 평가 역량이 더욱 중요해진다고 강조
■
앤트로픽은 이번 연구가 AI 활용 능력이 시간에 따라 어떻게 변화하는지를 평가하기 위한 기준점이 될 것이라며, 향후 연구에서 분석을 여러 방향으로 확장해 나갈 계획
●
우선, 신규 사용자와 기존 사용자의 비교 분석을 통해 AI에 대한 친숙성이 능숙도 발달과 어떤 상관관계를 갖는지 파악하고, 다음으로 질적 연구를 통해 AI 대화에서 직접 관찰되지 않는 행동 양상을
분석할 계획
●
또한 이번 연구에서 확인된 AI 능숙도와 반복적 대화 간 인과관계가 비판적 평가 능력 향상으로 이어지는지, 또는 이를 더욱 효과적으로 유도할 수 있는 다른 방안이 있는지를 탐색할 예정