AI, 무례한 어조의 프롬프트가 더 정확률이 높다?

AI, 무례한 어조의 프롬프트가 더 정확률이 높다?

 

안녕하세요 AI 정보를 알려드리는 탐네오 랩입니다. 

최신 대규모 언어모델(LLM)이 무례한 표현의 프롬프트에서 더 높은 정확도를 보인다는 연구 결과가 나왔습니다.

펜실베니아 주립 대학교 연구팀이 챗GPT4O를 대상으로 진행한 실험에서 

'매우 무례한' 프롬프트의 정확도가 84.8%, '매우 공손한' 프롬프트의 80.8% 보다 

4% 더 높게 나타났습니다. 

프롬프트 작성 시 예의 바른 표현이 반드시 좋은 결과를 보장하지 않는다는 점을 시사하고 있습니다. 

 

 

연구팀은 챗GP의 딥 리서치 기능을 활용해 수학, 역사, 과학 분야를 아우르는 50개의 

객관식 기본 질문을 생성했습니다. 

그리고 이 질문들을 '매우 공손함(Very Polite)', '공손함(Polite)', '중립(Neutral)', '무례함(Rude)', '매우 무례함(Very Rude_'

등 5가지의 수준으로 재작성해 총 250개의 고유한 프롬프트를 생성했다고 합니다. 

 

실험 결과는 어땠을까요?

놀랍게도 '매우 공손함'이 가장 낮은 정확도를 보였고, '공손함','중립','무례함' 순으로 정확도가 높아졌으며,

'매우 무례함'이 가장 높은 정확도를 기록했습니다.

 

이런 통계 결과는 프롬프트의 공손함 수준이 AI의 정확도에 실제로 영향을 미친다는 것을 과학적으로 증명한 것입니다. 

 

AI는 감정을 이해할까? 

연구팀은 대규모 언어모델이 프롬프트의 실제 표현에 민감하지만, 정확히 어떻게 결과에 영향을 미치는지는

명확하지 않다고 강조합니다.

결국 공손함 표현은 언어모델에게 단순한 단어 문자열일 뿐이며, 해당 표현의 감정적 함의가 모델에 

실제로 중요한지는 알 수 없다는 것입니다. 

 

연구팀은 왜 AI에게 무례하게 질문하면 정답률이 높아지는 지 정확한 원인은 밝히지 못했습니다.

한 가지 가능성은 혼란도와 관련이 있습니다. 

공손한 표현이 추가되면 프롬프트가 길어지고 복잡해져 모델이 처리하기 어렵기 때문이라는 가설이 있습니다. 

하지만 이는 가설일 뿐, 추가 연구가 필요한 부분입니다.  

 

그럼 일상 AI에게 사용할 때도 무례하게 해야 할까?

연구팀에 의하면 실제 응용 프로그램에서 적대적이거나 모욕적인 인터페이스 배치는 옹호하지 않는다고 밝혔습니다.

무례하거나 비하하는 언어를 사용하면 사용자 경험, 접근성, 포용성에 부정적인 영향을 미칠 수 있으며 

해로운 의사소통 규범에 기여할 수 있습니다. 

 

사실 오늘 소개해드린 연구는 50개의 기본 질문으로 구성된 작은 데이터셋이 사용되었으며 

주로 챗GPT4o에만 의존했습니다.

그렇기 때문에 좀 더 많은 연구가 더 필요합니다. 

 

하지만 이 연구가 시사하는 부분은 조금 더 낮은 혼란도의 프롬프트가 작업을 더 잘 수행하는데 도움이 된다는 

것입니다. 

 

그리고 이러한 연구는 프롬프트의 화용론적 특징이 LLM 행동에 어떻게 영향을 미칠 수 있는지 이해하는

중요한 출발점을 제공한다는 점에서 큰 의의가 있다고 볼 수 있습니다.  

 

본 포스팅에 인용된 논문 원문은 아래 링크에서 확인해보실 수 있습니다.

 

 

Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy

 

 

포스팅 읽어주셔서 감사합니다.