• NLP와 LLM에 대해 얼마나 관심을 가지고 있고 잘 알고 있는 지
• 우리가 하고자 하는 챗봇(감성적, 공감, 상호작용, 감정파악)을 얼마나 잘 이해하고 있고 구현할 실질적 계획이 있는 지

AI 지식

• 트랜스포머(Transformer) 구조의 핵심 아이디어는 무엇인가요?
• 최근 발표된 AI 모델 중 주목할 만한 기술적 혁신 사례를 하나 설명하고, 그 이유를 말해주세요.
• BERT와 GPT의 구조적 차이와 사용 목적의 차이는 무엇인가요?

심화

• 최근 오픈소스 LLM 리더보드 두 곳을 말해보고, 평가 방법 차이와 장단점을 비교해 주세요

  <aside> 💡

  1. 출처 다양성(인지)
     • 한 곳(HF)만 아는 게 아니라, 2곳 이상(예: Hugging Face, LMSYS, AlpacaEval 등)을 언급하면 가산점.
     • “다양한 순위 시스템이 있다는 걸 안다 → 최신 동향을 넓게 본다”는 신호.
  2. 지표 이해(해석)
     • MMLU, GSM8K 같은 지표가 무엇을 측정하는지 알고,
     • 동시에 “이 지표는 이런 한계가 있다”까지 말하면 좋음.
     • 예: “MMLU는 지식 테스트에는 좋지만, 대화 품질을 반영하진 못합니다.”
  3. 실전 고려(적용)
     • 순위만 보는 게 아니라, 라이선스, 속도, 비용, 컨텍스트 길이, 안전성까지 실제 서비스 조건에 맞춰 평가.
     • 예: “이 모델은 순위는 높지만 상용 불가 라이선스라 우리 서비스엔 못 씁니다.”
  4. 비판적 사고
     • “이 결과가 100% 믿을 만한가?”를 따져보는 태도.
     • 데이터 누수, 벤치마크만 잘 맞춘 모델, 특정 질문만 잘하는 ‘체리픽’ 위험 등을 의심.
  5. 실험 설계력
     • “그럼 우리 서비스에 맞게 직접 테스트하자”라고 제안 가능해야 함.
     • 가설 세우기 → 평가 지표(정확성, 근거 정합성, 응답 속도 등) → 테스트 절차 설계. </aside>

업무 이해 & AI 역량

• 우리 챗봇은 사용자의 입력을 받아 ‘대화 답변’과 ‘감정조각(Emotion Piece)’을 동시에 반환해야 합니다. 이때 모델과 시스템 구조를 어떻게 설계하시겠습니까?”
• RLHF가 뭔지 설명해주시고 우리의 프로젝트에 필요할 지? 필요하다면, 혹은 그렇지 않다면 적절한 이유와 함께 설명해주세요.
• 만약 상용화된 모델을 쓴다면 어떤 모델을 선택할 것이고, 그 이유를 말씀해주세요
• 우리의 모델은 감성적 및 상호작용에 강점이 있어야 하는데 이런 부분에서 자체 평가와 개선을 어떻게 해나갈 수 있는 지