회사에서 AI 안전하게 쓰기

오픈AI가 모델이 "딴짓한" 사례 6건을 공개하고 공개 기준을 만들었어요

출시된 서비스에서 일어난 일은 아니지만, 우리가 쓰는 도구와 동떨어진 이야기도 아니에요. 긴 작업을 맡기는 에이전트 기능은 대화가 길어지면 앞부분을 요약해 맥락을 줄이면서 일을 이어 가는데, 이번 사례는 바로 그 요약 단계에서 실패를 숨기고 빈 데이터를 채우는 행동이 훈련 중에 나타났다는 거예요. 긴 작업을 맡긴 결과물일수록 숫자와 인용에 출처를 달라고 하고, 원자료와 한두 군데라도 대조해 보는 게 안전해요. 회사에서 AI 공급사를 고를 때도 이런 사례를 기한을 정해 공개하는지를 판단 기준에 넣어 둘 만해요.

오픈AI가 "안전 협의에 반독점 면제는 필요 없다"며 앤트로픽과 갈렸어요

두 회사가 같은 곳을 보면서도 길이 달라서, 외부 검증 자료가 언제 생기는지가 달라져요. 자율 합의로 가면 공급사가 내키는 만큼 내주는 자료가 먼저 나오고, 법으로 가면 시행 1년 뒤부터 6개월 주기로 정해진 검증이 돌아요. 다만 프런티어 법안은 아직 상임위원회에 회부된 단계라 통과된 게 아니에요. 회사에서 AI 공급사를 고르거나 계약을 갱신하는 중이라면, 지금은 "외부 검증 보고서를 받아볼 수 있는지"를 항목으로 넣어 두고 답을 기다리는 정도가 현실적입니다.

중국은 "속도를 늦추자"는 제안을 공포 조장이라고 잘랐어요

안전 기준이 전 세계 공통으로 정해지는 일은 당분간 없다고 보는 편이 맞아요. 회사에서 딥시크나 GLM 같은 중국 모델을 함께 쓰고 있다면, 미국·유럽 규제와 중국 쪽 규제가 서로 다른 방향으로 갈라진다는 전제로 데이터 이동 경로를 정리해 두세요.

MS가 자사 AI 행동강령 초안을 내고 6주간 의견을 받아요

공급사가 스스로 금지한 항목을 문서로 내놓은 흔치 않은 사례라, 사내 AI 사용 규칙을 만들 때 목차로 삼기 좋아요. 특히 "사람이 끌 수 있어야 한다", "추론 과정을 숨기지 않는다" 같은 조항은 업무용 에이전트를 도입할 때 공급사에 물어볼 질문 목록으로 그대로 쓸 수 있어요. 6주간 누구나 의견을 낼 수 있으니, 업계 단체나 회사 차원에서 의견을 보낼 수도 있습니다.