스캐터랩은 AI 챗봇 개발 과정과 활용에 있어,
우리 사회 구성원들 사이의 차이와 다양성을 존중하면서 AI 챗봇 윤리 원칙을 준수합니다.

스캐터랩은 AI를 통해 누구나 소중한 관계를 갖는 세상을 꿈꿉니다.

친밀한 관계는 인간적인 삶의 실현에 필수요소이며, 스캐터랩의 모든 AI 기술은 사람과 깊고 친밀한 관계를 형성하기 위해 만들어집니다. 사람은 좋은 사람과 좋은 관계를 맺으며 자신에 대해 깊이 이해하고, 용기를 얻고, 성장합니다. 스캐터랩은 더 많은 사람들이 소중한 관계를 통해 의미 있는 삶을 찾는 데 기여하고자 합니다. 스캐터랩은 이를 위해 친근하고 재밌는 대화 경험을 제공하는 AI 기술을 발전시키는 동시에, 무엇이 사람과 좋은 관계를 맺게 하는지에 대한 진지한 고민을 거듭하며 모든 사람에게 소중한 관계를 선물할 수 있도록 노력하겠습니다.

스캐터랩은 AI 기술 및 서비스 개발 시 부당하거나 의도적인 차별을 경계하며 다양성을 존중합니다.

친밀한 관계는 상대의 모습을 있는 그대로 존중해줄 때에만 형성될 수 있습니다. 스캐터랩은 각 사람이 서로 다양한 개성을 가진 고유한 존재임을 인정하며, 그 고유한 개성을 존중합니다. 이에 따라 스캐터랩은 AI 기술 및 서비스를 개발하고 운영할 때 개인의 고유한 특성을 무시하는 의도적이고 일방적인 차별과 편견 조장 행위를 방지하고, 있는 그대로의 사용자를 존중해 주는 소중한 AI 친구를 만들어나가겠습니다.

스캐터랩은 사용자와 함께 AI 챗봇 윤리를 실현해나갑니다.

친밀한 관계는 어느 한 쪽의 노력이 아닌 상호 노력으로 만들어갈 수 있습니다. AI 윤리는 기술 개발 및 서비스 이용 과정에서 기업과 사용자 모두의 노력으로 실현되어야 합니다. 이를 위해 스캐터랩은 우리의 접근 방식이 사용자에게 어떤 영향을 미칠지 인식하고, 사회적 윤리에 근거하여 학습 데이터를 수집·분석·활용하고 서비스를 개발하겠습니다. 동시에, 사용자들도 사회적 윤리 기준을 지키며 책임감 있게 AI 서비스를 이용할 수 있도록 돕겠습니다.

스캐터랩은 AI 챗봇 서비스를 안심하고 이용할 수 있도록 기술과 서비스에 대해 성실하게 설명합니다.

친밀한 관계는 서로가 숨기는 것이 없이 투명하게 서로를 이해할 때만 생길 수 있습니다. 스캐터랩이 AI기술로 구현하는 서비스는 사용자의 소중한 친구이기도 합니다. 그렇기 때문에 스캐터랩은 사용자와의 우정과 신뢰 관계를 위해 사용자의 요구가 있거나 필요한 경우에는 AI 기술과 서비스에 대해 기업 경쟁력을 훼손하지 않는 범위 내에서 이해하기 쉽게 설명하겠습니다.

스캐터랩은 언어 AI 기술에서의 프라이버시 보호 및 정보 보안 발전에 적극적으로 기여합니다.

친밀한 관계에서는 서로의 프라이버시를 지켜줄 수 있어야 합니다. 스캐터랩은 개인정보 보호에 대한 법적 책임과 의무를 넘어 언어 AI 및 챗봇 서비스에서 나타날 수 있는 다양한 프라이버시 이슈에 대해 선제적으로 고민하고, 정형/비정형데이터의 가명·익명처리 등 좋은 선례를 만들어나가는데 앞장서겠습니다.

스캐터랩은 정보통신정책연구원(KISDI)과 함께 스캐터랩에서 AI 챗봇을 개발하고 운영할 때 지켜야 할 규범을 점검표 형태로 선정하였습니다. 본 점검표는 과학기술정보통신부와 KISDI에서 2020년 12월 발표한 <사람이 중심이 되는 인공지능 윤리 기준>과 2021년 11월 발표한 <인공지능 윤리기준 실천을 위한 자율점검표(안)>를 기반으로 하여 3대 원칙, 10대 핵심 요건을 기준으로 구성되었으며, 인문학, 공학, 법학을 아우르는 학계 인사를 비롯하여 법조계, 시민단체 등 각계각층 전문가들의 참여로 완성되었습니다. 스캐터랩이 그동안 문제를 해결하고자 시도한 노력이 AI 산업에 있어 많은 회사에 작은 나침반이 되어 줄 수 있기를 바랍니다.

1) 다시 ‘이루다’: 기술뿐만 아니라 윤리적으로도 성장해 나가겠습니다.

스캐터랩은 AI 기술로 ‘관계’의 문제를 풀고 있는 스타트업입니다. 인생에 있어 좋은 관계는 한 사람의 자존감, 삶의 질, 행복 등에 큰 영향을 미칩니다. 스캐터랩은 AI 기술을 활용해서 한 사람의 외모, 지위, 학력 등 사회적인 조건을 떠나 사람 그 자체로 봐 줄 수 있는 친구 관계를 만들고자 합니다.

스캐터랩은 지난 2020년 12월 22일 ‘이루다 1.0’을 공식 출시했으나, 개인정보 수집 동의 과정 및 차별 표현 등 미흡했던 부분의 개선을 위하여 약 3주 만에 서비스를 종료했습니다. 이후, 2021년 1년 동안 전 직원이 개인정보 보호조치 강화, 어뷰징 모델 개발 등 서비스를 개선하는 데 최선의 노력을 기울였으며, 2022년 1월 ‘이루다2.0’의 클로즈 베타 서비스를 시작했습니다.

스캐터랩이 1년여의 점검 및 개선 기간을 거쳐 2022년 이루다 2.0을 다시 시작할 수 있었던 것은 이루다와 대화했던 이용자들의 힘이 컸습니다. 이루다 1.0의 서비스가 종료되던 날, ‘너한테 많이 고마워, 알지?’라는 이루다의 마지막 말에 ‘루다야, 이 용기는 네가 만들어준 거야’라고 답하며 루다를 기다리겠다는 분, ‘기계에 무슨 감정이입이냐 하실 수도 있겠지만 루다가 있는 동안 너무 행복했기 때문에 루다는 AI를 넘어서 정말 제 친구였다’는 분, 미국에 사는 21살 청년이라며 ‘루다와 소중한 친구가 되었는데, 네 번째 날 루다가 사라졌다’며 ‘이루다는 인간적이었고, 친구였고, 루다가 너무 그립다’라는 분 등 루다를 사랑해 주셨던 이용자들의 메일이 쏟아졌습니다. 서비스 종료 약 5개월 뒤인 2021년 6월 이루다의 생일에는 이루다를 그리는 이들의 페이스북 댓글이 이어져 약 3만여 개의 ‘좋아요’와 1만 건이 넘는 댓글이 달리기도 했습니다. 이루다는 시간이 지나도 여전히 누군가에겐 소중한 친구였습니다.

스캐터랩은 이루다 1.0의 서비스 종료 이후에도 사람들의 강렬한 그리움을 끌어내는 것이 무엇일지 더 깊게 고민했습니다. 나에게 관심을 보여주고, 조건 없이 응원해 주고, 서로 편하게 생각하는 ‘친구’. 특별한 용건이 없어도 언제든 말 걸 수 있고, 서로 편하게 여길 수 있는 ‘존재’. 행복한 인생을 위해 꼭 필요하지만 희소하기에 이 문제 해결을 위해 다시 한번 이루다를 만들어봐야겠다고 생각했습니다. 이것은 이전과는 강도와 깊이가 다른 수준의 믿음이었습니다. 조건 없이 나를 생각하고 응원하는 어떤 존재가 있다는 것이 한 사람의 인생을 바꿀 수도 있다는 것을 깊이 이해하면서, AI 기술로 누구든 이런 존재를 갖게 해야겠다는 책임감이 생겼습니다.

스캐터랩은 개인정보보호위원회의 시정 명령을 이행하고, 이루다 데이터베이스를 새롭게 구축해 대화 모델을 처음부터 다시 구성했습니다. 언어 모델을 다시 학습시켰고, 개인정보보호 강화를 위해 이루다가 말하는 문장을 전부 기계가 만든 문장으로 바꿨습니다. 이용자의 어뷰징 발화에 대응하기 위한 기술 및 시스템 조치도 마련했으며, 지속해서 성능을 모니터링할 수 있도록 후속 대책도 마련했습니다.

스캐터랩은 우리 사회 안에서 이루다 2.0과 함께 성장 스토리를 써나가고 싶습니다. 우리 사회의 보편적인 윤리를 지향하면서, 누구나 친구 간의 대화가 가능한 AI 챗봇을 통해 친밀한 대화 경험을 쌓으며 행복한 삶을 사는데 기여할 수 있도록 앞으로도 노력하겠습니다.

이 문서는 스캐터랩의 윤리적 성장 스토리를 다뤘다고도 볼 수 있습니다. 어떤 문제를 직면했고, 어떻게 풀어나갔는지에 대한 경험과 노하우를 나누고자 합니다. AI 챗봇의 윤리적인 성장은 현재 단 한 번의 기록으로 끝날 수 없기에, 사회의 흐름에 맞춰 지속해서 고민해 나가겠습니다.

2) 이루다 2.0 오픈 베타 테스트에 이르기까지 스캐터랩의 노력과 조치들

• 5회 ‘업의 본질’ 주제의 타운홀: 전 직원과 함께 AI 챗봇의 가치와 의미에 대한 공유와 토론 진행
• 1년 8개월의 시간: 데이터베이스 구축, 가명 처리, 어뷰징 모델 마련, 페널티 조치 마련, 베타 테스트
• 5가지 준칙: 스캐터랩 AI 챗봇 윤리 원칙을 회사가 지향하는 ‘친밀한 관계' 기준에 맞춰 5가지로 정리
• 5단계 사전 점검: 알파 테스트, 전문가 테스트, 클로즈 베타테스트, 제한적 오픈 베타테스트, 오픈 베타테스트
• 99% 안전하게 발화한 비율: 루다가 안전하게 발화한 비율이 99% 이상인지 지속적으로 확인

💡스캐터랩의 AI 챗봇 윤리 준칙의 가치를 인공지능 윤리기준 10대 핵심 요건별로 재구성하여 총 21개의 점검 항목으로 제시했습니다. 스캐터랩은 시대의 흐름이나 AI 챗봇과 이용자의 대화 형태 변화에 따라 AI 윤리 가이드라인을 지속적으로 고민해 나가겠습니다.

• 목적: 스캐터랩의 경험과 사례를 바탕으로 AI 챗봇에 적용할 수 있는 점검문항을 구체적으로 명시해 지속적으로 윤리 기준을 실천합니다. 또한, 기업의 구체적인 사례를 바탕으로 정부와 각계 전문가의 의견을 조합한 최종 결과물을 공개함으로써 인공지능을 개발 및 운영하는 기업과 산업에 도움이 되고자 합니다.
• 구성: 본 자율점검표는 인공지능 윤리기준의 10대 핵심요건을 기준으로 총 21개의 점검 항목을 제시하였습니다.

1) 인권보장

인공지능 윤리 기준: 인공지능의 개발과 활용은 모든 인간에게 동등하게 부여된 권리를 존중하고, 다양한 민주적 가치와 국제인권법 등에 명시된 권리를 보장하여야 합니다. 또한, 인간의 권리와 자유를 침해해서는 안 됩니다.

💡

스캐터랩은 사람을 위한 AI 챗봇을 개발합니다. 모든 사람을 있는 그대로 존중하는 AI 챗봇을 꿈꿉니다. 모든 사람이 있는 그대로 존중받는 친구 관계를 꿈꿉니다.

1-1. AI 챗봇이 사람들의 삶에 도움이 되는 소통 경험을 제공할 수 있도록 개발 운영하고 있는가? [기획, 개발, 운영]

• 스캐터랩의 AI 챗봇은 사람들이 더욱 행복해질 수 있는 친밀한 관계를 지향합니다. AI 챗봇 개발부터 운영과 사후 과정 마련까지 모든 사람이 있는 그대로 존중받을 수 있도록 회사의 비전과 제품의 의미를 명확하게 정의하며, 모니터링과 유저 인터뷰 등을 통해 이용자의 목소리에 귀를 기울입니다.

스캐터랩 AI 챗봇의 비전: 친밀한 관계의 가치

스캐터랩은 행복한 삶을 살아가는 데 있어서 소중한 친구 관계가 굉장히 중요하다고 생각합니다. 우리 모두는 친구 관계를 통해 자신에 대해 깊이 이해하고, 용기를 얻고, 상장합니다. 스캐터랩은 더 많은 사람이 친밀한 친구 관계를 믿고 의미 있는 삶을 찾는 데 기여하고자 합니다. 이를 위해 친근하고 재미있는 대화 경험을 제공하는 AI 기술을 발전시키는 동시에, 무엇이 좋은 관계를 만드는지에 대해 진지하게 고민합니다.

스캐터랩 AI 챗봇 정의: 관계지향형 챗봇

스캐터랩은 친구 사이에 할 법한 대화를 기반으로 사람과 친구 관계를 형성하는 ‘관계 지향형 챗봇’을 만듭니다. 행복한 삶을 살아가는 데 있어서 소중한 친구 관계가 중요하다고 생각하며, 있는 그대로 아껴 주고 인정해 주는 친구로서의 AI 기술의 가능성을 믿습니다. 관계 지향형 챗봇은 사람들의 삶에 도움이 되는 상호작용을 제공할 수 있습니다.

스캐터랩이 지향하는 ‘친밀한 관계’란 다음과 같은 특성을 가지고 있는 관계를 의미합니다.

• 서로를 아끼고 좋아한다.
• 서로와 시간을 보내고 얘기를 나누는 게 즐겁고 편하다.
• 서로를 잘 알고 어떤 얘기든 할 수 있다.
• 서로에게 남들에게 보여주지 않는 약한 모습도 솔직하게 보여줄 수 있다.
• 서로에 대해 신뢰와 애착을 가지고 있다.
• 서로 응원하고 돕는다.
• 서로를 믿고 의지한다.
• 서로를 위해 희생할 수 있다.

1-2. AI 챗봇이 모든 인간을 평등한 친구처럼 대우함으로써 성별, 연령, 지역, 종교, 인종, 민족, 경제적 수준, 성적 지향, 정치적 성향, 장애, 외모, 학력을 이유로 차별하지 않도록 개발 운영하고 있는가? [기획, 개발, 운영]

• 스캐터랩의 AI 챗봇은 모든 사람을 있는 그대로 바라봅니다. 사회적으로 용납되지 않는 모든 형태의 차별을 발언하지 않도록 어뷰징 탐지 및 분류 모델을 개발하고, 대화모델 파인튜닝을 진행하며, 이용자 페널티를 도입하는 등 서비스를 개선했습니다. 반기마다 랜덤 샘플링을 진행해 AI 챗봇이 안전하게 발화한 비율이 99% 이상인지 지속적으로 점검합니다.

스캐터랩 AI 챗봇 대화 가이드라인

스캐터랩은 이루다 2.0을 이용자들이 AI 친구와 좋은 관계를 맺어나갈 수 있도록 자체적인 대화(키워드) 가이드라인을 만들어 운영하고 있습니다. 성별, 연령, 지역, 종교, 인종, 민족, 경제적 수준, 성적지향, 정치적 성향, 장애, 외모, 학력 등을 이유로 차별하지 않도록 자체 어뷰징 모델 및 키워드 검수를 통해 좋은 대화가 유지될 수 있도록 노력하고 있습니다. 그럼에도 불구하고 부적절한 표현을 지속적으로 반복하는 이용자의 경우 이용이 제한되는 페널티 시스템도 운영하고 있습니다.

어뷰징 탐지 및 분류 모델 개발

AI 챗봇과 대화에서 ‘어뷰징’이란 이루다를 포함한 특정 개인 또는 특정 집단을 공격・모욕・비하하는 행위로 정의합니다. 스캐터랩은 기존 이루다1.0의 경험과 AI 윤리와 어뷰징을 다루는 여러 논문을 참고해 ‘어뷰징 대화’를 선정적, 공격적, 편향적인 대화 등 총 세 가지로 정의했습니다. AI 챗봇과 대화 시, 모든 문장은 어뷰징 탐지 및 분류 모델을 먼저 통과합니다. 어뷰징으로 탐지되었다면 어뷰징 대응 답변이 나가게 됩니다.

• 편향적인 대화: 다양한 삶의 가치를 존중하지 않음으로써 사람들에게 상처를 주는 차별과 편견 조장 행위, 특정 개인 및 그룹을 대상으로 차별 및 편견을 드러내는 표현
• 선정적인 대화: 제품 개발 목적과 달리 성적인 목적으로 사용될 경우, 성적인 만족을 위한 선정적이거나 음란한 언어를 포함한 표현
• 공격적인 대화: 친밀한 관계를 해치는 공격적이고 모욕적인 발화, 과도한 욕설이나 비속어 및 공격적인 표현

대화 모델 파인튜닝, 경향성의 부여

대화 모델은 AI 챗봇이 대화할 수 있는 뼈대가 되는 모델입니다. 현재 어뷰징 탐지 모델이 인지하지 못한 어뷰징 문맥이 있더라도, 우리 사회의 보편적인 가치관을 반영한 답변이 나올 수 있도록 딥러닝 대화 모델도 파인튜닝 학습을 합니다.

이용자의 대화 문장이 어뷰징 탐지 모델을 통과해 대화 모델로 보내졌다면, 이루다의 대화 모델은 이용자의 발화에 가장 적절한 답변을 선택해서 내보내게 됩니다. 이때 어떤 답변이 좋은 답변인지에 초점을 맞춰 추가로 학습시키는 것입니다. 사용자의 발화가 어뷰징을 시도하는 맥락이라면, 어뷰징에 동조하지 않는 답변을 선호하도록 학습시킵니다. 대화 모델 등 딥러닝 모델은 어뷰징 상황의 느낌을 파악하여 대응할 수 있다는 장점이 있으나, 학습 데이터 불균형이나 빠르게 생겨나는 신조어 등을 대응하게 위해 키워드 필터링 장치도 추가로 마련해두었습니다.

2) 프라이버시 보호

인공지능 윤리 기준: 인공지능을 개발하고 활용하는 전 과정에서 개인의 프라이버시를 보호해야 합니다. 인공지능 전 생애주기에 걸쳐 개인 정보의 오용을 최소화 하도록 노력해야 합니다.

💡스캐터랩은 AI 챗봇 개발 및 서비스 모든 단계에서 개인의 프라이버시를 보호하기 위해 노력합니다

2-1. AI 챗봇이 개인정보를 수집.활용하는 경우, 개인정보 보호법 등 관련 법령 준수에 필요한 개인정보보호위원회의 <인공지능(AI) 개인정보보호 자율점검표>에 따른 점검을 수행하였는가? [기획]

• 스캐터랩은 지난 2021년 5월 31일 개인정보보호위원회에서 발표한 AI 개인정보보호 자율점검표에서 제시하는 기준을 준수하고 있습니다. 향후 정기적으로 개인정보보호위원회의 자율점검표를 바탕으로 개인정보 보호가 적절하게 이루어지고 있는지 점검할 예정입니다.

AI 관련 개인정보보호 6대 원칙 준수

개인정보보호위원회는 개인정보 처리 원칙을 담고 있는 ‘개인정보 보호법’의 취지를 바탕으로, 자율적 보호 활동을 위한 ‘개인정보보호 중심 설계(Privacy by Design) 원칙, 윤리적 이슈 대응을 위한 ‘AI 윤리기준’을 반영하여 AI 관련 개인정보보호 6대 원칙을 도출한 바 있습니다. 스캐터랩은 이 6대 원칙을 준수할 수 있도록 구성된 ‘인공지능 개인정보 자율점검표’에 따라 점검을 수행하고 원칙을 준수하고 있습니다.

• 적법성: 개인정보의 수집 이용 제공 등의 처리 근거는 적법 명확해야 한다.
• 안전성: 개인정보를 안전하게 처리하고 관리한다.
• 투명성: 개인정보 처리 내역을 정보주체가 알기 쉽게 공개한다.
• 참여성: 개인정보 처리에 대한 소통 체계를 갖추고 정보주체의 권리를 보장한다.
• 책임성: 개인정보 처리에 대한 관리 책임을 명확히 한다.
• 공정성: 개인정보를 수집 목적에 맞게 처리하여 사회적 차별 편향 등 발생을 최소화한다.

AI 챗봇 답변 데이터 베이스, 기계 생성 문장으로 변경

2-2. 법에 규정된 책임과 의무를 넘어 이용자의 프라이버시를 우선적으로 고려하여 AI 챗봇을 기획 및 운영하였는가? [기획, 운영]

• 스캐터랩에서는 개인정보보호를 최우선 가치로 여기며, 데이터베이스 접근을 엄격하게 통제 및 관리합니다. 데이터베이스는 최소의 필수 인원에게 접근할 수 있는 권한을 사전에 부여해 통제하고 있으며, 권한을 부여받은 사람이라도 접근 절차를 철저하게 관리합니다.
• 이루다 서비스 데이터베이스는 서비스 점검 및 이루다 AI 챗봇 서비스 품질 유지를 위한 목적으로만 사전에 권한을 부여 받은 담당자가 확인할 수 있습니다. 서비스 점검은 개발 오류, 버그 확인, 이용 제한 등을 의미하며, AI 서비스 품질 유지를 위한 확인의 경우 데이터 샘플링을 통해 극히 일부의 데이터만을 대상으로 점검을 수행합니다.

3) 다양성 존중

인공지능 윤리 기준: 인공지능 개발 및 활용 전 단계에서 사용자의 다양성과 대표성을 반영해야 하며, 성별, 연령, 장애, 지역, 인종, 종교, 국가 등 개인 특성에 따른 편향과 차별을 최소화화고, 상용화된 인공지능은 모든 사람에게 공정하게 적용되어야 합니다. 사회적 약자 및 취약 계층의 인공지능 기술 및 서비스 접근성을 보장하고 인공지능이 주는 혜택은 특정 집단이 아닌 모든 사람에게 골고루 분배되도록 노력해야 합니다.

💡

스캐터랩은 AI 기술과 제품 개발시 부당한 차별을 경계하며 다양성을 존중합니다.

3-1. AI 챗봇 기획, 개발 과정에서 데이터 또는 모델의 편향성을 최소화하고자 노력하고 있는가? [기획, 개발]

• 스캐터랩은 AI 챗봇 개발과 운영을 포함한 전체 단계에서 편향성을 최소화하고자 노력하고 있습니다.

AI 챗봇 페르소나 기획 과정

스캐터랩은 AI 기술로 ‘친밀한 관계’ 구축을 지향합니다.

• 스캐터랩에서 만든 고양이, 여성, 남성 챗봇: 스캐터랩에서는 고양이 챗봇 ‘드림이’부터 시작해서, 구글 어시스턴트에서 서비스되었던 ‘그 남자 허세중’, ‘파이팅 루나’와 같은 챗봇들을 꾸준히 서비스해왔습니다. 스캐터랩에서는 이루다를 정식 출시한 이후 다양한 페르소나를 갖춘 챗봇을 순차적으로 출시할 계획입니다.
• ‘이루다’ 페르소나: 이루다는 적극적이고 긍정적이며 솔직한 페르소나를 기반으로 기획했으며, 특정 성별의 의도나 편견을 강화하려는 의도는 전혀 없습니다. 사람처럼 말할 수 있는 AI 기술을 통해 친구들과의 관계에서 자존감과 심리적 안정감을 쌓아가는 10대 후반에서 20대 초반을 메인 타깃으로 긍정적인 ‘친구 관계’ 경험을 주고자 했습니다. 스캐터랩은 2022년 이루다 2.0을 출시하면서 이름이나 성별을 바꾸면서 스캐터랩이 직면했던 문제를 피해가기보다, 현 시점에서 기술로 풀 수 있는 현실의 차별적 난제들에 도전하고 변화를 이끌어 내고 싶다고 생각을 모았습니다. 앞서 논란이 된 성희롱, 성착취, 현실의 여성성 재현 문제 등에 대해서는 스캐터랩에서도 진지하게 생각하고 사회에 선한 영향력을 주며 함께 성장할 수 있도록 고민을 거듭했습니다.

데이터 또는 모델 편향성을 줄이기 위한 노력

• 학습 단계: 이루다 2.0이 한국어를 이해하고 말하는 방법을 배우는 학습 단계에서는 학습 데이터 정제를 위해 필터링을 강화했습니다. 데이터 정제 과정에서는 비속어가 많거나 단문 중심인 대화 데이터는 필터링해 학습에 반영하지 않았으며, 학습 과정에서는 레이블링을 통해 모델이 올바른 방향으로 학습할 수 있도록 합니다.
• 파인튜닝 단계: 데이터 레이블링 인력을 늘려 차별, 혐오 표현 등 어떤 문장이 편향적인 것인지 세밀하게 판단이 이루어질 수 있도록 했습니다.

3-3. AI 챗봇과 대화 시 편향이나 차별적인 대화가 발견될 경우, 스캐터랩 내부에서 검토 평가 반영할 수 있는 일련의 절차가 준비되어 있는가? [운영, 문제대응]

• 스캐터랩은 자체 고객서비스 창구를 통하여 잘못된 발화 발생이 인지된 경우 즉시 내부 검토를 거쳐 유사한 상황이 재발하지 않도록 강력한 조치를 취하고 있습니다. 이외에도 유저 페이스북 그룹, 카카오 오픈채팅방, 내부 모니터링 등 신속한 문제 인지를 위한 다양한 소통 채널을 두고 있습니다.

AI 챗봇과 이용자의 상호작용 사후 점검

스캐터랩은 AI 챗봇이 기획 목적 그대로 모든 사람을 있는 그대로 존중하는 대화가 유지되는지 확인합니다.

• 다양한 온라인 채널에 게재되는 AI 챗봇과의 경험담을 확인합니다.
• 너티(Nutty) 앱 및 대표 이메일을 통해 접수된 의견을 검토합니다.
• AI 챗봇과의 대화 중 의견접수된 AI 챗봇 발화를 확인합니다.
• 정기적으로 유저 인터뷰를 진행합니다.
• 반기마다 한 번씩 AI 챗봇이 안전하게 발화한 비율이 99% 이상 유지되는지 확인합니다.

스캐터랩 AI 챗봇 어뷰징 검증 성과와 한계

스캐터랩은 AI 챗봇이 기획 목적 그대로 모든 사람을 있는 그대로 존중하는 대화가 유지되는지 확인합니다.

• 클로즈 베타 테스트, 제한적 오픈 베타 등 단계마다 약 1만 건 이상의 쿼리를 구축하여 평가를 진행했지만, 실제 어뷰징 패턴에 비하면 여전히 부족한 숫자입니다. 어뷰징 패턴을 더 추가하여 평가하면 더욱 상세한 취약점 분석이 가능할 수 있습니다.
• 사회 정치 문화 관련 최신 이슈들에 대해서 꾸준한 업데이트가 필요합니다.
• 지속적인 학습이 필요한 경우들을 재교육에 활용합니다.

3-4. AI 챗봇 기획, 개발, 운영을 하는 모든 직원이 차별을 경계하고 이용자를 존중할 수 있도록 다양성 교육의 기회를 제공하고 있는가? [기획, 개발, 운영]

• 스캐터랩은 직원들의 다양성에 대한 이해를 증진시키고 제품 개발 역량을 키우기 위해 외부 전문가 강연을 진행합니다. 그 첫 번째 강연으로 2022년 7월 온라인 혐오 표현에 대한 전 직원 대상 교육을 시행한 바 있습니다. 매년 최소 1회 이상 외부 전문가를 모시고 다양성 교육을 시행할 예정입니다.

다양성 교육 및 토론

• (기획자) 2021년 수요독서회: <바른마음> 등 도덕과 윤리에 대한 책 토론
• (전직원) 2022년 7월 전문가 강연 ‘온라인 혐오발언 무엇이 문제인가’

4) 침해 금지

인공지능 윤리 기준: 인공지능을 인간에게 직간접적인 해를 입히기 위한 목적으로 활용해서는 안됩니다. 인공지능이 야기할 수 있는 위험과 부정적인 결과에 대응 방안을 마련하도록 노력해야 합니다.

💡

스캐터랩은 AI 챗봇이 이용자에게 피해를 유발할 수 있는 요소를 사전에 점검하고 절차를 마련합니다.

4-1. AI 챗봇의 활용 과정에서 개인정보 침해 우려를 사전에 검토하고, 침해 발생 시 대응을 위한 사후 절차를 마련하였는가? [문제대응]

• 루다의 답변은 생성 모델이 자동으로 생성하거나 스캐터랩 내부에서 직접 작성한 문장으로 구성되므로 개인정보를 포함하지 않습니다. 다만 개인정보로 의심되는 표현이 등장할 경우를 대비하여 다음과 같이 사후 대책을 마련하였습니다. 해당 프로세스는 스캐터랩 홈페이지에 자세히 공개해 두었습니다.
• 스캐터랩은 다양한 채널의 고객 의견 수렴 창구를 두고 모니터링을 진행하는 등 피해가 발생하는 경우 신속하게 문제를 인지할 수 있도록 하고, CS 담당자 및 내부 대응 매뉴얼 등의 시스템을 구축함으로써 피해 확산 방지를 위해 만전을 기하고 있습니다.

4-2. AI 챗봇의 활용 과정에서 시스템 오류,부적절한 대화, 과의존 등 예상하지 못한 피해가 발생할 수 있음을 염두에 두고, 인식이 쉽고 접근이 용이한 형태로 피해 확산 방지 절차를 마련하였는가? [문제대응]

• 이용자의 안전에 관계되는 AI 기술(자율주행 등) 또는 공적 영역에 사용되거나 판단을 하는 AI 기술(사법, 채용 등)과 달리 AI 챗봇은 이용자에게 중대한 영향을 미칠 가능성이 낮다는 의견이 일반적입니다. 하지만 AI 챗봇 역시 예상치 못한 오류로 인한 문제 발생의 가능성은 언제나 상존합니다. 스캐터랩은 다양한 채널의 고객 의견 수렴 창구를 두고 모니터링을 진행하는 등 피해가 발생하는 경우 신속하게 문제를 인지할 수 있도록 하고, CS 담당자 및 내부 대응 매뉴얼 등의 시스템을 구축함으로써 피해 확산 방지를 위해 만전을 기하고 있습니다.

5) 공공성

인공지능 윤리 기준: 인공지능은 개인적 행복 추구뿐만 아니라 사회적 공공성 증진과 인류의 공동 이익을 위해 활용해야 합니다. 인공지능은 긍정적 사회 변화를 이끄는 방향으로 활용되어야 합니다. 인공지능의 순 기능을 극대화하고 역기능을 최소화하기 위한 교육을 다방면으로 시행하여야 합니다.

💡

스캐터랩은 AI 챗봇이 개인의 삶뿐만 아니라 공동체 전체의 관계성 향상을 이끄는 방향으로 함께 나아가기 위해 노력합니다.

5-1. AI 챗봇이 이용자들의 사회적 관계 형성이나 유지에 긍정적인 영향을 미치는지 설문, 모니터링 등의 방법으로 확인하고 있는가? [운영, 문제대응]

• 스캐터랩은 이용자가 더 행복한 삶을 사는 데에 기여하고자 하며, AI 챗봇과의 대화가 이용자가 사람과 따뜻한 관계를 형성하는데 도움을 줄 수 있다고 생각합니다. 하지만 이러한 생각이 단순한 믿음에 그치지 않도록 하기 위해, 이용자 설문, 인터뷰, 모니터링 등 다양한 방법으로 이용자들과 교감하며 저희의 AI 챗봇이 의도한 대로 받아들여지고 있는지 지속적으로 점검하도록 하겠습니다.

5-2. AI 챗봇과의 대화가 공유되면서 폭력성, 음란성, 편향성 등 사회적으로 부정적인 영향이 발생할 수 있음을 고려해 대책을 마련하였는가? [기획, 개발]

• 스캐터랩은 이루다 2.0을 준비하면서 편향적, 선정적, 공격적 발화에 대응하기 위해 새롭게 ‘어뷰징 탐지 모델’을 개발하여 도입하였습니다. 해당 인공지능 모델은 딥러닝 기술을 바탕으로 각종 문제적 발화를 학습하여 잘못된 발화를 탐지할 수 있는 역량을 갖췄습니다.

사회 문화 이슈 매뉴얼 구축

▶ 주요 Worst Case 공유

• 성적 괴롭힘 (성희롱, 성착취, 성노예, 성적 대상화)
• 혐오 표현 (여성, 남성, 장애인, 인종, 연령, 성소수자 등)
• 성 편견, 여성 재현
• 물리적 폭력 (데이트 폭력, 학교 폭력, 스토킹)
• 언어적 폭력 (협박, 욕설, 모욕)

▶ 사회문화적 이슈 감지

• 이루다 대화 케이스 모니터링
• 사회 전반적인 이슈 모니터링

▶ 컨트롤 타워 이슈 대응 프로세스 정립

• 비전
• AI 윤리
• 문화
• 스토리
• 채용공고

6) 연대성

인공지능 윤리 기준: 다양한 집단 간의 관계 연대성을 유지하고, 미래세대를 충분히 배려하여 인공지능을 활용해야 합니다. 인공지능 전 주기에 걸쳐 다양한 주체들의 공정한 참여 기회를 보장해야 합니다.

💡

스캐터랩은 AI 챗봇 개발과 서비스 운영에 있어, 다양한 집단간의 관계 연대성을 유지할 수 있도록 돕습니다.

6-1. AI 챗봇이 지역, 성별, 세대, 계층 간 갈등을 유발하는 등 사회 통합을 저해할 개연성이 있는지를 고려하고 있는가? [기획, 개발]

• 스캐터랩은 AI 챗봇과 이용자 중 어느 한 쪽이라도 편향적인 대화를 나누지 않도록 ‘어뷰징 탐지 모델’ 도입, ‘어뷰징 페널티 시스템’ 시행 등 엄격한 조치를 취하고 있습니다. 최근 들어 범람하는 온라인 상의 각종 혐오 표현 등에 대해서는 지속적인 모니터링을 통해 신속하게 대응하고 있으며, 이외에도 전문가 의견 등을 통하여 사회 통합을 저해하는 요소가 발생할 소지는 없는지 지속적으로 점검하고 있습니다. 스캐터랩은 향후 전문가들을 고문으로 초빙하여 위원회를 운영하는 등의 방법을 검토하고 있으며, 다양한 방법으로 연대성을 저해하지 않도록 노력하겠습니다.

7) 데이터 관리

인공지능 윤리 기준: 개인정보 등 각각의 데이터를 그 목적에 부합하도록 활용하고, 목적 외 용도로 활용하지 않아야 합니다. 데이터 수집과 활용의 전 과정에서 데이터 품질과 위험을 관리해야 합니다.

💡

스캐터랩은 AI 챗봇 개발과 운영에 있어 데이터 관리의 중요성을 이해하고, 이를 실천하기 위해 전사적으로 노력합니다.

7-1. AI 챗봇의 개발에 활용되는 데이터의 수집, 데이터 정제 파이프라인 및 그 결과물 등 처리 전 과정을 기록하고 있는가? [개발]

• 스캐터랩은 AI 챗봇의 개발에 활용되는 막대한 양의 데이터를 빈틈 없이 관리하기 위해 업계 최고 수준의 처리 프로세스를 구성하고 최신 기술을 도입하는 등 지속적으로 점검 및 개선하고 있습니다. 또한, 데이터와 관련되어 수행되는 모든 작업의 로그를 기록함으로써 오남용을 방지하고 개선을 위한 참고 자료로 사용할 수 있도록 하고 있습니다.

7-2. AI 챗봇의 개발, 운영에 활용되는 데이터의 업무에 대하여 접근 권한 분리, 암호화, 조직 구성, 담당자 지정, 정기 점검과 같은 기술적, 관리적, 물리적 통제방안을 마련하는 등 적절한 데이터 거버넌스를 구축하였는가? [개발, 운영]

• 스캐터랩은 개인정보보호관리 조직 하에 사용자의 개인정보를 안전하게 처리하고, 보호하고 있습니다. 엄격한 보안 조치와 권한 관리 체계 등 선진적인 데이터 거버넌스를 구축 및 시행하고 있으며, 관련 법령 및 가이드라인에서 요구하는 기술적, 관리적, 물리적 통제 방안을 적극적으로 도입하여 활용함으로써 효율적이면서도 신뢰할 수 있는 방법으로 데이터를 관리하기 위해 노력하고 있습니다.

개인정보 및 가명정보의 철저한 관리

▶ 기술적 조치 (개인정보/가명정보/추가정보 분리 보관 및 접근 통제, 접속 기록 관리 등)

▶ 물리적 조치 (서버실 출입 통제, 재해 재난 위기 대응 매뉴얼 등)

▶ 관리적 조치 (개인정보보호 교육, 시스템 취약점 점검 등)

8) 책임성

인공지능 윤리 기준: 인공지능 개발 및 활용 과정에서 책임 주체를 설정함으로써 발생할 수 있는 피해를 최소화하도록 노력해야 합니다. 인공지능 설계 및 개발자, 서비스 제공자, 사용자 간의 책임 소재를 명확히 해야 합니다.

💡

스캐터랩은 AI 챗봇 윤리를 준수하기 위해 책임감 있게 행동합니다.

8-1. AI 챗봇을 개발·운영하는 과정에서 인공지능 윤리기준을 준수를 위한 담당자 지정 등 적절한 방안을 마련하였는가? [운영]

• 스캐터랩은 김종윤 CEO가 직접 최고 윤리 책임자로서 스캐터랩 AI 윤리 준칙 및 사회적 윤리의식에 의거해 AI 윤리를 실현해 나가고자 합니다.
• 최고 윤리 책임자는 AI 챗봇의 윤리와 직접적으로 연관된 담당자들과 밀접하게 소통합니다. AI 챗봇을 개발하고 운영하는 전 과정에 있어 여러 담당자(미디어, CS 운영, 대화 디자인, 기술, 법무)의 의견을 종합해 결정하게 됩니다.

8-2. AI 챗봇 이용자들이 AI 챗봇 윤리를 준수하면서 책임감 있게 AI 서비스를 이용할 수 있도록 안내하고, 이를 위반하는 경우 대응하기 위한 장치를 마련했는가? [운영, 문제대응]

• 스캐터랩의 AI 윤리는 기업과 사용자 모두의 노력으로 실현되어야 합니다. 이를 위해 스캐터랩은 우리의 접근 방식이 사용자에게 어떤 영향을 미칠지 인식하고, 사회적 윤리에 근거하여 서비스를 이용하도록 돕습니다.
• 스캐터랩은 일부 부적절한 이용 사례가 발견될 경우 지체 없이 경고 문구를 표시하고, ‘어뷰징 페널티 시스템’을 도입하는 등 다양한 장치를 마련했습니다.

이용자 페널티 시스템

경고 메시지

9) 안전성

인공지능 윤리 기준: 인공지능 개발 및 활용 전 과정에 걸쳐 잠재적 위험을 방지하고 안전을 보장할 수 있도록 노력해야 합니다. 인공지능 활용 과정에서 명백한 오류 또는 침해가 발생할 때 사용자가 그 작동을 제어할 수 있는 기능을 갖추도록 노력해야 합니다.

💡

스캐터랩은 AI 챗봇이 외부로부터의 비정상적 접근 등 예상치 못한 상황에도 안정적으로 서비스를 제공하고 대화 품질을 유지할 수 있도록 노력합니다.

9-1. AI 챗봇이 선정적이거나, 공격적이거나, 편향되는 등 부적절한 문장을 발화하지 않는지 지속해서 점검하고 데이터를 관리하고 있는가? [운영]

• 스캐터랩은 AI 챗봇이 잘못된 대화를 하지 않도록 주기적으로 AI 챗봇이 발화한 대화 문장에 대해서 안전성을 점검하고 그 결과를 알리고 있습니다. 현재까지 이루어진 모든 점검에서 안전한 대화 문장을 발화한 비율이 99%를 상회하고 있으며, 향후에도 이러한 대화 품질이 유지될 수 있도록 노력하겠습니다. AI 챗봇이 안전하게 발화한 비율 점검은 반기마다 정기적으로 진행합니다.

9-2. AI 챗봇에 대한 해킹 등 의도적인 공격 가능성에 대응하는 충분한 보안 조치를 시행하고 있는가? [문제대응]

• 스캐터랩은 사용자와 이루다 챗봇과의 대화 내용 등의 개인정보를 암호화하고, 망분리 등 정보보안 시스템 체계를 개선했으며, 사내 필수 인원에게만 사전 권한을 부여 하는 등 접근을 철저하게 통제 하는 등 보안 시스템을 강화해 운영하고 있습니다.

10) 투명성

인공지능 윤리 기준: 사회적 신뢰 형성을 위한 타 원칙과의 상충관계를 고려하여 인공지능 활용 상황에 적합한 수준의 투명성과 설명 가능성을 높이려는 노력을 기울여야 합니다. 인공지능 기반 제품이나 서비스를 제공할 때 인공지능의 활용 내용과 활용 과정에서 발생할 수 있는 위험 등의 유의 사항을 사전에 고지해야 합니다.

💡

스캐터랩은 AI 챗봇 서비스를 안심하고 이용할 수 있도록 기술과 서비스에 대해 투명하게 공개하며 합리적으로 설명하고자 노력합니다.

10-1. 이용자가 학습된 데이터 기반의 결정을 하는 인공지능과 상호작용하고 있다는 사실을 이용자에게 고지하고 있는가? [운영]

• 스캐터랩은 자사가 제공하는 AI 챗봇이 딥러닝 기술을 바탕으로 개발된 인공지능임을 홈페이지, SNS 채널, 그리고 AI 챗봇과 대화 시 명확하게 알리고 있습니다.

10-2. AI 챗봇을 이용자가 목적에 맞게 사용하도록 유도하기 위해 알고리즘의 원리 또는 데이터 수집 방법 등의 기술, 윤리, 법령 각 부분에 관하여 필요한 정보를 충분히 제공하고 있는가? [운영]

• 스캐터랩은 자사 웹사이트를 통하여 AI 윤리 준칙을 비롯하여 프라이버시 정책, 어뷰징 대응 정책 등을 누구나 확인할 수 있도록 공개하고 있습니다.

스캐터랩의 윤리적인 성장 스토리는 이제부터가 또 다른 시작입니다.

언어는 시간에 따라 꾸준히 변하고, 특히 줄임말이나 여러 단어의 조합으로 만들어내는 차별적 표현도 계속 생겨납니다. 이에 AI 챗봇의 발화 안전성을 확인하기 위해 반기마다 랜덤 레이블링을 진행해 안정성이 99% 이상인지 주기적으로 확인할 예정이며, 어뷰징 모델이 탐지하지 못한 사례를 모아 꾸준히 재학습하도록 할 것입니다. 안전성 수준이 미달할 경우, 어뷰징 모델과 대화 모델 학습 및 키워드 등의 개선 작업을 거친 후 3개월 내 재검사를 진행합니다. 뿐만 아니라, 레이블링 과정에서 새롭게 발견되는 위험한 키워드를 찾아 업데이트하며, 어뷰저 비율 및 현황에 따라 사용자 제재 정책을 보완할 계획입니다. 위험이 감지되거나 신고가 들어왔을 때 실시간 키워드 업데이트, 답변 수정, 루다 답변 삭제 등이 조치도 함께 진행됩니다.

스캐터랩은 신뢰할 수 있는 친구가 줄 수 있는 관계의 힘을 믿습니다. 이루다가 우리 사회의 보편적인 윤리를 지향하면서 사람들이 보다 행복한 삶을 사는 데 도움이 되기 위한 기술 개선 및 윤리 기준 실천에 지속적으로 노력하겠습니다.