합의 학습: 더 나은 AI를 위한 블록체인의 활용

플레어 리서치의 최신 논문 에서는 인공지능과 블록체인을 결합하여 더 안전하고 정확한 인공지능을 구현하는 새로운 접근법을 소개합니다.

합의 학습 (CL)은 다양한 애플리케이션에서 협업 AI를 구현하여 보다 정확하고 강력한 AI 모델을 개발할 수 있게 해줍니다. CL은 특히 의료나 금융과 같이 데이터에 민감한 분야의 AI 통합에 적합하며, 의사 결정 프로세스를 개선하고 전반적인 운영 성과와 효율성을 향상시켜 최종 소비자에게 제공되는 서비스 비용을 낮출 수 있습니다. 그 결과 환자 치료 결과가 크게 개선되고, 재무 분석이 정확해지거나 사기 탐지가 강화되는 등 다양한 이점을 얻을 수 있습니다. 블록체인을 통해 중앙화된 머신러닝(ML)에 액세스할 수 있는 대부분의 기존 AI 및 블록체인 구현과 달리, CL은 블록체인을 활용하여 탈중앙화된 AI 모델을 생성합니다.

동기 부여

최근 몇 년 동안 데이터와 컴퓨팅 리소스가 여러 디바이스에 분산되어 있는 분산 환경에 대한 중요성이 점점 더 강조되고 있습니다. 이러한 변화는 처리를 위해 상당한 양의 데이터를 필요로 하는 대규모 언어 모델과 컴퓨터 비전 모델과 같은 최신 기반 모델의 요구 사항으로 인해 촉발되었습니다. 분산되어 있지만 여전히 중앙 집중화된 환경에서 탈중앙화는 몇 가지 주요 동기에 의해 근본적인 필요성으로 떠오르고 있습니다.

중앙 집중식 방식은 신뢰할 수 있는 단일 당사자에 의존하기 때문에 내재된 위험이 존재하며, 주로 단일 기업 환경으로 사용이 제한되고 광범위한 채택에 제약이 있습니다. 또한 이러한 아키텍처는 잠재적인 공격이나 시스템 장애에 대한 취약성을 증가시킬 뿐만 아니라 데이터 프라이버시 및 보안에 대한 우려도 제기합니다. 반대로 탈중앙화 방식은 사용자가 자신의 특정 요구사항과 선호도에 맞게 개인화된 로컬 모델을 개발할 수 있다는 뚜렷한 장점이 있는 반면, 중앙 집중식 접근 방식은 이러한 맞춤화에 필요한 유연성이 부족한 경우가 많습니다. 이러한 한계 속에서 합의 학습은 중앙 집중화와 관련된 내재적 위험을 완화하면서 복원력, 개인정보 보호, 적응성을 강화하는 분산형 ML 솔루션으로 부상하고 있습니다.

합의 학습의 이점

합의 프로토콜은 탈중앙화된 원장의 보안에 필수적이며, 악의적인 공격으로부터 블록체인 네트워크를 보호합니다. AI에 합의 메커니즘을 활용하면 다음과 같은 많은 이점을 얻을 수 있습니다:

성능 향상. CL 방식은 각 앙상블 기여자의 데이터를 활용하여 편향을 줄이고 보이지 않는 데이터에 대한 모델의 일반화 능력을 향상시킵니다. 또한 CL은 협업을 장려하는 블록체인의 능력으로 인해 중앙 집중식 방식에 비해 더 정확한 AI를 구현할 수 있으며, 다양한 모델의 다양한 인사이트를 결합하는 데 더 능숙해집니다. 이는 각 참여자가 인접 모델의 예측을 평가하고 더 나은 정확도를 위해 통합하는 여러 로컬 집계를 통해 달성할 수 있습니다. 이는 AI가 블록체인 통합을 통해 상당한 이점을 얻을 수 있는 첫 번째 사례 중 하나입니다.
보안. 숨겨진 목표를 도입하려는 악의적인 행위자가 있어도 합의 메커니즘에 내장된 안전 기능으로 인해 CL 모델의 무결성은 손상되지 않습니다. 따라서 AI 시스템이 고의적으로 유해한 예측이나 의도하지 않은 부정확성을 생성하지 않도록 보장하며, 이 두 가지 모두 악의적인 AI의 특징입니다. 따라서 CL은 AI 커뮤니티의 주요 관심사를 해결하여 AI가 해로운 목적으로 악용되지 않도록 보호합니다. CL은 협업 학습 프로세스의 무결성을 유지함으로써 AI 시스템에 대한 신뢰와 확신을 심어주어 책임감 있고 윤리적인 배포를 위한 기반을 마련합니다.
데이터 프라이버시. CL에서는 네트워크 참여자의 기본 데이터나 개별 모델이 어떤 시점에서도 공유되지 않습니다. 실제로 데이터가 로컬에 저장되므로 데이터 기밀성을 침해할 수 있는 악의적인 공격이 네트워크에 존재하지 않습니다. 개인 정보 보호는 협업을 장려할 뿐만 아니라 경쟁력도 유지합니다. 이러한 점에서 CL은 특히 의료와 같은 민감한 데이터나 상업적 데이터에 대해 AI를 통한 데이터 수익화를 가능하게 하여 중앙 집중식 환경에서 직면했던 이전의 문제를 극복합니다.
완전한 탈중앙화. 데이터와 연산 리소스는 하나의 중앙 서버에 의존하지 않고 통신하는 참여자 네트워크에 분산되어 있습니다. 방대한 양의 리소스에 대한 수요와 ML 모델의 복잡성 증가로 인해 최신 ML 애플리케이션에서 탈중앙화의 필요성이 두드러지게 드러나고 있습니다. 분산형 ML은 데이터 프라이버시를 보호하고 보안을 보장하는 데 더 적합한 솔루션으로 부상하고 있습니다.
효율성. 학습 프로세스는 지연 시간이 짧고 다른 최신 분산형 ML 방식에 비해 계산 시간, 에너지, 리소스가 훨씬 적게 필요합니다. 따라서 CL은 빠른 의사 결정과 효율적인 리소스 활용이 가장 중요한 실시간 애플리케이션에 특히 적합합니다.

작동 방식

합의 학습은 참가자들이 합의에 도달할 때까지 자신의 (모델) 결과물을 공유하는 커뮤니케이션 단계를 통해 앙상블 방식을 개선합니다. CL은 다음과 같이 2단계 프로세스로 구현할 수 있습니다:

개별 학습 단계. 각 네트워크 참여자는 자신의 개인 데이터와 기타 공개적으로 사용 가능한 데이터를 기반으로 자신만의 모델을 개발합니다. 여기에는 처음부터 모델을 구축하는 것부터 사전 학습된 대규모 모델을 사용하고 필요에 따라 미세 조정하는 것까지 다양합니다. 결정적으로, 참가자는 자신의 데이터나 모델에 대한 민감한 정보를 공유할 필요가 없습니다. 훈련이 완료되면 참가자는 테스트 데이터 세트에 대한 초기 예측을 준비하게 되는데, 스마트 컨트랙트를 통해 공개된 데이터 세트일 수도 있고, 지분 증명 메커니즘을 통해 새로운 테스트 데이터 포인트를 제안할 수도 있습니다.
커뮤니케이션 단계. 참가자는 합의/가십 프로토콜에 따라 네트워크 내에서 자신의 초기 예측을 전송합니다. 이러한 교환이 이루어지는 동안 참가자는 다른 네트워크 참가자의 평가와 자신의 예측에 대한 신뢰도를 반영하여 예측을 지속적으로 업데이트합니다. 또한, 참여자는 네트워크의 다른 참여자로부터 받은 예측의 품질을 모니터링하고 이를 통해 의사 결정을 개선할 수 있습니다. 이 단계가 끝나면 참여자들은 네트워크 내에서 이용 가능한 정보를 고려할 때 최적이라고 판단되는 결정에 대해 합의("합의")를 도출합니다. 그런 다음 새로운 데이터 입력에 대해 이 단계를 반복합니다.

그림 캡션: 이진 분류 작업에서 CL이 작동하는 방식 예시. (a) 첫 번째 단계에서는 참가자가 자신의 데이터와 다른 참가자가 기꺼이 공유한 다른 데이터를 기반으로 자신만의 모델을 개발합니다. 이 단계가 끝나면 각 모델은 테스트 데이터 세트의 모든 입력에 대한 초기 예측(속이 빈 원으로 표시됨)을 결정합니다. (b) 커뮤니케이션 단계에서 참가자들은 초기 예측을 교환하고 업데이트하여 최종적으로 하나의 출력(채워진 원으로 표시됨)에 대한 합의에 도달합니다. 이 단계는 새로운 데이터 입력에 대해 반복됩니다.

엄밀히 말하면, 위에서 설명한 알고리즘은 지도 머신러닝 시나리오, 즉 학습 데이터 세트에 이미 레이블이 지정되어 있고 알고리즘이 보이지 않는 새로운 테스트 데이터의 레이블을 예측하는 환경을 말합니다. 그러나 CL은 참가자가 부분적으로 또는 완전히 레이블이 지정되지 않은 데이터에만 액세스할 수 있는 자가 지도 또는 비지도 ML 문제에도 적용할 수 있습니다. 이러한 방법의 목표는 약간 다르기 때문에 참가자는 개별 학습 단계에서 다른 기술을 사용해야 합니다. 그럼에도 불구하고 커뮤니케이션 단계는 위에서 설명한 것과 비슷한 방식으로 진행됩니다.

합의 학습이 차별화되는 방법

CL의 기본 개념은 민감하거나 가치 있는 정보나 지적 재산을 공유하지 않고 여러 출처의 지식(AI 모델 형태)을 효율적으로 결합하는 것입니다. 이 접근 방식은 기밀 정보를 보호하는 동시에 악의적인 주체가 제기하는 잠재적 위험에 대한 복원력을 보장하기 위해 고안되었습니다. CL은 여러 모델을 하나의 모델로 병합하는 강력한 기술을 제공하는 매우 성공적인 앙상블 학습 패러다임을 기반으로 합니다. 앙상블 방식은 '군중의 지혜'라는 원리에 기반하여 군중의 집단적 지식을 활용하여 단일 구성원의 지식을 능가합니다.

최근 몇 년 동안 AI를 탈중앙화 네트워크와 통합하는 혁신적인 접근 방식을 보여주는 여러 블록체인 AI 서비스 구현이 등장했습니다. 예를 들어, 비텐서는 게임 이론적 메커니즘을 통해 '채굴자'의 예측에 가중치를 부여하여 도메인별 서브넷 내에서 AI 추론(모델 출력)을 용이하게 합니다. FLock.io는 중앙집중식 애그리게이터가 있긴 하지만 연합 학습(분산 학습의 다른 유형)을 위한 플랫폼을 제공하며, 블록체인을 활용하여 모델 업데이트를 검증하고 참여자에게 보상을 제공합니다. 또 다른 예로는 특정 모델 실행 요청이 모델 소유자에게 전송되는 Infernet 프로토콜을 통해 ML 모델을 위한 마켓플레이스를 효과적으로 운영하는 Ritual이 있습니다.

CL은 개별 모델의 예측이 합의에 도달하기 위해 보안 가십 프로토콜을 통과하는 고유한 집계 방식을 통해 차별화됩니다. 따라서 기존 구현이 블록체인을 통해 중앙 집중식 머신러닝에 액세스할 수 있는 반면, CL은 블록체인을 활용하여 탈중앙화된 AI 모델을 생성합니다. 협업을 통해 보다 정확하고 안전한 AI를 구현하는 동시에 민감한 개인 데이터를 보유한 기관이 데이터의 기밀성을 보장하면서 시스템에 참여할 수 있도록 하는 데 초점을 맞추고 있습니다.

요약

합의 학습은 블록체인과 같은 탈중앙화된 원장에 직접 머신러닝을 구현할 수 있는 획기적인 기회를 제공합니다. 이 이니셔티브를 통해 블록체인 기술이 기존 AI 도구를 근본적으로 개선할 수 있는 새로운 접근법의 출현을 목격하고 있습니다. 이는 의료와 같이 전통적으로 데이터에 민감한 분야에서 혁신과 안전한 협업을 위한 흥미로운 가능성을 열어주며, 협업 머신러닝 기술의 채택을 위한 발판을 마련합니다. 또한, 악의적인 요인에 직면했을 때 CL 방법의 복원력은 AI 시스템에 대한 신뢰를 높이고 신뢰성과 무결성을 강화합니다.