당사의 연구 방법론
75년간의 델파이 기법(Delphi method)과 다중 모델 AI 합의(consensus)를 결합한 체계적인 접근 방식 — 투명하고 재현 가능하며 연구원을 위해 구축되었습니다.
델파이 기법(The Delphi Method)
델파이 기법은 1963년 Dalkey와 Helmer에 의해 RAND Corporation에서 개발되었습니다. 75년 이상 이 방법은 독립적인 전문가 간에 신뢰할 수 있는 합의에 도달하기 위해 10,000개 이상의 출판된 연구에서 사용되었습니다.
Delph-AI는 이 검증된 방법론을 AI 기반 체계적 문헌고찰 스크리닝에 적용합니다. 당사는 전문가 패널에 대형 언어 모델(LLM)을 도입하여 항상 사용자가 제어할 수 있으면서 동일한 엄격함과 더 빠른 결과를 제공합니다.
출판된 연구
Dalkey & Helmer, RAND Corporation, 1963
스크리닝 파이프라인
체계적 문헌고찰 방법론의 모범 사례를 반영하는 6단계 프로세스
데이터 수집(Data Ingestion)
PubMed, Scopus, Web of Science 또는 기타 데이터베이스에서 문헌을 가져옵니다. 출처 간 자동 중복 제거가 수행됩니다.
기준 정의(Criteria Definition)
일상 언어로 배제 및 특성 분석 기준을 설정하십시오. AI 어시스턴트가 PICO 프레임워크를 사용하여 이를 세분화하도록 도와줍니다.
독립적 평가(Independent Evaluation)
여러 AI 모델이 독립적으로 각 기준에 대해 각 레코드를 평가한 다음 합의되지 않은 항목에 대해 합의 패널(consensus panel)을 수행합니다.
합의 계산(Consensus Calculation)
일치율(Agreement rate)은 모든 모델에 걸쳐 합의 수준을 측정합니다. 불일치는 인적 검토를 위한 불확실한 사례를 표면화합니다.
최종 후보 생성(Shortlist Generation)
모든 모델, 모든 투표, 모든 이유에 대한 전체 감사 추적(audit trail)과 함께 일치율 기준으로 정렬된 증거 후보 목록을 받으십시오.
버전 관리(Version Control)
배제 기준으로 사용할 항목을 변경하여 스크리닝을 처음부터 다시 실행하지 않고 새로운 후보 목록을 생성할 수 있습니다. 각 버전은 불변하며, 비교 가능하고, 감사 가능합니다.
모든 단계의 투명성
모든 스크리닝은 EU AI Act 제50조 투명성 원칙을 바탕으로 AI 의사결정 과정에 대한 완전한 가시성을 제공합니다.
40개의 AI 모델, 8개의 제공업체
GPT-4o부터 Gemini Pro, Claude까지 — 각 모델은 독립적으로 평가합니다. 어떤 모델이 어떤 레코드를 검토했는지, 어떻게 평가했는지, 그 이유는 무엇인지 확인할 수 있습니다.
일치율(Agreement Rate)
합의는 측정되는 것이지 가정되는 것이 아닙니다. 선택한 모든 모델에 걸친 일치율이 포함 여부를 결정합니다 — 단일 모델이 단독으로 결정하지 않습니다.
완전한 재현성(Full Reproducibility)
재현성을 위해 구축: 고정 시드와 제로 온도를 통한 일관성 극대화. 전체 감사 추적 — 모든 버전은 불변하며 감사 가능합니다. 블랙박스가 없습니다.
인간의 최종 결정
AI는 우선순위를 정하고 그 이유를 제시합니다. 최종 결정권자는 연구원입니다. Delph-AI는 사용자의 판단을 돕는 도구일 뿐, 결코 이를 대체하지 않습니다.
실제 작동 방식 보기
오늘 첫 스크리닝을 시작하십시오. 기준을 정의하고 AI 패널을 선택하여 합의 내용을 검토하십시오.
무료로 가입하고 체험판으로 최대 500개의 레코드를 스크리닝해 보십시오.