본문내용 바로가기

성능평가 안내

  • 인쇄버튼

평가 안내

성능평가신청, 추가자료 및 데이터베이스 구축 요청, 성능평가 수행 및 보고서 작성, 평가결과 심의, 결과 통보
  • 업무내용 (한국저작권위원회)
    • 신청내용 확인 및 접수
    • 평가환경 검토(로그) 및 로그규격 준수 요청
    • 원본 콘텐츠의 특징정보 추출 및 전달
    • 평가 기준에 의한 평가 수행
    • 결과분석 및 보고서 작성
    • 결과 통보(기준 미흡 시 재수행 요청)

성능평가 안내

  • 기술업체가 보유하고 있는 특징정보 추출 및 인식에 대한 기술(알고리즘) 수준에 대하여 한국저작권위원회 평가 PC와 기술업체의 서버 간 네트워크 통신(상호운영)을 통해 평가 항목을 측정

데이터셋

  • 평가 콘텐츠로 원본 콘텐츠와 원본 콘텐츠에 변형을 가한 변형 콘텐츠로 구성
  • 원본 콘텐츠
    • 오디오 : 10,000곡 이상, mp3 192kbps, 44.1khz 이상 재즈, 교육 등 총 16개의 분야로 구성
    • 비디오 : 1.500편 이상, 컬러/sd급(640x480 정도 이상)/1.5mbps/24fps 이상 영화, 방송물, 뮤직비디오, 교육, 3차원 영화 등 총 13개의 장르
  • 변형 콘텐츠
    강인성,일관성,축약성의 평가 항목 평가를 위한 변형으로 다음과 같음
    • 오디오 : 원본파일 그대로에서 변형 공격하여 생성
      (강인성 : 속도변환, 코덱변화 등 12개항목, 20개의 매개변수 총 12,000개)
    • 비디오 : 3분 클립파일로 자른 후 변형공격하여 생성함
      (강인성 : 압축, 코덱 및 해상도 변환, 회전 등 13개항목, 27개의 매개변수 총 6,500개)

평가항목

평가항목
평가항목 설명내용 비고
강인성 다양한 변형에도 정확하게 인식하는지 정도 %
일관성 반복적으로 수행하는 특징정보 추출 및 인식에 대한 일관성 유지 정도 %
시스템 사용율 특징정보 추출 및 인식 결과 회신에 사용하는 시스템 자원 사용률 %
서버부하율 서버의 부하 검사로 서버 TPMC 기준 에 따른 동시접속자에 대한 자원 사용률에 대한 부하율(CPU, 메모리, 응답시간) %,초
특징정보량 원본 콘텐츠 특징정보의 크기 KB/S
고속 추출 원본 콘텐츠 특징정보를 추출하는데 소요되는 시간 S/M(분)
추출 및 검색/비교 속도 변형 콘텐츠가 원본 콘텐츠의 특징정보를 인식하는데 소요되는 시간 S/건
인식정보량 인식하기 위해 필요한 콘텐츠의 최소 크기 %/s

확인서 발급기준 및 발급조건

  • 확인서 발급기준
확인서 발급기준
평가항목 설명내용
구분 오디오 비디오
강인성 인식률 97% 이상 95% 이상
오인식률 1% 미만 1% 미만
추출 및 검색/비교속도 3초 이하 3초 이하

※ 비디오의 강인성 변형콘텐츠의 구성비 : 오디오 포함 80%, 오디오 제거 20%

  • 확인서 발급기준
    • 기술업체는 다음의 각 사항을 준수하여야 합니다.
  • 성능평가 확인을 받은 기술을 온라인서비스사업자에게 제공할 경우 기술 수준을 변경할 수 있는 별도의 모듈 및 설정파일 등을 제공하여서는 아니된다.
  • 성능평가 확인을 받은 기술을 온라인서비스에 적용할 경우 2년간의 필터링 로그를 온라인서비스 서버에 저장하여야 하며, 24시간 상시 적용하여야 한다.
    • ※ 필터링로그 : OSPID, 기술업체ID, 트랜잭션코드ID, 콘텐츠 ID, 콘텐츠명, 권리자, 필터링요청시간(압축 등 제외), 종료시간(인식결과회신), 기술업체ID, 권리정보(삭제, 과금, NoneCP 등), 과금정보
  • 성능평가 확인을 받은 기술을 온라인서비스에 적용할 경우 사용자 PC에 필터링 로그가 생성될 수 있도록 하여야 한다.
  • 성능평가 확인을 받은 기술의 온라인 서비스 적용 여부 확인은 과학기술정보통신부 주관 웹하드 등록요건 준수 실태점검으로 갈음하며, 점검결과는 한국저작권위원회에 통보하여야 한다.
  • 한국저작권위원회 및 수사기관 등에서 필요한 자료(필터링로그 등)를 요구할 경우 협조하여야 한다.