별첨１	비뚤림위험 평가

연번(Ref ID)	1(#117)
1저자(출판연도)	Ebell(2016)
질문		판단	판단근거
1. 체계적 문헌고찰의 연구질문과 포함기준에는 PICO의 구성요소가 포함되었는가?		■ 예 □ 아니오	P: dults and children with clinically suspected sinusitis or acute respiratory tract infection I: reported the accuracy of at least one blood test or imaging study for ARS or ABRS. C(Reference): Acceptable reference standards included radiography, ultrasound, computed tomography (CT), or magnetic resonance imaging (MRI) for ARS, and antral puncture revealing purulent fluid or fluid yielding a positive culture for ABRS O: Whenever individual sinuses as well as results by person are reported, diagnostic accuracy and prevalence are reported by person where possible.
예 : ■ 인구집단(P) ■ 중재(I) ■ 비교군(C) ■ 중재결과(O)	선택(권고)사항 □ 추적관찰 시점
2. 체계적 문헌고찰 방법론이 실제 문헌고찰을 시행하기 전에 확립되었으며 보고서에는 프로토콜로부터 중대한 이탈이 있는 경우 이에 대한 정당화(합당한 이유)가 제시되었나?’		□ 예 □ 일부 예 ■ 아니오	언급없음
일부 예 : 저자는 아래 모두를 포함하는 서면 프로토콜 또는 가이드를 가지고 있다고 진술하고 있다. □ 문헌고찰 질문 □ 검색전략 □ 포함기준 □ 비뚤림위험 평가	일부 예에 더하여: 추가로 프로토콜이 등록되어 있고, 아래 사항이 명시되어있다. □ 해당되는 경우 메타분석/합성 계획, 그리고 □ 이질성 원인에 대한 조사 계획 □ 프로토콜 이탈에 대한 정당화(합당한 이유)
3. 문헌고찰 저자는 문헌고찰에 포함될 연구설계 선택에 대해 설명하였나?		■ 예 □ 아니오	진단법평가연구로 판단하여 QUADAS-2로 평가한 것으로 보임 Two were retrospective cohort studies, 36,44 and the remainder were prospective cohort studies.
예: 아래 중 하나 충족: □ 무작위 배정 비교임상시험(RCT)만 포함하는 것에 대해 설명 □ 혹은, 중재 비무작위연구만(NRSI)만 포함하는 것에 대해 설명 □ 혹은, 무작위 배정 비교임상시험과 중재 비무작위 연구 모두를 포함하는 것에 대해 설명
4. 문헌고찰 저자는 포괄적인 문헌 검색 전략을 사용하였는가?		□ 예 □ 일부 예 ■ 아니오	The authors used the strategy shown in Appendix 1 to search MEDLINE ® . The reference lists of previous meta-analyses, review articles, and practice guidelines for additional articles were also searched.
일부 예 (모두 포함해야 함): □ 최소한 2개 이상의 (연구질문에 적합한) 데이터베이스를 검색하였다. ■ 키워드와 검색전략을 제시하였다. ■ 출판물 제한(예: 언어)에 대해 정당한 이유를 제시하였다.	예 : 모두 포함해야 함 □ 포함된 연구의 참고문헌 목록 검색 □ 임상시험/연구 레지스트리 검색 □ 해당 분야 내용 전문가를 포함하거나 자문을 받음 □ 해당되는 경우, 회색 문헌 검색 □ 문헌고찰 완료 24개월 이내에 검색 수행
5. 문헌고찰 저자는 연구 선택을 중복으로 수행하였는가?		■ 예 □ 아니오	All abstracts were reviewed by at least two investigators, and any article deemed potentially useful by either investigator was reviewed in full. Full articles were also each reviewed by at least two investigators, who evaluated them for inclusion criteria. Two investigators abstracted data regarding study quality and test accuracy.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 독립적으로 적격 연구를 선택하고, 최종 포함여부를 합의하였다. □ 혹은 두 명의 평가자가 일부 표본에 대해 적격연구를 선정하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 문헌 선정을 하였다.
6. 문헌고찰 저자는 자료추출을 중복으로 수행하였는가?		■ 예 □ 아니오	Two investigators abstracted data regarding study quality and test accuracy.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 포함된 문헌의 어떤 자료를 추출할지에 대해 합의에 도달하였다. □ 또는 두 명의 평가자가 일부 적격 연구 표본에서 자료를 추출하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 자료 추출을 하였다.
7. 문헌고찰 저자는 배제 연구에 대한 목록과 합당한 배제사유를 제공하였는가?		□ 예 □ 일부 예 ■ 아니오	배제목록 없음
일부 예 : □ 전문까지 검토하였지만, 문헌고찰에서 배제된 연구에 대한 목록을 제시	예: 아래 사항도 충족 □ 잠재적으로 관련성이 있는 연구가 문헌 고찰에서 배제된 합당한 이유 제시
8. 문헌고찰저자는 포함된 연구들의 세부사항을 적절히 기술하였는가?		□ 예 □ 일부 예 ■ 아니오
일부 예 (아래 모두) ■ 인구집단에 대한 기술 ■ 중재에 대한 기술 □ 비교군에 대한 기술 ■ 중재결과에 대한 기술 ■ 연구설계에 대한 기술	예 : 아래 사항도 모두 충족 □ 인구집단 세부사항에 대한 기술 □ 중재 세부사항에 대한 기술(적절한 경우, 용량 포함) □ 비교군 세부사항에 대한 기술(적절한경우, 용량 포함) □ 연구 세팅에 대한 기술 □ 추적관찰의 시점
9. 문헌고찰저자는 문헌고찰에 포함된 개별 연구의 비뚤림위험(ROB)을 평가하기 위해 만족스러운 도구를 사용하였는가?		■ 예 □ 일부 예 □ 아니오 □ NRSI만 포함	The authors adapted the QUADAS-2 criteria for the study (Appendix 3). 13 Quality assessment was done in parallel by two investigators, and any discrepancies were resolved by consensus discussion.
RCTs 일부 예: 아래 모두에 대한 ROB 평가 □ 배정은폐, 그리고 □ 중재결과 평가시 환자 및 결과 평가자의 눈가림(모든 원인 사망률과 같은 객관적인 중재결과에는 불필요)	예: 아래에 대한 ROB 평가 □ 진정한 무작위 배정 순서, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택 여부
NRSI 일부 예: 아래에 대한 ROB 평가 □ 교란 □ 선택 비뚤림	예: 아래에 대한 ROB 평가 □ 노출과 중재결과 확인위해 사용한 방법, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택	□ 예 □ 일부 예 □ 아니오 □ RCT만 포함
10. 문헌고찰 저자는 고찰에 포함된 연구들의 자금 출처에 대해 보고하였는가?		□ 예 □ 아니오	언급없음
예 : □ 문헌고찰에 포함된 연구의 자금출처에 대해 보고해야 한다. 주 : 평가자가 살펴보았지만 일차연구 저자가 보고하지 않은 경우도 해당됨
11. 메타분석을 수행하였다면, 문헌고찰 저자는 이에 대한 합당한 이유를 제시하였고, 연구결과의 통계학적 결 합을 위해 적절한 방법을 사용하였는가?		■ 예 □ 아니오 □ 메타분석 없음
RCTs 예 : □ 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 이질성의 원인에 대한 조사를 하였다
NRSI 예 : □ 저자는 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 NRSI의 교란변수를 보정한 효과추정치를 결합하였거나, 보정 효과 추정치를 결합할 수 없을 때만 원 자료를 결합하였다. □ 그리고 RCT와 NRSI 모두가 고찰에 포함되었을 때, 무작위 배정 비교임상시험과 중재 비무작위연구의 요약 추정치를 별도로 보고하였다.		□ 예 □ 아니오 □ 메타분석 없음
12. 메타분석을 수행하였다면, 문헌고찰 저자는 개별 연구의 비뚤림위험이 메타분석 연구결과나 다른 근거 합성에 미칠 잠재적 영향을 평가하였는가?		□ 예 ■ 아니오 □ 메타분석 없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 다양한 비뚤림위험을 가진 RCT나 NRSI를 포함한 경우 효과의 요약 추정치에 비뚤림 위험이 어떤 영향을 미치는지 조사하였다.
13. 문헌고찰저자는 고찰 결과를 해석/논의할 때 개별 연구의 비뚤림위험을 고려하였는가?		□ 예 ■ 아니오	Only four studies were at a low overall risk of bias. The remainder were at moderate (n = 11) or high (n = 9) overall risk of bias (Appendix 5).
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 RCT에 중등도 이상의 비뚤림위험이 있거나 문헌고찰에 NRSI를 포함한 경우에 비뚤림위험이 연구결과에 어떤 영향을 미쳤는지에 대해 고찰하였다
14. 문헌고찰저자는 연구결과에서 발견된 이질성에 대해 만족스러운 설명과 고찰을 하였는가?		■ 예 □ 아니오	There was significant unexplained heterogeneity, for example, among studies of radiography using antral puncture as the reference standard, and therefore summary estimates of accuracy should be interpreted cautiously. An unexpected finding was the similar prevalence of acute rhinosinusitis when using antral puncture as the reference standard compared with imaging. Although the authors expected a lower prevalence with antral puncture as the reference standard, because it was presumably largely detecting only ABRS, it may be that the spectrum of patients in the Scandinavian countries where the antral puncture studies were largely performed may be different, with patients not seeking care unless symptoms are more severe.
예 : □ 연구결과에서 유의미한 이질성이 없었다. □ 또는 이질성이 있는 경우, 이질성의 원인에 대해 조사하고, 이질성이 문헌고찰 연구결과에 미치는 영향에 대해 논의하였다.
15. 양적 합성을 하였다면, 문헌고찰저자는 출판비뚤림(소규모연구 비뚤림)에 대한 적절한 조사를 수행하고, 문헌고찰 결과에 미칠 수 있는 영향에 대해 고찰하였는가?		□ 예 ■ 아니오 □ 메타분석 없음
예 : □ 출판비뚤림에 대한 그래프 또는 통계적 검증을 수행하고 출판비뚤림의 유무와 영향 정도에 대해 고찰하였다.
16. 문헌고찰 저자는 문헌고찰 수행을 위한 자금지원을 포함하여 잠재적 이해상충에 대해 보고하였는가?		■ 예 □ 아니오	Competing interests The authors have declared no competing interests.
예 : ■ 저자는 이해상충이 없다고 보고하였다. 또는 □ 저자가 자금원을 기술하였으며, 잠재적 이해상충을 관리한 방법을 보고하였다.

연번(Ref ID)	2(#396)
1저자(출판연도)	Shaikh(2020)
질문		판단	판단근거
1. 체계적 문헌고찰의 연구질문과 포함기준에는 PICO의 구성요소가 포함되었는가?		■ 예 □ 아니오	P: In children with urinary tract infection (UTI) I: erythrocyte sedimentation rate (ESR C: procalcitonin (PCT), C-reactive protein (CRP O: diagnostic evaluation of children with UTI, assess the influence of patient and study characteristics on the diagnostic accuracy of these tests, compare the performance of the three tests to each other
예 : ■ 인구집단(P) ■ 중재(I) ■ 비교군(C) ■ 중재결과(O)	선택(권고)사항 □ 추적관찰 시점
2. 체계적 문헌고찰 방법론이 실제 문헌고찰을 시행하기 전에 확립되었으며 보고서에는 프로토콜로부터 중대한 이탈이 있는 경우 이에 대한 정당화(합당한 이유)가 제시되었나?’		□ 예 □ 일부 예 ■ 아니오	프로토콜 언급없음
일부 예 : 저자는 아래 모두를 포함하는 서면 프로토콜 또는 가이드를 가지고 있다고 진술하고 있다. □ 문헌고찰 질문 □ 검색전략 □ 포함기준 □ 비뚤림위험 평가	일부 예에 더하여: 추가로 프로토콜이 등록되어 있고, 아래 사항이 명시되어있다. □ 해당되는 경우 메타분석/합성 계획, 그리고 □ 이질성 원인에 대한 조사 계획 □ 프로토콜 이탈에 대한 정당화(합당한 이유)
3. 문헌고찰 저자는 문헌고찰에 포함될 연구설계 선택에 대해 설명하였나?		■ 예 □ 아니오	중재검사 결과 있는 평가결과 있으면 포함 We considered published studies that evaluated the results of an index test (procalcitonin, CRP, ESR) against the results of an acutephase DMSA scan only. Cross-sectional, cohort and case-control designs were all acceptable.
예: 아래 중 하나 충족: □ 무작위 배정 비교임상시험(RCT)만 포함하는 것에 대해 설명 □ 혹은, 중재 비무작위연구만(NRSI)만 포함하는 것에 대해 설명 □ 혹은, 무작위 배정 비교임상시험과 중재 비무작위 연구 모두를 포함하는 것에 대해 설명
4. 문헌고찰 저자는 포괄적인 문헌 검색 전략을 사용하였는가?		□ 예 ■ 일부 예 □ 아니오	We searched MEDLINE (OvidSP), EMBASE (OvidSP), Web of Science, BIOSIS Previews (Web of Science) and the Cochrane Register of Diagnostic Test Accuracy Studies.
일부 예 (모두 포함해야 함): ■ 최소한 2개 이상의 (연구질문에 적합한) 데이터베이스를 검색하였다. ■ 키워드와 검색전략을 제시하였다. ■ 출판물 제한(예: 언어)에 대해 정당한 이유를 제시하였다.	예 : 모두 포함해야 함 □ 포함된 연구의 참고문헌 목록 검색 □ 임상시험/연구 레지스트리 검색 □ 해당 분야 내용 전문가를 포함하거나 자문을 받음 □ 해당되는 경우, 회색 문헌 검색 □ 문헌고찰 완료 24개월 이내에 검색 수행
5. 문헌고찰 저자는 연구 선택을 중복으로 수행하였는가?		■ 예 □ 아니오	Two authors independently applied the selection criteria to all citations and independently abstracted data.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 독립적으로 적격 연구를 선택하고, 최종 포함여부를 합의하였다. □ 혹은 두 명의 평가자가 일부 표본에 대해 적격연구를 선정하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 문헌 선정을 하였다.
6. 문헌고찰 저자는 자료추출을 중복으로 수행하였는가?		■ 예 □ 아니오	Two by two tables were constructed independently by two authors from the data in the publication. Only studies for which two by two data were available (or could be reconstructed) were included.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 포함된 문헌의 어떤 자료를 추출할지에 대해 합의에 도달하였다. □ 또는 두 명의 평가자가 일부 적격 연구 표본에서 자료를 추출하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 자료 추출을 하였다.
7. 문헌고찰 저자는 배제 연구에 대한 목록과 합당한 배제사유를 제공하였는가?		■ 예 □ 일부 예 □ 아니오	A listing of the excluded studies and their characteristics is provided (Characteristics of excluded studies).
일부 예 : ■ 전문까지 검토하였지만, 문헌고찰에서 배제된 연구에 대한 목록을 제시	예: 아래 사항도 충족 □ 잠재적으로 관련성이 있는 연구가 문헌 고찰에서 배제된 합당한 이유 제시
8. 문헌고찰저자는 포함된 연구들의 세부사항을 적절히 기술하였는가?		□ 예 ■ 일부 예 □ 아니오	p.30~
일부 예 (아래 모두) ■ 인구집단에 대한 기술 ■ 중재에 대한 기술 ■ 비교군에 대한 기술 ■ 중재결과에 대한 기술 ■ 연구설계에 대한 기술	예 : 아래 사항도 모두 충족 □ 인구집단 세부사항에 대한 기술 □ 중재 세부사항에 대한 기술(적절한 경우, 용량 포함) □ 비교군 세부사항에 대한 기술(적절한경우, 용량 포함) □ 연구 세팅에 대한 기술 □ 추적관찰의 시점
9. 문헌고찰저자는 문헌고찰에 포함된 개별 연구의 비뚤림위험(ROB)을 평가하기 위해 만족스러운 도구를 사용하였는가?		■ 예 □ 일부 예 □ 아니오 □ NRSI만 포함	Two authors used the QUADAS-2 questionnaire (Whiting 2011), a validated four-domain tool (patient selection, the index test, the reference standard, and flow/timing) tool specifically designed for review authors to evaluate quality of diagnostic accuracy studies, to independently assess the quality of all studies that met our inclusion criteria.
RCTs 일부 예: 아래 모두에 대한 ROB 평가 □ 배정은폐, 그리고 □ 중재결과 평가시 환자 및 결과 평가자의 눈가림(모든 원인 사망률과 같은 객관적인 중재결과에는 불필요)	예: 아래에 대한 ROB 평가 □ 진정한 무작위 배정 순서, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택 여부
NRSI 일부 예: 아래에 대한 ROB 평가 □ 교란 □ 선택 비뚤림	예: 아래에 대한 ROB 평가 □ 노출과 중재결과 확인위해 사용한 방법, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택	□ 예 □ 일부 예 □ 아니오 □ RCT만 포함
10. 문헌고찰 저자는 고찰에 포함된 연구들의 자금 출처에 대해 보고하였는가?		■ 예 □ 아니오	Internal sources • None, USA External sources • No sources of support supplied
예 : ■ 문헌고찰에 포함된 연구의 자금출처에 대해 보고해야 한다. 주 : 평가자가 살펴보았지만 일차연구 저자가 보고하지 않은 경우도 해당됨
11. 메타분석을 수행하였다면, 문헌고찰 저자는 이에 대한 합당한 이유를 제시하였고, 연구결과의 통계학적 결 합을 위해 적절한 방법을 사용하였는가?		■ 예 □ 아니오 □ 메타분석 없음
RCTs 예 : □ 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 이질성의 원인에 대한 조사를 하였다
NRSI 예 : □ 저자는 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 NRSI의 교란변수를 보정한 효과추정치를 결합하였거나, 보정 효과 추정치를 결합할 수 없을 때만 원 자료를 결합하였다. □ 그리고 RCT와 NRSI 모두가 고찰에 포함되었을 때, 무작위 배정 비교임상시험과 중재 비무작위연구의 요약 추정치를 별도로 보고하였다.		□ 예 □ 아니오 □ 메타분석 없음
12. 메타분석을 수행하였다면, 문헌고찰 저자는 개별 연구의 비뚤림위험이 메타분석 연구결과나 다른 근거 합성에 미칠 잠재적 영향을 평가하였는가?		■ 예 □ 아니오 □ 메타분석 없음	Pooled sensitivity and specificity values were similar when we excluded studies with high risk of bias: 0.79 (0.63 to 0.90) and 0.67 (0.58 to 0.75), respectively (Table 1).
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. ■ 또는 다양한 비뚤림위험을 가진 RCT나 NRSI를 포함한 경우 효과의 요약 추정치에 비뚤림 위험이 어떤 영향을 미치는지 조사하였다.
13. 문헌고찰저자는 고찰 결과를 해석/논의할 때 개별 연구의 비뚤림위험을 고려하였는가?		■ 예 □ 아니오	Pooled sensitivity and specificity values were similar when we excluded studies with high risk of bias: 0.79 (0.63 to 0.90) and 0.67 (0.58 to 0.75), respectively (Table 1).
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. ■ 또는 RCT에 중등도 이상의 비뚤림위험이 있거나 문헌고찰에 NRSI를 포함한 경우에 비뚤림위험이 연구결과에 어떤 영향을 미쳤는지에 대해 고찰하였다
14. 문헌고찰저자는 연구결과에서 발견된 이질성에 대해 만족스러운 설명과 고찰을 하였는가?		■ 예 □ 아니오	Investigations of heterogeneity We used meta-regression (Proc NLMIXED, SAS 2011) to investigate heterogeneity. The influence of the following factors on accuracy was investigated. 1. Fever required (yes, no) 2. Used bag-collected specimen (yes, no) 3. Timing of DMSA scan (≤ 7 days versus 7 to 14 days versus 15 to 30 days) afer diagnosis of UTI.
예 : □ 연구결과에서 유의미한 이질성이 없었다. ■ 또는 이질성이 있는 경우, 이질성의 원인에 대해 조사하고, 이질성이 문헌고찰 연구결과에 미치는 영향에 대해 논의하였다.
15. 양적 합성을 하였다면, 문헌고찰저자는 출판비뚤림(소규모연구 비뚤림)에 대한 적절한 조사를 수행하고, 문헌고찰 결과에 미칠 수 있는 영향에 대해 고찰하였는가?		□ 예 ■ 아니오 □ 메타분석 없음
예 : □ 출판비뚤림에 대한 그래프 또는 통계적 검증을 수행하고 출판비뚤림의 유무와 영향 정도에 대해 고찰하였다.
16. 문헌고찰 저자는 문헌고찰 수행을 위한 자금지원을 포함하여 잠재적 이해상충에 대해 보고하였는가?		■ 예 □ 아니오	DECLARATIONS OF INTEREST • Kai J Shaikh: none known • Victor A Osio: none known • Nader Shaikh: none known • Mariska MG Leeflang: none known
예 : ■ 저자는 이해상충이 없다고 보고하였다. 또는 □ 저자가 자금원을 기술하였으며, 잠재적 이해상충을 관리한 방법을 보고하였다.

연번(Ref ID)	3(#211)
1저자(출판연도)	Jameson(2019)
질문		판단	판단근거
1. 체계적 문헌고찰의 연구질문과 포함기준에는 PICO의 구성요소가 포함되었는가?		■ 예 □ 아니오	P: UTI in older people I: diagnostic tests C: diagnostic tests O: diagnostic result
예 : ■ 인구집단(P) ■ 중재(I) ■ 비교군(C) ■ 중재결과(O)	선택(권고)사항 □ 추적관찰 시점
2. 체계적 문헌고찰 방법론이 실제 문헌고찰을 시행하기 전에 확립되었으며 보고서에는 프로토콜로부터 중대한 이탈이 있는 경우 이에 대한 정당화(합당한 이유)가 제시되었나?’		□ 예 □ 일부 예 ■ 아니오	프로토콜 없음
일부 예 : 저자는 아래 모두를 포함하는 서면 프로토콜 또는 가이드를 가지고 있다고 진술하고 있다. □ 문헌고찰 질문 □ 검색전략 □ 포함기준 □ 비뚤림위험 평가	일부 예에 더하여: 추가로 프로토콜이 등록되어 있고, 아래 사항이 명시되어있다. □ 해당되는 경우 메타분석/합성 계획, 그리고 □ 이질성 원인에 대한 조사 계획 □ 프로토콜 이탈에 대한 정당화(합당한 이유)
3. 문헌고찰 저자는 문헌고찰에 포함될 연구설계 선택에 대해 설명하였나?		■ 예 □ 아니오	The initial search identified 1079 papers, from which 26 papers describing 35 diagnostic tests were retained for review.
예: 아래 중 하나 충족: □ 무작위 배정 비교임상시험(RCT)만 포함하는 것에 대해 설명 □ 혹은, 중재 비무작위연구만(NRSI)만 포함하는 것에 대해 설명 □ 혹은, 무작위 배정 비교임상시험과 중재 비무작위 연구 모두를 포함하는 것에 대해 설명
4. 문헌고찰 저자는 포괄적인 문헌 검색 전략을 사용하였는가?		□ 예 ■ 일부 예 □ 아니오	Medline, EMBASE, Cochrane database of systematic reviews and CINAHL selected reviews were retained according to a priori inclusion and exclusion criteria, and then graded for quality using the CASP tool for reviews. 1. Urinary tract infections.mp. or exp Urinary Tract Infections/. 2. urinary infection*.mp. 3. uti.mp. 4. exp PYELONEPHRITIS/or pyelonephritis.mp. 5. 1 or 2 or 3 or 4. 6. exp Point-of-Care Testing/ 7. bedside test*.tw. 8. poct.tw. 9. “point of care test*”.tw. 10. near patient test*.tw. 11. rapid diagnostic test*.tw. 12. 6 or 7 or 8 or 9 or 10 or 11 13. 5 and 12 14. (review* or systematic or meta-analysis*).mp. [mp = title, abstract, original title, name of substance word, subject heading word, keyword heading word, protocol supplementary concept word, rare disease supplementary concept word, unique identifier, synonyms] 15. limit 13 to (English language and “review articles”) 16. 13 and 14 17. 15 or 16 18. limit 17 to English language -Studies were excluded if they met any of the following criteria: •Studies regarding the prevention of catheter-associated UTI. • Studies regarding cytology for possible cancer diagnosis. • Reviews focusing on specific causative organisms. • Coding studies. • Studies where haematuria was the only presenting complaint. • Studies regarding sexually transmitted diseases. • Studies regarding drug or other treatment modalities. • Original papers. • Studies investigating causes or risk factors for UTI, e.g. imaging for tract abnormalities. •Editorials or opinion pieces.
일부 예 (모두 포함해야 함): ■ 최소한 2개 이상의 (연구질문에 적합한) 데이터베이스를 검색하였다. ■ 키워드와 검색전략을 제시하였다. ■ 출판물 제한(예: 언어)에 대해 정당한 이유를 제시하였다.	예 : 모두 포함해야 함 □ 포함된 연구의 참고문헌 목록 검색 □ 임상시험/연구 레지스트리 검색 □ 해당 분야 내용 전문가를 포함하거나 자문을 받음 □ 해당되는 경우, 회색 문헌 검색 □ 문헌고찰 완료 24개월 이내에 검색 수행
5. 문헌고찰 저자는 연구 선택을 중복으로 수행하였는가?		■ 예 □ 아니오	Titles and abstracts of these reviews were screened by two reviewers (SC and MJ) and consensus was reached for each as to their compliance with the pre-determined inclusion/exclusion criteria. Reviewer agreement for the first 2 years of potential papers was tested on 27 papers, kappa 0.78 SD 0.19; 89% agreement; disagreements were resolved by discussion.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 독립적으로 적격 연구를 선택하고, 최종 포함여부를 합의하였다. ■ 혹은 두 명의 평가자가 일부 표본에 대해 적격연구를 선정하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 문헌 선정을 하였다.
6. 문헌고찰 저자는 자료추출을 중복으로 수행하였는가?		□ 예 ■ 아니오	The full text of retained articles was read to check eligibility inclusion criteria. The selected papers were read and near-patient tests mentioned within them were identified. Data regarding their diagnostic accuracy, including sensitivity, specificity, Positive/Negative Predictive Value (PPV/ NPV), Positive/Negative Likelihood Ratios (PLR/NLR) where included, were extracted by MJ.
예: 아래 중 하나 충족: □ 최소한 두 명의 평가자가 포함된 문헌의 어떤 자료를 추출할지에 대해 합의에 도달하였다. □ 또는 두 명의 평가자가 일부 적격 연구 표본에서 자료를 추출하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 자료 추출을 하였다.
7. 문헌고찰 저자는 배제 연구에 대한 목록과 합당한 배제사유를 제공하였는가?		□ 예 □ 일부 예 ■ 아니오
일부 예 : □ 전문까지 검토하였지만, 문헌고찰에서 배제된 연구에 대한 목록을 제시	예: 아래 사항도 충족 □ 잠재적으로 관련성이 있는 연구가 문헌 고찰에서 배제된 합당한 이유 제시
8. 문헌고찰저자는 포함된 연구들의 세부사항을 적절히 기술하였는가?		□ 예 ■ 일부 예 □ 아니오
일부 예 (아래 모두) □ 인구집단에 대한 기술 □ 중재에 대한 기술 □ 비교군에 대한 기술 □ 중재결과에 대한 기술 □ 연구설계에 대한 기술	예 : 아래 사항도 모두 충족 □ 인구집단 세부사항에 대한 기술 □ 중재 세부사항에 대한 기술(적절한 경우, 용량 포함) □ 비교군 세부사항에 대한 기술(적절한경우, 용량 포함) □ 연구 세팅에 대한 기술 □ 추적관찰의 시점
9. 문헌고찰저자는 문헌고찰에 포함된 개별 연구의 비뚤림위험(ROB)을 평가하기 위해 만족스러운 도구를 사용하였는가?		■ 예 □ 일부 예 □ 아니오 □ NRSI만 포함	A quality assessment of each retained review was carried out by the SC and MJ using the Critical Appraisal Skills Programme (CASP) Checklist for Review Articles.
RCTs 일부 예: 아래 모두에 대한 ROB 평가 □ 배정은폐, 그리고 □ 중재결과 평가시 환자 및 결과 평가자의 눈가림(모든 원인 사망률과 같은 객관적인 중재결과에는 불필요)	예: 아래에 대한 ROB 평가 □ 진정한 무작위 배정 순서, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택 여부
NRSI 일부 예: 아래에 대한 ROB 평가 □ 교란 □ 선택 비뚤림	예: 아래에 대한 ROB 평가 □ 노출과 중재결과 확인위해 사용한 방법, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택	□ 예 □ 일부 예 □ 아니오 □ RCT만 포함
10. 문헌고찰 저자는 고찰에 포함된 연구들의 자금 출처에 대해 보고하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 문헌고찰에 포함된 연구의 자금출처에 대해 보고해야 한다. 주 : 평가자가 살펴보았지만 일차연구 저자가 보고하지 않은 경우도 해당됨
11. 메타분석을 수행하였다면, 문헌고찰 저자는 이에 대한 합당한 이유를 제시하였고, 연구결과의 통계학적 결 합을 위해 적절한 방법을 사용하였는가?		□ 예 □ 아니오 ■ 메타분석 없음
RCTs 예 : □ 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 이질성의 원인에 대한 조사를 하였다
NRSI 예 : □ 저자는 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 NRSI의 교란변수를 보정한 효과추정치를 결합하였거나, 보정 효과 추정치를 결합할 수 없을 때만 원 자료를 결합하였다. □ 그리고 RCT와 NRSI 모두가 고찰에 포함되었을 때, 무작위 배정 비교임상시험과 중재 비무작위연구의 요약 추정치를 별도로 보고하였다.		□ 예 □ 아니오 ■ 메타분석 없음
12. 메타분석을 수행하였다면, 문헌고찰 저자는 개별 연구의 비뚤림위험이 메타분석 연구결과나 다른 근거 합성에 미칠 잠재적 영향을 평가하였는가?		□ 예 □ 아니오 ■ 메타분석 없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 다양한 비뚤림위험을 가진 RCT나 NRSI를 포함한 경우 효과의 요약 추정치에 비뚤림 위험이 어떤 영향을 미치는지 조사하였다.
13. 문헌고찰저자는 고찰 결과를 해석/논의할 때 개별 연구의 비뚤림위험을 고려하였는가?		□ 예 ■ 아니오
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 RCT에 중등도 이상의 비뚤림위험이 있거나 문헌고찰에 NRSI를 포함한 경우에 비뚤림위험이 연구결과에 어떤 영향을 미쳤는지에 대해 고찰하였다
14. 문헌고찰저자는 연구결과에서 발견된 이질성에 대해 만족스러운 설명과 고찰을 하였는가?		□ 예 ■ 아니오
예 : □ 연구결과에서 유의미한 이질성이 없었다. □ 또는 이질성이 있는 경우, 이질성의 원인에 대해 조사하고, 이질성이 문헌고찰 연구결과에 미치는 영향에 대해 논의하였다.
15. 양적 합성을 하였다면, 문헌고찰저자는 출판비뚤림(소규모연구 비뚤림)에 대한 적절한 조사를 수행하고, 문헌고찰 결과에 미칠 수 있는 영향에 대해 고찰하였는가?		□ 예 □ 아니오 ■ 메타분석 없음
예 : □ 출판비뚤림에 대한 그래프 또는 통계적 검증을 수행하고 출판비뚤림의 유무와 영향 정도에 대해 고찰하였다.
16. 문헌고찰 저자는 문헌고찰 수행을 위한 자금지원을 포함하여 잠재적 이해상충에 대해 보고하였는가?		■ 예 □ 아니오	Conflict of interest The authors have no conflict of interest to declare.
예 : □ 저자는 이해상충이 없다고 보고하였다. 또는 □ 저자가 자금원을 기술하였으며, 잠재적 이해상충을 관리한 방법을 보고하였다.

연번(Ref ID)	4(#248)
1저자(출판연도)	Lapic(2020)
질문		판단	판단근거
1. 체계적 문헌고찰의 연구질문과 포함기준에는 PICO의 구성요소가 포함되었는가?		□ 예 □ 아니오	P: acute inflammation. I: ESR C: CRP O: To assess the diagnostic accuracy
예 : ■ 인구집단(P) ■ 중재(I) ■ 비교군(C) ■ 중재결과(O)	선택(권고)사항 □ 추적관찰 시점
2. 체계적 문헌고찰 방법론이 실제 문헌고찰을 시행하기 전에 확립되었으며 보고서에는 프로토콜로부터 중대한 이탈이 있는 경우 이에 대한 정당화(합당한 이유)가 제시되었나?’		□ 예 □ 일부 예 ■ 아니오	프로토콜 없음
일부 예 : 저자는 아래 모두를 포함하는 서면 프로토콜 또는 가이드를 가지고 있다고 진술하고 있다. □ 문헌고찰 질문 □ 검색전략 □ 포함기준 □ 비뚤림위험 평가	일부 예에 더하여: 추가로 프로토콜이 등록되어 있고, 아래 사항이 명시되어있다. □ 해당되는 경우 메타분석/합성 계획, 그리고 □ 이질성 원인에 대한 조사 계획 □ 프로토콜 이탈에 대한 정당화(합당한 이유)
3. 문헌고찰 저자는 문헌고찰에 포함될 연구설계 선택에 대해 설명하였나?		■ 예 □ 아니오	Overall, 29 studies were finally selected for meta-analysis, all reporting data on diagnostic sensitivity and specificity of ESR and CRP or providing data for their calculation.
예: 아래 중 하나 충족: □ 무작위 배정 비교임상시험(RCT)만 포함하는 것에 대해 설명 □ 혹은, 중재 비무작위연구만(NRSI)만 포함하는 것에 대해 설명 □ 혹은, 무작위 배정 비교임상시험과 중재 비무작위 연구 모두를 포함하는 것에 대해 설명
4. 문헌고찰 저자는 포괄적인 문헌 검색 전략을 사용하였는가?		□ 예 ■ 일부 예 □ 아니오	A systematic electronic search was conducted via MEDLINE (PubMed) and Scopus up to February 2019, with no date and study size restriction, to retrieve studies that assessed the diagnostic accuracy of both ESR and CRP as index tests in an adult or a pediatric population for the diagnosis of acute location-confined or systemic inflammation of mild or moderate degree. The terms searched were “erythrocyte sedimentation rate AND C-reactive protein.” (1) the study did not address the research question, (2) it was not a diagnostic accuracy study, (3) it was not in English, (4) it was not an original article, (5) not all data required for the study were available, (6) no full text was available online from archives at our university library or other sources such as Researchgate, and (7) the study used biological matrices other than blood.
일부 예 (모두 포함해야 함): ■ 최소한 2개 이상의 (연구질문에 적합한) 데이터베이스를 검색하였다. ■ 키워드와 검색전략을 제시하였다. ■ 출판물 제한(예: 언어)에 대해 정당한 이유를 제시하였다.	예 : 모두 포함해야 함 □ 포함된 연구의 참고문헌 목록 검색 □ 임상시험/연구 레지스트리 검색 □ 해당 분야 내용 전문가를 포함하거나 자문을 받음 □ 해당되는 경우, 회색 문헌 검색 □ 문헌고찰 완료 24개월 이내에 검색 수행
5. 문헌고찰 저자는 연구 선택을 중복으로 수행하였는가?		■ 예 □ 아니오	First, two reviewers (I.L. and A.P.) independently performed screening of titles and abstracts of all studies resulting from the search to identify potentially relevant articles. Afterward, the two authors reviewed the full texts of the remaining articles to assess if they were eligible for the study and finally selected articles qualified for inclusion.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 독립적으로 적격 연구를 선택하고, 최종 포함여부를 합의하였다. □ 혹은 두 명의 평가자가 일부 표본에 대해 적격연구를 선정하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 문헌 선정을 하였다.
6. 문헌고찰 저자는 자료추출을 중복으로 수행하였는가?		□ 예 ■ 아니오
예: 아래 중 하나 충족: □ 최소한 두 명의 평가자가 포함된 문헌의 어떤 자료를 추출할지에 대해 합의에 도달하였다. □ 또는 두 명의 평가자가 일부 적격 연구 표본에서 자료를 추출하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 자료 추출을 하였다.
7. 문헌고찰 저자는 배제 연구에 대한 목록과 합당한 배제사유를 제공하였는가?		□ 예 □ 일부 예 ■ 아니오
일부 예 : □ 전문까지 검토하였지만, 문헌고찰에서 배제된 연구에 대한 목록을 제시	예: 아래 사항도 충족 □ 잠재적으로 관련성이 있는 연구가 문헌 고찰에서 배제된 합당한 이유 제시
8. 문헌고찰저자는 포함된 연구들의 세부사항을 적절히 기술하였는가?		□ 예 ■ 일부 예 □ 아니오
일부 예 (아래 모두) □ 인구집단에 대한 기술 □ 중재에 대한 기술 □ 비교군에 대한 기술 □ 중재결과에 대한 기술 □ 연구설계에 대한 기술	예 : 아래 사항도 모두 충족 □ 인구집단 세부사항에 대한 기술 □ 중재 세부사항에 대한 기술(적절한 경우, 용량 포함) □ 비교군 세부사항에 대한 기술(적절한경우, 용량 포함) □ 연구 세팅에 대한 기술 □ 추적관찰의 시점
9. 문헌고찰저자는 문헌고찰에 포함된 개별 연구의 비뚤림위험(ROB)을 평가하기 위해 만족스러운 도구를 사용하였는가?		■ 예 □ 일부 예 □ 아니오 □ NRSI만 포함	Articles were screened for methodologic quality by two independent reviewers (I.L. and A.P.) according to the Quality Assessment of the Diagnostic Accuracy Studies– Revised criteria (QUADAS-2), a structured questionnaire used to evaluate the quality of primary diagnostic accuracy studies.
RCTs 일부 예: 아래 모두에 대한 ROB 평가 □ 배정은폐, 그리고 □ 중재결과 평가시 환자 및 결과 평가자의 눈가림(모든 원인 사망률과 같은 객관적인 중재결과에는 불필요)	예: 아래에 대한 ROB 평가 □ 진정한 무작위 배정 순서, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택 여부
NRSI 일부 예: 아래에 대한 ROB 평가 □ 교란 □ 선택 비뚤림	예: 아래에 대한 ROB 평가 □ 노출과 중재결과 확인위해 사용한 방법, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택	□ 예 □ 일부 예 □ 아니오 □ RCT만 포함
10. 문헌고찰 저자는 고찰에 포함된 연구들의 자금 출처에 대해 보고하였는가?		□ 예 ■ 아니오
예 : □ 문헌고찰에 포함된 연구의 자금출처에 대해 보고해야 한다. 주 : 평가자가 살펴보았지만 일차연구 저자가 보고하지 않은 경우도 해당됨
11. 메타분석을 수행하였다면, 문헌고찰 저자는 이에 대한 합당한 이유를 제시하였고, 연구결과의 통계학적 결 합을 위해 적절한 방법을 사용하였는가?		■ 예 □ 아니오 □ 메타분석 없음
RCTs 예 : □ 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 이질성의 원인에 대한 조사를 하였다
NRSI 예 : □ 저자는 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 NRSI의 교란변수를 보정한 효과추정치를 결합하였거나, 보정 효과 추정치를 결합할 수 없을 때만 원 자료를 결합하였다. □ 그리고 RCT와 NRSI 모두가 고찰에 포함되었을 때, 무작위 배정 비교임상시험과 중재 비무작위연구의 요약 추정치를 별도로 보고하였다.		□ 예 □ 아니오 □ 메타분석 없음
12. 메타분석을 수행하였다면, 문헌고찰 저자는 개별 연구의 비뚤림위험이 메타분석 연구결과나 다른 근거 합성에 미칠 잠재적 영향을 평가하였는가?		□ 예 ■ 아니오 □ 메타분석 없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 다양한 비뚤림위험을 가진 RCT나 NRSI를 포함한 경우 효과의 요약 추정치에 비뚤림 위험이 어떤 영향을 미치는지 조사하였다.
13. 문헌고찰저자는 고찰 결과를 해석/논의할 때 개별 연구의 비뚤림위험을 고려하였는가?		□ 예 ■ 아니오
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 RCT에 중등도 이상의 비뚤림위험이 있거나 문헌고찰에 NRSI를 포함한 경우에 비뚤림위험이 연구결과에 어떤 영향을 미쳤는지에 대해 고찰하였다
14. 문헌고찰저자는 연구결과에서 발견된 이질성에 대해 만족스러운 설명과 고찰을 하였는가?		■ 예 □ 아니오	The high heterogeneity of diagnostic accuracy for ESR is in part related to the analytical reliability and the lack of harmonization between methods used in clinical practice.
예 : □ 연구결과에서 유의미한 이질성이 없었다. ■ 또는 이질성이 있는 경우, 이질성의 원인에 대해 조사하고, 이질성이 문헌고찰 연구결과에 미치는 영향에 대해 논의하였다.
15. 양적 합성을 하였다면, 문헌고찰저자는 출판비뚤림(소규모연구 비뚤림)에 대한 적절한 조사를 수행하고, 문헌고찰 결과에 미칠 수 있는 영향에 대해 고찰하였는가?		■ 예 □ 아니오 □ 메타분석 없음	Analysis of publication bias yielded a nonsignificant regression coefficient (bias = –10.2, P = .232).
예 : □ 출판비뚤림에 대한 그래프 또는 통계적 검증을 수행하고 출판비뚤림의 유무와 영향 정도에 대해 고찰하였다.
16. 문헌고찰 저자는 문헌고찰 수행을 위한 자금지원을 포함하여 잠재적 이해상충에 대해 보고하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 저자는 이해상충이 없다고 보고하였다. 또는 □ 저자가 자금원을 기술하였으며, 잠재적 이해상충을 관리한 방법을 보고하였다.

연번(Ref ID)	5(#449)
1저자(출판연도)	Van den Bruel(2011)
질문		판단	판단근거
1. 체계적 문헌고찰의 연구질문과 포함기준에는 PICO의 구성요소가 포함되었는가?		■ 예 □ 아니오	P: children aged between 1 month and 18 years I&C: possible triage tests in ambulatory care(laboratory tests available for near-patient testing ) O: serious infection
예 : ■ 인구집단(P) ■ 중재(I) ■ 비교군(C) ■ 중재결과(O)	선택(권고)사항 □ 추적관찰 시점
2. 체계적 문헌고찰 방법론이 실제 문헌고찰을 시행하기 전에 확립되었으며 보고서에는 프로토콜로부터 중대한 이탈이 있는 경우 이에 대한 정당화(합당한 이유)가 제시되었나?’		□ 예 □ 일부 예 ■ 아니오	언급없음
일부 예 : 저자는 아래 모두를 포함하는 서면 프로토콜 또는 가이드를 가지고 있다고 진술하고 있다. □ 문헌고찰 질문 □ 검색전략 □ 포함기준 □ 비뚤림위험 평가	일부 예에 더하여: 추가로 프로토콜이 등록되어 있고, 아래 사항이 명시되어있다. □ 해당되는 경우 메타분석/합성 계획, 그리고 □ 이질성 원인에 대한 조사 계획 □ 프로토콜 이탈에 대한 정당화(합당한 이유)
3. 문헌고찰 저자는 문헌고찰에 포함될 연구설계 선택에 대해 설명하였나?		■ 예 □ 아니오	Studies that assessed diagnostic accuracy or derived prediction rules were selected. Narrative reviews, letters, editorials, comments, and case series of less than 20 patients were excluded.
예: 아래 중 하나 충족: □ 무작위 배정 비교임상시험(RCT)만 포함하는 것에 대해 설명 □ 혹은, 중재 비무작위연구만(NRSI)만 포함하는 것에 대해 설명 □ 혹은, 무작위 배정 비교임상시험과 중재 비무작위 연구 모두를 포함하는 것에 대해 설명
4. 문헌고찰 저자는 포괄적인 문헌 검색 전략을 사용하였는가?		■ 예 □ 일부 예 □ 아니오	e searched the literature electronically in Medline, Embase, DARE, and CINAHL, using search terms relating to serious infections, children, clinical and laboratory tests, and ambulatory care (see web extra annex 1). In addition, a snowballing strategy included checking the reference lists of included studies, systematic reviews, and relevant National Institute for Health and Clinical Excellence guidelines, and consultation with experts. Additionally, domain experts (European Research Network on Recognising Serious Infection investigators) were asked to review the list of studies identifi ed and to report any obvious omissions. No language restrictions were applied. (figure 1) update 2009 기술
일부 예 (모두 포함해야 함): ■ 최소한 2개 이상의 (연구질문에 적합한) 데이터베이스를 검색하였다. ■ 키워드와 검색전략을 제시하였다. ■ 출판물 제한(예: 언어)에 대해 정당한 이유를 제시하였다.	예 : 모두 포함해야 함 ■ 포함된 연구의 참고문헌 목록 검색 ■ 임상시험/연구 레지스트리 검색 ■ 해당 분야 내용 전문가를 포함하거나 자문을 받음 ■ 해당되는 경우, 회색 문헌 검색 ■ 문헌고찰 완료 24개월 이내에 검색 수행
5. 문헌고찰 저자는 연구 선택을 중복으로 수행하였는가?		■ 예 □ 아니오	Two independent reviewers (AVDB and TH-H) carried out the selection. A third independent reviewer (MJT) resolved discrepancies.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 독립적으로 적격 연구를 선택하고, 최종 포함여부를 합의하였다. □ 혹은 두 명의 평가자가 일부 표본에 대해 적격연구를 선정하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 문헌 선정을 하였다.
6. 문헌고찰 저자는 자료추출을 중복으로 수행하였는가?		■ 예 □ 아니오	Data were extracted by one reviewer (AVDB) and checked by a second reviewer (TH-H)
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 포함된 문헌의 어떤 자료를 추출할지에 대해 합의에 도달하였다. □ 또는 두 명의 평가자가 일부 적격 연구 표본에서 자료를 추출하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 자료 추출을 하였다.
7. 문헌고찰 저자는 배제 연구에 대한 목록과 합당한 배제사유를 제공하였는가?		□ 예 ■ 일부 예 □ 아니오	figure 1
일부 예 : ■ 전문까지 검토하였지만, 문헌고찰에서 배제된 연구에 대한 목록을 제시	예: 아래 사항도 충족 □ 잠재적으로 관련성이 있는 연구가 문헌 고찰에서 배제된 합당한 이유 제시
8. 문헌고찰저자는 포함된 연구들의 세부사항을 적절히 기술하였는가?		□ 예 ■ 일부 예 □ 아니오	table 1
일부 예 (아래 모두) ■ 인구집단에 대한 기술 ■ 중재에 대한 기술 ■ 비교군에 대한 기술 ■ 중재결과에 대한 기술 □ 연구설계에 대한 기술	예 : 아래 사항도 모두 충족 □ 인구집단 세부사항에 대한 기술 □ 중재 세부사항에 대한 기술(적절한 경우, 용량 포함) □ 비교군 세부사항에 대한 기술(적절한경우, 용량 포함) □ 연구 세팅에 대한 기술 □ 추적관찰의 시점
9. 문헌고찰저자는 문헌고찰에 포함된 개별 연구의 비뚤림위험(ROB)을 평가하기 위해 만족스러운 도구를 사용하였는가?		■ 예 □ 일부 예 □ 아니오 □ NRSI만 포함	QUADAS instrument to assess the quality of selected articles.
RCTs 일부 예: 아래 모두에 대한 ROB 평가 □ 배정은폐, 그리고 □ 중재결과 평가시 환자 및 결과 평가자의 눈가림(모든 원인 사망률과 같은 객관적인 중재결과에는 불필요)	예: 아래에 대한 ROB 평가 □ 진정한 무작위 배정 순서, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택 여부
NRSI 일부 예: 아래에 대한 ROB 평가 □ 교란 □ 선택 비뚤림	예: 아래에 대한 ROB 평가 □ 노출과 중재결과 확인위해 사용한 방법, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택	□ 예 □ 일부 예 □ 아니오 □ RCT만 포함
10. 문헌고찰 저자는 고찰에 포함된 연구들의 자금 출처에 대해 보고하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 문헌고찰에 포함된 연구의 자금출처에 대해 보고해야 한다. 주 : 평가자가 살펴보았지만 일차연구 저자가 보고하지 않은 경우도 해당됨
11. 메타분석을 수행하였다면, 문헌고찰 저자는 이에 대한 합당한 이유를 제시하였고, 연구결과의 통계학적 결 합을 위해 적절한 방법을 사용하였는가?		□ 예 ■ 아니오 □ 메타분석 없음	Meta-analysis was carried out when at least four different studies were available for a particular laboratory test, using the bivariate random effects method in Stata v9.2, which measures and accounts for any statistical heterogeneity in sensitivity and specificity between studies on the logit scale.
RCTs 예 : ■ 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. ■ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 이질성의 원인에 대한 조사를 하였다
NRSI 예 : □ 저자는 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 NRSI의 교란변수를 보정한 효과추정치를 결합하였거나, 보정 효과 추정치를 결합할 수 없을 때만 원 자료를 결합하였다. □ 그리고 RCT와 NRSI 모두가 고찰에 포함되었을 때, 무작위 배정 비교임상시험과 중재 비무작위연구의 요약 추정치를 별도로 보고하였다.		□ 예 □ 아니오 □ 메타분석 없음
12. 메타분석을 수행하였다면, 문헌고찰 저자는 개별 연구의 비뚤림위험이 메타분석 연구결과나 다른 근거 합성에 미칠 잠재적 영향을 평가하였는가?		□ 예 ■ 아니오 □ 메타분석 없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 다양한 비뚤림위험을 가진 RCT나 NRSI를 포함한 경우 효과의 요약 추정치에 비뚤림 위험이 어떤 영향을 미치는지 조사하였다.
13. 문헌고찰저자는 고찰 결과를 해석/논의할 때 개별 연구의 비뚤림위험을 고려하였는가?		■ 예 □ 아니오
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. ■ 또는 RCT에 중등도 이상의 비뚤림위험이 있거나 문헌고찰에 NRSI를 포함한 경우에 비뚤림위험이 연구결과에 어떤 영향을 미쳤는지에 대해 고찰하였다
14. 문헌고찰저자는 연구결과에서 발견된 이질성에 대해 만족스러운 설명과 고찰을 하였는가?		■ 예 □ 아니오	Meta-analysis of white blood cell count was not possible owing to heterogeneity. Although heterogeneity prevented reliable estimates of pooled likelihood ratios for each cut-off value, the shapes of the curves in the figure illustrate that there is a trade-off in sensitivity and specificity according to the cut-off level selected.
예 : □ 연구결과에서 유의미한 이질성이 없었다. ■ 또는 이질성이 있는 경우, 이질성의 원인에 대해 조사하고, 이질성이 문헌고찰 연구결과에 미치는 영향에 대해 논의하였다.
15. 양적 합성을 하였다면, 문헌고찰저자는 출판비뚤림(소규모연구 비뚤림)에 대한 적절한 조사를 수행하고, 문헌고찰 결과에 미칠 수 있는 영향에 대해 고찰하였는가?		□ 예 ■ 아니오 □ 메타분석 없음
예 : □ 출판비뚤림에 대한 그래프 또는 통계적 검증을 수행하고 출판비뚤림의 유무와 영향 정도에 대해 고찰하였다.
16. 문헌고찰 저자는 문헌고찰 수행을 위한 자금지원을 포함하여 잠재적 이해상충에 대해 보고하였는가?		■ 예 □ 아니오	This study was funded by the Health Technology Assessment project 07/37/05 (Systematic review and validation of clinical prediction rules for identifying children with serious infections in emergency departments and urgent-access primary care) and the National Institute for Health Research’s National School for Primary Care Research. no support from any organisation for the submitted work; no financial relationships with any organisations that might have an interest in the submitted work in the previous three years; no other relationships or activities that could appear to have influenced the submitted work.
예 : ■ 저자는 이해상충이 없다고 보고하였다. 또는 ■ 저자가 자금원을 기술하였으며, 잠재적 이해상충을 관리한 방법을 보고하였다.

연번(Ref ID)	6(#443)
1저자(출판연도)	Trippella(2018)
질문		판단	판단근거
1. 체계적 문헌고찰의 연구질문과 포함기준에는 PICO의 구성요소가 포함되었는가?		■ 예 □ 아니오	to evaluate recent literature studies regarding the diagnostic performance(O) of inflam-matory biomarkers(I,C) in children with fever without apparent source (FWAS)(P) and their possible impact on clinical decision-making.
예 : ■ 인구집단(P) ■ 중재(I) ■ 비교군(C) ■ 중재결과(O)	선택(권고)사항 □ 추적관찰 시점
2. 체계적 문헌고찰 방법론이 실제 문헌고찰을 시행하기 전에 확립되었으며 보고서에는 프로토콜로부터 중대한 이탈이 있는 경우 이에 대한 정당화(합당한 이유)가 제시되었나?’		□ 예 □ 일부 예 ■ 아니오	언급없음
일부 예 : 저자는 아래 모두를 포함하는 서면 프로토콜 또는 가이드를 가지고 있다고 진술하고 있다. □ 문헌고찰 질문 □ 검색전략 □ 포함기준 □ 비뚤림위험 평가	일부 예에 더하여: 추가로 프로토콜이 등록되어 있고, 아래 사항이 명시되어있다. □ 해당되는 경우 메타분석/합성 계획, 그리고 □ 이질성 원인에 대한 조사 계획 □ 프로토콜 이탈에 대한 정당화(합당한 이유)
3. 문헌고찰 저자는 문헌고찰에 포함될 연구설계 선택에 대해 설명하였나?		□ 예 ■ 아니오	언급없음
예: 아래 중 하나 충족: □ 무작위 배정 비교임상시험(RCT)만 포함하는 것에 대해 설명 □ 혹은, 중재 비무작위연구만(NRSI)만 포함하는 것에 대해 설명 □ 혹은, 무작위 배정 비교임상시험과 중재 비무작위 연구 모두를 포함하는 것에 대해 설명
4. 문헌고찰 저자는 포괄적인 문헌 검색 전략을 사용하였는가?		□ 예 □ 일부 예 ■ 아니오	A research of the Pubmed database was performed to review. Search terms, limited in title or abstract, were: (fever OR febrile) AND (infants OR child OR children) AND (serious infections OR point of care OR crp OR c-reactive protein OR procalcitonin OR esr OR wbc). Reviewed papers were in English and have been published in the last 5 years. The bibliographies of relevant articles were further crosschecked.
일부 예 (모두 포함해야 함): □ 최소한 2개 이상의 (연구질문에 적합한) 데이터베이스를 검색하였다. ■ 키워드와 검색전략을 제시하였다. ■ 출판물 제한(예: 언어)에 대해 정당한 이유를 제시하였다.	예 : 모두 포함해야 함 ■ 포함된 연구의 참고문헌 목록 검색 □ 임상시험/연구 레지스트리 검색 □ 해당 분야 내용 전문가를 포함하거나 자문을 받음 □ 해당되는 경우, 회색 문헌 검색 □ 문헌고찰 완료 24개월 이내에 검색 수행
5. 문헌고찰 저자는 연구 선택을 중복으로 수행하였는가?		□ 예 ■ 아니오	언급없음
예: 아래 중 하나 충족: □ 최소한 두 명의 평가자가 독립적으로 적격 연구를 선택하고, 최종 포함여부를 합의하였다. □ 혹은 두 명의 평가자가 일부 표본에 대해 적격연구를 선정하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 문헌 선정을 하였다.
6. 문헌고찰 저자는 자료추출을 중복으로 수행하였는가?		□ 예 ■ 아니오	언급없음
예: 아래 중 하나 충족: □ 최소한 두 명의 평가자가 포함된 문헌의 어떤 자료를 추출할지에 대해 합의에 도달하였다. □ 또는 두 명의 평가자가 일부 적격 연구 표본에서 자료를 추출하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 자료 추출을 하였다.
7. 문헌고찰 저자는 배제 연구에 대한 목록과 합당한 배제사유를 제공하였는가?		□ 예 □ 일부 예 ■ 아니오	목록제시하지 않음 firue 1에서도 배제사유는 있으나 배제사유에 따른 문헌건수 정보 없음
일부 예 : □ 전문까지 검토하였지만, 문헌고찰에서 배제된 연구에 대한 목록을 제시	예: 아래 사항도 충족 □ 잠재적으로 관련성이 있는 연구가 문헌 고찰에서 배제된 합당한 이유 제시
8. 문헌고찰저자는 포함된 연구들의 세부사항을 적절히 기술하였는가?		□ 예 ■ 일부 예 □ 아니오	table 1
일부 예 (아래 모두) ■ 인구집단에 대한 기술 ■ 중재에 대한 기술 ■ 비교군에 대한 기술 ■ 중재결과에 대한 기술 ■ 연구설계에 대한 기술	예 : 아래 사항도 모두 충족 □ 인구집단 세부사항에 대한 기술 □ 중재 세부사항에 대한 기술(적절한 경우, 용량 포함) □ 비교군 세부사항에 대한 기술(적절한경우, 용량 포함) ■ 연구 세팅에 대한 기술 □ 추적관찰의 시점
9. 문헌고찰저자는 문헌고찰에 포함된 개별 연구의 비뚤림위험(ROB)을 평가하기 위해 만족스러운 도구를 사용하였는가?		□ 예 □ 일부 예 ■ 아니오 □ NRSI만 포함	비뚤림위험평가 수행하지 않음
RCTs 일부 예: 아래 모두에 대한 ROB 평가 □ 배정은폐, 그리고 □ 중재결과 평가시 환자 및 결과 평가자의 눈가림(모든 원인 사망률과 같은 객관적인 중재결과에는 불필요)	예: 아래에 대한 ROB 평가 □ 진정한 무작위 배정 순서, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택 여부
NRSI 일부 예: 아래에 대한 ROB 평가 □ 교란 □ 선택 비뚤림	예: 아래에 대한 ROB 평가 □ 노출과 중재결과 확인위해 사용한 방법, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택	□ 예 □ 일부 예 □ 아니오 □ RCT만 포함
10. 문헌고찰 저자는 고찰에 포함된 연구들의 자금 출처에 대해 보고하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 문헌고찰에 포함된 연구의 자금출처에 대해 보고해야 한다. 주 : 평가자가 살펴보았지만 일차연구 저자가 보고하지 않은 경우도 해당됨
11. 메타분석을 수행하였다면, 문헌고찰 저자는 이에 대한 합당한 이유를 제시하였고, 연구결과의 통계학적 결 합을 위해 적절한 방법을 사용하였는가?		□ 예 □ 아니오 ■ 메타분석 없음
RCTs 예 : □ 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 이질성의 원인에 대한 조사를 하였다
NRSI 예 : □ 저자는 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 NRSI의 교란변수를 보정한 효과추정치를 결합하였거나, 보정 효과 추정치를 결합할 수 없을 때만 원 자료를 결합하였다. □ 그리고 RCT와 NRSI 모두가 고찰에 포함되었을 때, 무작위 배정 비교임상시험과 중재 비무작위연구의 요약 추정치를 별도로 보고하였다.		□ 예 □ 아니오 □ 메타분석 없음
12. 메타분석을 수행하였다면, 문헌고찰 저자는 개별 연구의 비뚤림위험이 메타분석 연구결과나 다른 근거 합성에 미칠 잠재적 영향을 평가하였는가?		□ 예 □ 아니오 ■ 메타분석 없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 다양한 비뚤림위험을 가진 RCT나 NRSI를 포함한 경우 효과의 요약 추정치에 비뚤림 위험이 어떤 영향을 미치는지 조사하였다.
13. 문헌고찰저자는 고찰 결과를 해석/논의할 때 개별 연구의 비뚤림위험을 고려하였는가?		□ 예 ■ 아니오
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 RCT에 중등도 이상의 비뚤림위험이 있거나 문헌고찰에 NRSI를 포함한 경우에 비뚤림위험이 연구결과에 어떤 영향을 미쳤는지에 대해 고찰하였다
14. 문헌고찰저자는 연구결과에서 발견된 이질성에 대해 만족스러운 설명과 고찰을 하였는가?		■ 예 □ 아니오	The reviewed studies showed important differences that hinder the interpretation and the generalisability of find-ings. Biomarker research studies widely differed in respect to their inclusion criteria for patients, settings, test methodologies and definition of SBI/IBI. Different cut-off values have been used to analyse and compare diagnostic performances of biomarkers andfor each biomarker the range of cut off values was wide. Accordingly, sensitivity and specificity also varied widely among the studies.
예 : □ 연구결과에서 유의미한 이질성이 없었다. ■ 또는 이질성이 있는 경우, 이질성의 원인에 대해 조사하고, 이질성이 문헌고찰 연구결과에 미치는 영향에 대해 논의하였다.
15. 양적 합성을 하였다면, 문헌고찰저자는 출판비뚤림(소규모연구 비뚤림)에 대한 적절한 조사를 수행하고, 문헌고찰 결과에 미칠 수 있는 영향에 대해 고찰하였는가?		□ 예 □ 아니오 ■ 메타분석 없음
예 : □ 출판비뚤림에 대한 그래프 또는 통계적 검증을 수행하고 출판비뚤림의 유무와 영향 정도에 대해 고찰하였다.
16. 문헌고찰 저자는 문헌고찰 수행을 위한 자금지원을 포함하여 잠재적 이해상충에 대해 보고하였는가?		□ 예 ■ 아니오	No potential conflict of interest was reported by the authors.
예 : □ 저자는 이해상충이 없다고 보고하였다. 또는 □ 저자가 자금원을 기술하였으며, 잠재적 이해상충을 관리한 방법을 보고하였다.

연번(Ref ID)	7(#173)
1저자(출판연도)	Gunaratnam(2021)
질문		판단	판단근거
1. 체계적 문헌고찰의 연구질문과 포함기준에는 PICO의 구성요소가 포함되었는가?		■ 예 □ 아니오	Types of Participants Types of Interventions(comparators 내용포함) Types of Outcome Measures
예 : ■ 인구집단(P) ■ 중재(I) ■ 비교군(C) ■ 중재결과(O)	선택(권고)사항 □ 추적관찰 시점
2. 체계적 문헌고찰 방법론이 실제 문헌고찰을 시행하기 전에 확립되었으며 보고서에는 프로토콜로부터 중대한 이탈이 있는 경우 이에 대한 정당화(합당한 이유)가 제시되었나?’		□ 예 □ 일부 예 ■ 아니오	프로토콜 없음
일부 예 : 저자는 아래 모두를 포함하는 서면 프로토콜 또는 가이드를 가지고 있다고 진술하고 있다. □ 문헌고찰 질문 □ 검색전략 □ 포함기준 □ 비뚤림위험 평가	일부 예에 더하여: 추가로 프로토콜이 등록되어 있고, 아래 사항이 명시되어있다. □ 해당되는 경우 메타분석/합성 계획, 그리고 □ 이질성 원인에 대한 조사 계획 □ 프로토콜 이탈에 대한 정당화(합당한 이유)
3. 문헌고찰 저자는 문헌고찰에 포함될 연구설계 선택에 대해 설명하였나?		■ 예 □ 아니오	진단법평가연구로 QUADAS-2로 비뚤림위험평가함
예: 아래 중 하나 충족: □ 무작위 배정 비교임상시험(RCT)만 포함하는 것에 대해 설명 □ 혹은, 중재 비무작위연구만(NRSI)만 포함하는 것에 대해 설명 □ 혹은, 무작위 배정 비교임상시험과 중재 비무작위 연구 모두를 포함하는 것에 대해 설명
4. 문헌고찰 저자는 포괄적인 문헌 검색 전략을 사용하였는가?		□ 예 ■ 일부 예 □ 아니오	A librarian-directed search was conducted of the electronic databases MEDLINE (1946 to May 2020), EMBASE (1974 to May 2020), CENTRAL (inception to present), and Global Health (1920-2020) in May 2020 using the search terms shown in Supplementary Figure 2. Ongoing trials were sought at ClinicalTrails.gov and at the World Health Organization International Clinical Trials Registry Platform (search performed August 2018 but could not be updated in 2020 as the portal was temporarily not accessible due to COVID-19 traffic). There were no language or format restrictions. Reference lists of included articles were hand-searched.
일부 예 (모두 포함해야 함): ■ 최소한 2개 이상의 (연구질문에 적합한) 데이터베이스를 검색하였다. ■ 키워드와 검색전략을 제시하였다. ■ 출판물 제한(예: 언어)에 대해 정당한 이유를 제시하였다.	예 : 모두 포함해야 함 ■ 포함된 연구의 참고문헌 목록 검색 □ 임상시험/연구 레지스트리 검색 □ 해당 분야 내용 전문가를 포함하거나 자문을 받음 □ 해당되는 경우, 회색 문헌 검색 □ 문헌고찰 완료 24개월 이내에 검색 수행
5. 문헌고찰 저자는 연구 선택을 중복으로 수행하였는가?		■ 예 □ 아니오	Two independent reviewers (L.C.G., J.L.R.) screened the articles for inclusion, first by title and abstract and then by full text. Disagreements were resolved by consensus.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 독립적으로 적격 연구를 선택하고, 최종 포함여부를 합의하였다. □ 혹은 두 명의 평가자가 일부 표본에 대해 적격연구를 선정하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 문헌 선정을 하였다.
6. 문헌고찰 저자는 자료추출을 중복으로 수행하였는가?		■ 예 □ 아니오	Two investigators (L.C.G., J.L.R.) extracted data pertaining to study design, clinical setting, participants, target condition, reference standards, index test, cutoff value, comparator test(s), and outcomes (sensitivities and specificities) onto a standardized form. Disagreements were resolved by consensus between the 2 reviewers.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 포함된 문헌의 어떤 자료를 추출할지에 대해 합의에 도달하였다. □ 또는 두 명의 평가자가 일부 적격 연구 표본에서 자료를 추출하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 자료 추출을 하였다.
7. 문헌고찰 저자는 배제 연구에 대한 목록과 합당한 배제사유를 제공하였는가?		□ 예 □ 일부 예 ■ 아니오
일부 예 : □ 전문까지 검토하였지만, 문헌고찰에서 배제된 연구에 대한 목록을 제시	예: 아래 사항도 충족 □ 잠재적으로 관련성이 있는 연구가 문헌 고찰에서 배제된 합당한 이유 제시
8. 문헌고찰저자는 포함된 연구들의 세부사항을 적절히 기술하였는가?		□ 예 ■ 일부 예 □ 아니오	Supplement.
일부 예 (아래 모두) ■ 인구집단에 대한 기술 ■ 중재에 대한 기술 ■ 비교군에 대한 기술 ■ 중재결과에 대한 기술 ■ 연구설계에 대한 기술	예 : 아래 사항도 모두 충족 □ 인구집단 세부사항에 대한 기술 □ 중재 세부사항에 대한 기술(적절한 경우, 용량 포함) □ 비교군 세부사항에 대한 기술(적절한경우, 용량 포함) □ 연구 세팅에 대한 기술 □ 추적관찰의 시점
9. 문헌고찰저자는 문헌고찰에 포함된 개별 연구의 비뚤림위험(ROB)을 평가하기 위해 만족스러운 도구를 사용하였는가?		■ 예 □ 일부 예 □ 아니오 □ NRSI만 포함	Each study was assessed for risk of bias and applicability using QUADAS-2 by 2 investigators (L.C.G., J.L.R.).
RCTs 일부 예: 아래 모두에 대한 ROB 평가 □ 배정은폐, 그리고 □ 중재결과 평가시 환자 및 결과 평가자의 눈가림(모든 원인 사망률과 같은 객관적인 중재결과에는 불필요)	예: 아래에 대한 ROB 평가 □ 진정한 무작위 배정 순서, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택 여부
NRSI 일부 예: 아래에 대한 ROB 평가 □ 교란 □ 선택 비뚤림	예: 아래에 대한 ROB 평가 □ 노출과 중재결과 확인위해 사용한 방법, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택	□ 예 □ 일부 예 □ 아니오 □ RCT만 포함
10. 문헌고찰 저자는 고찰에 포함된 연구들의 자금 출처에 대해 보고하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 문헌고찰에 포함된 연구의 자금출처에 대해 보고해야 한다. 주 : 평가자가 살펴보았지만 일차연구 저자가 보고하지 않은 경우도 해당됨
11. 메타분석을 수행하였다면, 문헌고찰 저자는 이에 대한 합당한 이유를 제시하였고, 연구결과의 통계학적 결 합을 위해 적절한 방법을 사용하였는가?		■ 예 □ 아니오 □ 메타분석 없음
RCTs 예 : □ 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 이질성의 원인에 대한 조사를 하였다
NRSI 예 : □ 저자는 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 NRSI의 교란변수를 보정한 효과추정치를 결합하였거나, 보정 효과 추정치를 결합할 수 없을 때만 원 자료를 결합하였다. □ 그리고 RCT와 NRSI 모두가 고찰에 포함되었을 때, 무작위 배정 비교임상시험과 중재 비무작위연구의 요약 추정치를 별도로 보고하였다.		□ 예 □ 아니오 □ 메타분석 없음
12. 메타분석을 수행하였다면, 문헌고찰 저자는 개별 연구의 비뚤림위험이 메타분석 연구결과나 다른 근거 합성에 미칠 잠재적 영향을 평가하였는가?		□ 예 ■ 아니오 □ 메타분석 없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 다양한 비뚤림위험을 가진 RCT나 NRSI를 포함한 경우 효과의 요약 추정치에 비뚤림 위험이 어떤 영향을 미치는지 조사하였다.
13. 문헌고찰저자는 고찰 결과를 해석/논의할 때 개별 연구의 비뚤림위험을 고려하였는가?		□ 예 ■ 아니오
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 RCT에 중등도 이상의 비뚤림위험이 있거나 문헌고찰에 NRSI를 포함한 경우에 비뚤림위험이 연구결과에 어떤 영향을 미쳤는지에 대해 고찰하였다
14. 문헌고찰저자는 연구결과에서 발견된 이질성에 대해 만족스러운 설명과 고찰을 하였는가?		□ 예 ■ 아니오
예 : □ 연구결과에서 유의미한 이질성이 없었다. □ 또는 이질성이 있는 경우, 이질성의 원인에 대해 조사하고, 이질성이 문헌고찰 연구결과에 미치는 영향에 대해 논의하였다.
15. 양적 합성을 하였다면, 문헌고찰저자는 출판비뚤림(소규모연구 비뚤림)에 대한 적절한 조사를 수행하고, 문헌고찰 결과에 미칠 수 있는 영향에 대해 고찰하였는가?		■ 예 □ 아니오 □ 메타분석 없음	출판비뚤림위험 결과 있음 (supplement)
예 : □ 출판비뚤림에 대한 그래프 또는 통계적 검증을 수행하고 출판비뚤림의 유무와 영향 정도에 대해 고찰하였다.
16. 문헌고찰 저자는 문헌고찰 수행을 위한 자금지원을 포함하여 잠재적 이해상충에 대해 보고하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 저자는 이해상충이 없다고 보고하였다. 또는 □ 저자가 자금원을 기술하였으며, 잠재적 이해상충을 관리한 방법을 보고하였다.

연번(Ref ID)	8(#373)
1저자(출판연도)	Rees(2023)
질문		판단	판단근거
1. 체계적 문헌고찰의 연구질문과 포함기준에는 PICO의 구성요소가 포함되었는가?		■ 예 □ 아니오	P: neonatal sepsis I&C: four biomarkers (CRP, ESR, WBC, and PCT) O: diagnostic performance against the reference standards of blood culture Setting: in low- and middle-income countries
예 : ■ 인구집단(P) ■ 중재(I) ■ 비교군(C) ■ 중재결과(O)	선택(권고)사항 □ 추적관찰 시점
2. 체계적 문헌고찰 방법론이 실제 문헌고찰을 시행하기 전에 확립되었으며 보고서에는 프로토콜로부터 중대한 이탈이 있는 경우 이에 대한 정당화(합당한 이유)가 제시되었나?’		□ 예 ■ 일부 예 □ 아니오	We registered this study in PROSPERO, an international prospective register for systematic reviews (CRD42020188680).
일부 예 : 저자는 아래 모두를 포함하는 서면 프로토콜 또는 가이드를 가지고 있다고 진술하고 있다. ■ 문헌고찰 질문 ■ 검색전략 ■ 포함기준 ■ 비뚤림위험 평가	일부 예에 더하여: 추가로 프로토콜이 등록되어 있고, 아래 사항이 명시되어있다. ■ 해당되는 경우 메타분석/합성 계획, 그리고 □ 이질성 원인에 대한 조사 계획 □ 프로토콜 이탈에 대한 정당화(합당한 이유)
3. 문헌고찰 저자는 문헌고찰에 포함될 연구설계 선택에 대해 설명하였나?		■ 예 □ 아니오	진단검사평가연구 We included studies that met the following criteria (중략) (4) included a control group that did not test positive with a reference standard as a comparison for the diagnostic performance of the biomarkers evaluated.
예: 아래 중 하나 충족: □ 무작위 배정 비교임상시험(RCT)만 포함하는 것에 대해 설명 □ 혹은, 중재 비무작위연구만(NRSI)만 포함하는 것에 대해 설명 □ 혹은, 무작위 배정 비교임상시험과 중재 비무작위 연구 모두를 포함하는 것에 대해 설명
4. 문헌고찰 저자는 포괄적인 문헌 검색 전략을 사용하였는가?		□ 예 ■ 일부 예 □ 아니오	We searched the Medline, EMBASE, DARE, CINAHL, and Babelmesh databases on 12 February 2021 and conducted an updated search on 29 August 2022. We extracted articles that were included in each of these databases from their inception to 29 August 2022. The search terms used to identify studies that focused on the use of the four biomarkers of interest are included in online supplemental appendix 1. Our search was limited to articles published in English, Spanish, French, German, Dutch, and Arabic as members of our team were fluent in these languages.
일부 예 (모두 포함해야 함): ■ 최소한 2개 이상의 (연구질문에 적합한) 데이터베이스를 검색하였다. ■ 키워드와 검색전략을 제시하였다. ■ 출판물 제한(예: 언어)에 대해 정당한 이유를 제시하였다.	예 : 모두 포함해야 함 □ 포함된 연구의 참고문헌 목록 검색 □ 임상시험/연구 레지스트리 검색 □ 해당 분야 내용 전문가를 포함하거나 자문을 받음 □ 해당되는 경우, 회색 문헌 검색 ■ 문헌고찰 완료 24개월 이내에 검색 수행
5. 문헌고찰 저자는 연구 선택을 중복으로 수행하였는가?		■ 예 □ 아니오	Two reviewers independently screened articles in two rounds. Each reviewer was blinded to the other reviewer’s screening. The first round included a review of all abstracts for the presence of exclusion criteria. All article titles and abstracts that resulted in disagreement between two independent reviewers were reviewed by an arbiter (CAR) to assess inclusion or exclusion. The second round included a review of article full texts for those remaining after titles and abstracts were reviewed.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 독립적으로 적격 연구를 선택하고, 최종 포함여부를 합의하였다. □ 혹은 두 명의 평가자가 일부 표본에 대해 적격연구를 선정하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 문헌 선정을 하였다.
6. 문헌고찰 저자는 자료추출을 중복으로 수행하였는가?		□ 예 ■ 아니오
예: 아래 중 하나 충족: □ 최소한 두 명의 평가자가 포함된 문헌의 어떤 자료를 추출할지에 대해 합의에 도달하였다. □ 또는 두 명의 평가자가 일부 적격 연구 표본에서 자료를 추출하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 자료 추출을 하였다.
7. 문헌고찰 저자는 배제 연구에 대한 목록과 합당한 배제사유를 제공하였는가?		□ 예 ■ 일부 예 □ 아니오	figure 1
일부 예 : ■ 전문까지 검토하였지만, 문헌고찰에서 배제된 연구에 대한 목록을 제시	예: 아래 사항도 충족 □ 잠재적으로 관련성이 있는 연구가 문헌 고찰에서 배제된 합당한 이유 제시
8. 문헌고찰저자는 포함된 연구들의 세부사항을 적절히 기술하였는가?		□ 예 □ 일부 예 ■ 아니오	table 1
일부 예 (아래 모두) □ 인구집단에 대한 기술 ■ 중재에 대한 기술 ■ 비교군에 대한 기술 ■ 중재결과에 대한 기술 □ 연구설계에 대한 기술	예 : 아래 사항도 모두 충족 □ 인구집단 세부사항에 대한 기술 □ 중재 세부사항에 대한 기술(적절한 경우, 용량 포함) □ 비교군 세부사항에 대한 기술(적절한경우, 용량 포함) □ 연구 세팅에 대한 기술 □ 추적관찰의 시점
9. 문헌고찰저자는 문헌고찰에 포함된 개별 연구의 비뚤림위험(ROB)을 평가하기 위해 만족스러운 도구를 사용하였는가?		■ 예 □ 일부 예 □ 아니오 □ NRSI만 포함	The risk of bias of the included studies was assessed using the Quality Assessment of Studies for Diagnostic Accuracy Included in Systematic Reviews-2 (QUADAS-2) tool, which is designed to assess bias and applicability concerns for diagnostic studies.
RCTs 일부 예: 아래 모두에 대한 ROB 평가 □ 배정은폐, 그리고 □ 중재결과 평가시 환자 및 결과 평가자의 눈가림(모든 원인 사망률과 같은 객관적인 중재결과에는 불필요)	예: 아래에 대한 ROB 평가 □ 진정한 무작위 배정 순서, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택 여부
NRSI 일부 예: 아래에 대한 ROB 평가 □ 교란 □ 선택 비뚤림	예: 아래에 대한 ROB 평가 □ 노출과 중재결과 확인위해 사용한 방법, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택	□ 예 □ 일부 예 □ 아니오 □ RCT만 포함
10. 문헌고찰 저자는 고찰에 포함된 연구들의 자금 출처에 대해 보고하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 문헌고찰에 포함된 연구의 자금출처에 대해 보고해야 한다. 주 : 평가자가 살펴보았지만 일차연구 저자가 보고하지 않은 경우도 해당됨
11. 메타분석을 수행하였다면, 문헌고찰 저자는 이에 대한 합당한 이유를 제시하였고, 연구결과의 통계학적 결 합을 위해 적절한 방법을 사용하였는가?		■ 예 □ 아니오 □ 메타분석 없음	We evaluated each biomarker cut point used by ≥3 studies individually using a bivariate model created by Reitsma et al through the reitsma function in the R package Mada. 17 18 The bivariate analysis method created by Reitsma et al produces summary estimates of sensitivity and specificity that include 95% CIs that account for heterogeneity. We also calculated Holling’s sample size adjusted measure for heterogeneity (I 2 ) which was developed for use in bivariate meta-analyses of diagnostic accuracy.
RCTs 예 : □ 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 이질성의 원인에 대한 조사를 하였다
NRSI 예 : □ 저자는 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 NRSI의 교란변수를 보정한 효과추정치를 결합하였거나, 보정 효과 추정치를 결합할 수 없을 때만 원 자료를 결합하였다. □ 그리고 RCT와 NRSI 모두가 고찰에 포함되었을 때, 무작위 배정 비교임상시험과 중재 비무작위연구의 요약 추정치를 별도로 보고하였다.		□ 예 □ 아니오 □ 메타분석 없음
12. 메타분석을 수행하였다면, 문헌고찰 저자는 개별 연구의 비뚤림위험이 메타분석 연구결과나 다른 근거 합성에 미칠 잠재적 영향을 평가하였는가?		□ 예 ■ 아니오 □ 메타분석 없음	언급없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 다양한 비뚤림위험을 가진 RCT나 NRSI를 포함한 경우 효과의 요약 추정치에 비뚤림 위험이 어떤 영향을 미치는지 조사하였다.
13. 문헌고찰저자는 고찰 결과를 해석/논의할 때 개별 연구의 비뚤림위험을 고려하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 RCT에 중등도 이상의 비뚤림위험이 있거나 문헌고찰에 NRSI를 포함한 경우에 비뚤림위험이 연구결과에 어떤 영향을 미쳤는지에 대해 고찰하였다
14. 문헌고찰저자는 연구결과에서 발견된 이질성에 대해 만족스러운 설명과 고찰을 하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 연구결과에서 유의미한 이질성이 없었다. □ 또는 이질성이 있는 경우, 이질성의 원인에 대해 조사하고, 이질성이 문헌고찰 연구결과에 미치는 영향에 대해 논의하였다.
15. 양적 합성을 하였다면, 문헌고찰저자는 출판비뚤림(소규모연구 비뚤림)에 대한 적절한 조사를 수행하고, 문헌고찰 결과에 미칠 수 있는 영향에 대해 고찰하였는가?		□ 예 ■ 아니오 □ 메타분석 없음
예 : □ 출판비뚤림에 대한 그래프 또는 통계적 검증을 수행하고 출판비뚤림의 유무와 영향 정도에 대해 고찰하였다.
16. 문헌고찰 저자는 문헌고찰 수행을 위한 자금지원을 포함하여 잠재적 이해상충에 대해 보고하였는가?		■ 예 □ 아니오	The authors have not declared a specific grant for this research from any funding agency in the public, commercial or not-for-profit sectors.
예 : ■ 저자는 이해상충이 없다고 보고하였다. 또는 □ 저자가 자금원을 기술하였으며, 잠재적 이해상충을 관리한 방법을 보고하였다.

연번(Ref ID)	9(#34)
1저자(출판연도)	Berbari(2010)
질문		판단	판단근거
1. 체계적 문헌고찰의 연구질문과 포함기준에는 PICO의 구성요소가 포함되었는가?		■ 예 □ 아니오	P: total hip or total knee arthroplasty infection I&C: blood-cell count, erythrocyte sedimentation rate, C-reactive protein level, and interleukin-6 O: the evidence on the accuracy for the diagnosis of prosthetic joint infection
예 : ■ 인구집단(P) ■ 중재(I) ■ 비교군(C) ■ 중재결과(O)	선택(권고)사항 □ 추적관찰 시점
2. 체계적 문헌고찰 방법론이 실제 문헌고찰을 시행하기 전에 확립되었으며 보고서에는 프로토콜로부터 중대한 이탈이 있는 경우 이에 대한 정당화(합당한 이유)가 제시되었나?’		□ 예 ■ 일부 예 □ 아니오	A protocol that had been written before this review was undertaken as recommended by the Quality of Reporting of Meta-analyses (QUOROM) statement.
일부 예 : 저자는 아래 모두를 포함하는 서면 프로토콜 또는 가이드를 가지고 있다고 진술하고 있다. ■ 문헌고찰 질문 ■ 검색전략 ■ 포함기준 ■ 비뚤림위험 평가	일부 예에 더하여: 추가로 프로토콜이 등록되어 있고, 아래 사항이 명시되어있다. □ 해당되는 경우 메타분석/합성 계획, 그리고 □ 이질성 원인에 대한 조사 계획 □ 프로토콜 이탈에 대한 정당화(합당한 이유)
3. 문헌고찰 저자는 문헌고찰에 포함될 연구설계 선택에 대해 설명하였나?		■ 예 □ 아니오	We included cross-sectional and longitudinal studies that enrolled participants with true diagnostic uncertainty.
예: 아래 중 하나 충족: □ 무작위 배정 비교임상시험(RCT)만 포함하는 것에 대해 설명 □ 혹은, 중재 비무작위연구만(NRSI)만 포함하는 것에 대해 설명 □ 혹은, 무작위 배정 비교임상시험과 중재 비무작위 연구 모두를 포함하는 것에 대해 설명
4. 문헌고찰 저자는 포괄적인 문헌 검색 전략을 사용하였는가?		□ 예 ■ 일부 예 □ 아니오	All studies indexed in Ovid MEDLINE, Ovid EMBASE, the Cochrane Library, ISI Web of Science, and Scopus databases from 1950 or inception until January 31, 2009, With the use of Boolean strategy, textword and subject headings included (1) type of prosthesis (joint prosthesis or arthroplasty, specific joint-associated procedures) and (exp hip joint/ or exp knee joint/ or hip.mp. or knee) and (2) the various markers (CRP, ESR, WBC, and IL-6), both as textwords and as subject headings. The bibliographies of relevant articles were further cross-checked to search for articles not referenced in the search. We included studies regardless of their publication status, language, or size.
일부 예 (모두 포함해야 함): ■ 최소한 2개 이상의 (연구질문에 적합한) 데이터베이스를 검색하였다. ■ 키워드와 검색전략을 제시하였다. ■ 출판물 제한(예: 언어)에 대해 정당한 이유를 제시하였다.	예 : 모두 포함해야 함 ■ 포함된 연구의 참고문헌 목록 검색 □ 임상시험/연구 레지스트리 검색 □ 해당 분야 내용 전문가를 포함하거나 자문을 받음 □ 해당되는 경우, 회색 문헌 검색 □ 문헌고찰 완료 24개월 이내에 검색 수행
5. 문헌고찰 저자는 연구 선택을 중복으로 수행하였는가?		■ 예 □ 아니오	The selection of articles was performed by two authors (E.B. and T.M.).
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 독립적으로 적격 연구를 선택하고, 최종 포함여부를 합의하였다. □ 혹은 두 명의 평가자가 일부 표본에 대해 적격연구를 선정하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 문헌 선정을 하였다.
6. 문헌고찰 저자는 자료추출을 중복으로 수행하였는가?		■ 예 □ 아니오	Three reviewers (E.B., G.T., and T.M.), working independently, used a standardized form to extract descriptions of study participants, including the diagnostic tests performed, the cutoff or range definitions of the tests, whether the cutoff values were derived with use of receiver operator characteristic curves or were predetermined by the study authors, and the nature and characteristics of the reference standard used.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 포함된 문헌의 어떤 자료를 추출할지에 대해 합의에 도달하였다. □ 또는 두 명의 평가자가 일부 적격 연구 표본에서 자료를 추출하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 자료 추출을 하였다.
7. 문헌고찰 저자는 배제 연구에 대한 목록과 합당한 배제사유를 제공하였는가?		□ 예 ■ 일부 예 □ 아니오	figure 1
일부 예 : ■ 전문까지 검토하였지만, 문헌고찰에서 배제된 연구에 대한 목록을 제시	예: 아래 사항도 충족 □ 잠재적으로 관련성이 있는 연구가 문헌 고찰에서 배제된 합당한 이유 제시
8. 문헌고찰저자는 포함된 연구들의 세부사항을 적절히 기술하였는가?		□ 예 □ 일부 예 ■ 아니오	table in Appendex라고 기술하였으나 확인 불가
일부 예 (아래 모두) □ 인구집단에 대한 기술 □ 중재에 대한 기술 □ 비교군에 대한 기술 □ 중재결과에 대한 기술 □ 연구설계에 대한 기술	예 : 아래 사항도 모두 충족 □ 인구집단 세부사항에 대한 기술 □ 중재 세부사항에 대한 기술(적절한 경우, 용량 포함) □ 비교군 세부사항에 대한 기술(적절한경우, 용량 포함) □ 연구 세팅에 대한 기술 □ 추적관찰의 시점
9. 문헌고찰저자는 문헌고찰에 포함된 개별 연구의 비뚤림위험(ROB)을 평가하기 위해 만족스러운 도구를 사용하였는가?		■ 예 □ 일부 예 □ 아니오 □ NRSI만 포함	Two reviewers (E.B. and G.T.) working independently and in duplicate analyzed the included articles to assess the reported quality of the methods with use of the tool for quality assessment of studies of diagnostic accuracy included in systematic reviews (QUADAS)
RCTs 일부 예: 아래 모두에 대한 ROB 평가 □ 배정은폐, 그리고 □ 중재결과 평가시 환자 및 결과 평가자의 눈가림(모든 원인 사망률과 같은 객관적인 중재결과에는 불필요)	예: 아래에 대한 ROB 평가 □ 진정한 무작위 배정 순서, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택 여부
NRSI 일부 예: 아래에 대한 ROB 평가 □ 교란 □ 선택 비뚤림	예: 아래에 대한 ROB 평가 □ 노출과 중재결과 확인위해 사용한 방법, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택	□ 예 □ 일부 예 □ 아니오 □ RCT만 포함
10. 문헌고찰 저자는 고찰에 포함된 연구들의 자금 출처에 대해 보고하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 문헌고찰에 포함된 연구의 자금출처에 대해 보고해야 한다. 주 : 평가자가 살펴보았지만 일차연구 저자가 보고하지 않은 경우도 해당됨
11. 메타분석을 수행하였다면, 문헌고찰 저자는 이에 대한 합당한 이유를 제시하였고, 연구결과의 통계학적 결 합을 위해 적절한 방법을 사용하였는가?		■ 예 □ 아니오 □ 메타분석 없음	We used Meta-DiSc Software for Meta-analysis for Diagnostic and Screening tests (version 1.4) 7 . We pooled, using random effects meta-analyses, the sensitivities, specificities, likelihood ratios, and diagnostic odds ratios and estimated the 95% confidence intervals for the outcomes. Because of the interrelation between the pooled sensitivity and specificity, we focused the analysis on estimating and pooling likelihood ratios and diagnostic odds ratios. The inconsistency among studies was assessed with use of the I 2 statistic, which represents the proportion of variability across studies that is not due to chance or random error. A priori hypotheses to explain potential heterogeneity among studies included the site of the prosthesis (hip versus knee), cutoff rationale (receiver operator characteristic-derived versus preestablished cutoff), whether the spectrum of patients was representative (yes versus no), and definition of prosthetic joint infection (best versus good and mediocre).
RCTs 예 : ■ 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. ■ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. ■ 그리고 이질성의 원인에 대한 조사를 하였다
NRSI 예 : □ 저자는 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 NRSI의 교란변수를 보정한 효과추정치를 결합하였거나, 보정 효과 추정치를 결합할 수 없을 때만 원 자료를 결합하였다. □ 그리고 RCT와 NRSI 모두가 고찰에 포함되었을 때, 무작위 배정 비교임상시험과 중재 비무작위연구의 요약 추정치를 별도로 보고하였다.		□ 예 □ 아니오 □ 메타분석 없음
12. 메타분석을 수행하였다면, 문헌고찰 저자는 개별 연구의 비뚤림위험이 메타분석 연구결과나 다른 근거 합성에 미칠 잠재적 영향을 평가하였는가?		□ 예 ■ 아니오 □ 메타분석 없음	언급없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 다양한 비뚤림위험을 가진 RCT나 NRSI를 포함한 경우 효과의 요약 추정치에 비뚤림 위험이 어떤 영향을 미치는지 조사하였다.
13. 문헌고찰저자는 고찰 결과를 해석/논의할 때 개별 연구의 비뚤림위험을 고려하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 RCT에 중등도 이상의 비뚤림위험이 있거나 문헌고찰에 NRSI를 포함한 경우에 비뚤림위험이 연구결과에 어떤 영향을 미쳤는지에 대해 고찰하였다
14. 문헌고찰저자는 연구결과에서 발견된 이질성에 대해 만족스러운 설명과 고찰을 하였는가?		■ 예 □ 아니오	The diagnostic odds ratio was higher for total knee arthroplasty than for total hip arthroplasty for all three markers. The use of a receiver operator characteristic curve to determine the cutoffs and to analyze the markers in a representative population was associated with a higher diagnostic odds ratio.
예 : □ 연구결과에서 유의미한 이질성이 없었다. ■ 또는 이질성이 있는 경우, 이질성의 원인에 대해 조사하고, 이질성이 문헌고찰 연구결과에 미치는 영향에 대해 논의하였다.
15. 양적 합성을 하였다면, 문헌고찰저자는 출판비뚤림(소규모연구 비뚤림)에 대한 적절한 조사를 수행하고, 문헌고찰 결과에 미칠 수 있는 영향에 대해 고찰하였는가?		□ 예 ■ 아니오 □ 메타분석 없음	수행하지 않음
예 : □ 출판비뚤림에 대한 그래프 또는 통계적 검증을 수행하고 출판비뚤림의 유무와 영향 정도에 대해 고찰하였다.
16. 문헌고찰 저자는 문헌고찰 수행을 위한 자금지원을 포함하여 잠재적 이해상충에 대해 보고하였는가?		■ 예 □ 아니오	There was no external source of funding for this study.
예 : ■ 저자는 이해상충이 없다고 보고하였다. 또는 □ 저자가 자금원을 기술하였으며, 잠재적 이해상충을 관리한 방법을 보고하였다.

연번(Ref ID)	10(#78)
1저자(출판연도)	Chen(2020)
질문		판단	판단근거
1. 체계적 문헌고찰의 연구질문과 포함기준에는 PICO의 구성요소가 포함되었는가?		■ 예 □ 아니오	P: PJI 및 기타 감염 I&C: D-dimer, ESR, SRP O: diagnostic value
예 : ■ 인구집단(P) ■ 중재(I) ■ 비교군(C) ■ 중재결과(O)	선택(권고)사항 □ 추적관찰 시점
2. 체계적 문헌고찰 방법론이 실제 문헌고찰을 시행하기 전에 확립되었으며 보고서에는 프로토콜로부터 중대한 이탈이 있는 경우 이에 대한 정당화(합당한 이유)가 제시되었나?’		□ 예 □ 일부 예 ■ 아니오	언급없음
일부 예 : 저자는 아래 모두를 포함하는 서면 프로토콜 또는 가이드를 가지고 있다고 진술하고 있다. □ 문헌고찰 질문 □ 검색전략 □ 포함기준 □ 비뚤림위험 평가	일부 예에 더하여: 추가로 프로토콜이 등록되어 있고, 아래 사항이 명시되어있다. □ 해당되는 경우 메타분석/합성 계획, 그리고 □ 이질성 원인에 대한 조사 계획 □ 프로토콜 이탈에 대한 정당화(합당한 이유)
3. 문헌고찰 저자는 문헌고찰에 포함될 연구설계 선택에 대해 설명하였나?		■ 예 □ 아니오	진단검사평가연구 Clinical trials were included if they: (중략); 2) applied clear and well- recognized diagnostic criteria for PJI; 3) investigated the diagnostic value of D-dimer in diagnosing PJI;
예: 아래 중 하나 충족: □ 무작위 배정 비교임상시험(RCT)만 포함하는 것에 대해 설명 □ 혹은, 중재 비무작위연구만(NRSI)만 포함하는 것에 대해 설명 □ 혹은, 무작위 배정 비교임상시험과 중재 비무작위 연구 모두를 포함하는 것에 대해 설명
4. 문헌고찰 저자는 포괄적인 문헌 검색 전략을 사용하였는가?		□ 예 ■ 일부 예 □ 아니오	PubMed, Embase, and the Cochrane Library were comprehensively searched in February 2020. Related search terms included: D-dimer, fibrin fragment D, joint, periprosthetic, arthroplasty, and infection. The search terms used in PubMed are as follows: (("fibrin fragment D"[Supplementary Concept] OR "fibrin fragment D"[All Fields] OR "d dimer"[All Fields]) OR "fibrin fragment D"[Supplementary Concept]) AND ((periprosthetic[All Fields] AND ("infection"[MeSH Terms] OR "infection"[All Fields])) OR (periprosthetic[All Fields] AND ("joints"[MeSH Terms] OR "joints"[All Fields] OR "joint"[All Fields]) AND ("infection"[MeSH Terms] OR "infection"[All Fields]))). All articles published before 2 February 2020 were screened. Additional studies were identified from references of retrieved articles. published in English.
일부 예 (모두 포함해야 함): ■ 최소한 2개 이상의 (연구질문에 적합한) 데이터베이스를 검색하였다. ■ 키워드와 검색전략을 제시하였다. ■ 출판물 제한(예: 언어)에 대해 정당한 이유를 제시하였다.	예 : 모두 포함해야 함 ■ 포함된 연구의 참고문헌 목록 검색 □ 임상시험/연구 레지스트리 검색 □ 해당 분야 내용 전문가를 포함하거나 자문을 받음 □ 해당되는 경우, 회색 문헌 검색 □ 문헌고찰 완료 24개월 이내에 검색 수행
5. 문헌고찰 저자는 연구 선택을 중복으로 수행하였는가?		■ 예 □ 아니오	Two researchers (SZ, YW) extracted data and assessed the quality of included study independently. The corresponding author (WQ) was sought to resolve any disagreement.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 독립적으로 적격 연구를 선택하고, 최종 포함여부를 합의하였다. □ 혹은 두 명의 평가자가 일부 표본에 대해 적격연구를 선정하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 문헌 선정을 하였다.
6. 문헌고찰 저자는 자료추출을 중복으로 수행하였는가?		■ 예 □ 아니오	Two researchers (SZ, YW) extracted data and assessed the quality of included study independently. The corresponding author (WQ) was sought to resolve any disagreement.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 포함된 문헌의 어떤 자료를 추출할지에 대해 합의에 도달하였다. □ 또는 두 명의 평가자가 일부 적격 연구 표본에서 자료를 추출하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 자료 추출을 하였다.
7. 문헌고찰 저자는 배제 연구에 대한 목록과 합당한 배제사유를 제공하였는가?		□ 예 ■ 일부 예 □ 아니오	table 1
일부 예 : ■ 전문까지 검토하였지만, 문헌고찰에서 배제된 연구에 대한 목록을 제시	예: 아래 사항도 충족 □ 잠재적으로 관련성이 있는 연구가 문헌 고찰에서 배제된 합당한 이유 제시
8. 문헌고찰저자는 포함된 연구들의 세부사항을 적절히 기술하였는가?		□ 예 □ 일부 예 ■ 아니오	table 1 설명 충분하지 않음
일부 예 (아래 모두) ■ 인구집단에 대한 기술 □ 중재에 대한 기술 □ 비교군에 대한 기술 □ 중재결과에 대한 기술 □ 연구설계에 대한 기술	예 : 아래 사항도 모두 충족 □ 인구집단 세부사항에 대한 기술 □ 중재 세부사항에 대한 기술(적절한 경우, 용량 포함) □ 비교군 세부사항에 대한 기술(적절한경우, 용량 포함) □ 연구 세팅에 대한 기술 □ 추적관찰의 시점
9. 문헌고찰저자는 문헌고찰에 포함된 개별 연구의 비뚤림위험(ROB)을 평가하기 위해 만족스러운 도구를 사용하였는가?		■ 예 □ 일부 예 □ 아니오 □ NRSI만 포함	Quality Assessment of Diagnostic Accuracy Studies Version 2 (QUADAS-2) was used to assess the quality of included studies.
RCTs 일부 예: 아래 모두에 대한 ROB 평가 □ 배정은폐, 그리고 □ 중재결과 평가시 환자 및 결과 평가자의 눈가림(모든 원인 사망률과 같은 객관적인 중재결과에는 불필요)	예: 아래에 대한 ROB 평가 □ 진정한 무작위 배정 순서, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택 여부
NRSI 일부 예: 아래에 대한 ROB 평가 □ 교란 □ 선택 비뚤림	예: 아래에 대한 ROB 평가 □ 노출과 중재결과 확인위해 사용한 방법, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택	□ 예 □ 일부 예 □ 아니오 □ RCT만 포함
10. 문헌고찰 저자는 고찰에 포함된 연구들의 자금 출처에 대해 보고하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 문헌고찰에 포함된 연구의 자금출처에 대해 보고해야 한다. 주 : 평가자가 살펴보았지만 일차연구 저자가 보고하지 않은 경우도 해당됨
11. 메타분석을 수행하였다면, 문헌고찰 저자는 이에 대한 합당한 이유를 제시하였고, 연구결과의 통계학적 결 합을 위해 적절한 방법을 사용하였는가?		■ 예 □ 아니오 □ 메타분석 없음	A bivariate effect model was used to estimate sensitivity and specificity, and mean logit of sensitivity and specificity with their SD and 95% confidence intervals (CIs), while adjusting for sources of bias and variability.(중략) A summary ROC and DOR would not be generated if there were less than four studies included.Heterogeneity was assessed with I 2 and bivariate boxplot.Multivariate meta- regression and subgroup analyses were used to explore and reduce potential cause of heterogeneity.
RCTs 예 : ■ 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. ■ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. ■ 그리고 이질성의 원인에 대한 조사를 하였다
NRSI 예 : □ 저자는 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 NRSI의 교란변수를 보정한 효과추정치를 결합하였거나, 보정 효과 추정치를 결합할 수 없을 때만 원 자료를 결합하였다. □ 그리고 RCT와 NRSI 모두가 고찰에 포함되었을 때, 무작위 배정 비교임상시험과 중재 비무작위연구의 요약 추정치를 별도로 보고하였다.		□ 예 □ 아니오 □ 메타분석 없음
12. 메타분석을 수행하였다면, 문헌고찰 저자는 개별 연구의 비뚤림위험이 메타분석 연구결과나 다른 근거 합성에 미칠 잠재적 영향을 평가하였는가?		□ 예 ■ 아니오 □ 메타분석 없음	언급없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 다양한 비뚤림위험을 가진 RCT나 NRSI를 포함한 경우 효과의 요약 추정치에 비뚤림 위험이 어떤 영향을 미치는지 조사하였다.
13. 문헌고찰저자는 고찰 결과를 해석/논의할 때 개별 연구의 비뚤림위험을 고려하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 RCT에 중등도 이상의 비뚤림위험이 있거나 문헌고찰에 NRSI를 포함한 경우에 비뚤림위험이 연구결과에 어떤 영향을 미쳤는지에 대해 고찰하였다
14. 문헌고찰저자는 연구결과에서 발견된 이질성에 대해 만족스러운 설명과 고찰을 하였는가?		■ 예 □ 아니오	subgroup analysis including these five studies yielded increased sensitivity (82%), specificity (80%), and the highest AUC and DOR compared to ESR and CRP. The result from our analysis did not perform as well as Shahi et al, 11 which may be due to patient population: Shahi et al and Parvizi et al included patients in the USA, and reported positively about the diagnostic value of D-dimer, while other studies in our analysis included an Asian population and the results were less optimal.
예 : □ 연구결과에서 유의미한 이질성이 없었다. □ 또는 이질성이 있는 경우, 이질성의 원인에 대해 조사하고, 이질성이 문헌고찰 연구결과에 미치는 영향에 대해 논의하였다.
15. 양적 합성을 하였다면, 문헌고찰저자는 출판비뚤림(소규모연구 비뚤림)에 대한 적절한 조사를 수행하고, 문헌고찰 결과에 미칠 수 있는 영향에 대해 고찰하였는가?		■ 예 □ 아니오 □ 메타분석 없음	Publication bias was assessed with Deek’s Funnel Plot Asymmetry Test (Figure 6). The p- value was 0.19; no significant publication bias was found.
예 : ■ 출판비뚤림에 대한 그래프 또는 통계적 검증을 수행하고 출판비뚤림의 유무와 영향 정도에 대해 고찰하였다.
16. 문헌고찰 저자는 문헌고찰 수행을 위한 자금지원을 포함하여 잠재적 이해상충에 대해 보고하였는가?		■ 예 □ 아니오	This work was supported by the Non-profit Central Research Institute Fund of Chinese Academy of Medical Science. Grant number NWB20204183. Although none of the authors has received or will receive benefits for personal or professional use from a commercial party related directly or indirectly to the subject of this article, benefits have been or will be received but will be directed solely to a research fund, foundation, educational institution, or other non- profit organization with which one or more of the authors are associated.
예 : ■ 저자는 이해상충이 없다고 보고하였다. 또는 ■ 저자가 자금원을 기술하였으며, 잠재적 이해상충을 관리한 방법을 보고하였다.

연번(Ref ID)	11(#205)
1저자(출판연도)	Huerfano(2017)
질문		판단	판단근거
1. 체계적 문헌고찰의 연구질문과 포함기준에는 PICO의 구성요소가 포함되었는가?		■ 예 □ 아니오	whether the erythrocyte sedimentation rate (ESR) and the serum C-reactive protein (CRP) level are sufficient to use for testing to rule out infection in patients undergoing revision hip surgery.
예 : ■ 인구집단(P) ■ 중재(I) ■ 비교군(C) ■ 중재결과(O)	선택(권고)사항 □ 추적관찰 시점
2. 체계적 문헌고찰 방법론이 실제 문헌고찰을 시행하기 전에 확립되었으며 보고서에는 프로토콜로부터 중대한 이탈이 있는 경우 이에 대한 정당화(합당한 이유)가 제시되었나?’		□ 예 □ 일부 예 ■ 아니오	언급없음
일부 예 : 저자는 아래 모두를 포함하는 서면 프로토콜 또는 가이드를 가지고 있다고 진술하고 있다. □ 문헌고찰 질문 □ 검색전략 □ 포함기준 □ 비뚤림위험 평가	일부 예에 더하여: 추가로 프로토콜이 등록되어 있고, 아래 사항이 명시되어있다. □ 해당되는 경우 메타분석/합성 계획, 그리고 □ 이질성 원인에 대한 조사 계획 □ 프로토콜 이탈에 대한 정당화(합당한 이유)
3. 문헌고찰 저자는 문헌고찰에 포함될 연구설계 선택에 대해 설명하였나?		■ 예 □ 아니오	진단검사평가연구 We included studies in which the investigators assessed the sensitivity and specificity of ESR and serum CRP level, with cutoffs of 30 mm/h for ESR and 10 mg/L for CRP level, for diagnosing hip PJI
예: 아래 중 하나 충족: □ 무작위 배정 비교임상시험(RCT)만 포함하는 것에 대해 설명 □ 혹은, 중재 비무작위연구만(NRSI)만 포함하는 것에 대해 설명 □ 혹은, 무작위 배정 비교임상시험과 중재 비무작위 연구 모두를 포함하는 것에 대해 설명
4. 문헌고찰 저자는 포괄적인 문헌 검색 전략을 사용하였는가?		□ 예 ■ 일부 예 □ 아니오	We performed a systematic review of the literature in MEDLINE, Ovid, and Embase databases. The following are some of the keywords (Medical Subject Headings and free-text terms) we used: hip arthroplasty, C-reactive protein, erythrocyte sedimentation rate, periprosthetic joint infection, and revision hip arthroplasty. We used no date limit, and for analysis we included only articles with full text available in English. We did not contact authors or perform additional manual or gray literature searches. August 2015 was the date of the last search.
일부 예 (모두 포함해야 함): ■ 최소한 2개 이상의 (연구질문에 적합한) 데이터베이스를 검색하였다. ■ 키워드와 검색전략을 제시하였다. ■ 출판물 제한(예: 언어)에 대해 정당한 이유를 제시하였다.	예 : 모두 포함해야 함 □ 포함된 연구의 참고문헌 목록 검색 □ 임상시험/연구 레지스트리 검색 □ 해당 분야 내용 전문가를 포함하거나 자문을 받음 □ 해당되는 경우, 회색 문헌 검색 □ 문헌고찰 완료 24개월 이내에 검색 수행
5. 문헌고찰 저자는 연구 선택을 중복으로 수행하였는가?		■ 예 □ 아니오	Two authors (E.H. and M.B.) selected and examined titles, abstracts, and full-text articles related to the subject of study. From this information, two authors (G.B. and A.L.) with expertise in the field further screened the full-text articles that entirely met the inclusion criteria; they agreed on the definition of PJI used in every article, as well as the eligibility for analysis
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 독립적으로 적격 연구를 선택하고, 최종 포함여부를 합의하였다. □ 혹은 두 명의 평가자가 일부 표본에 대해 적격연구를 선정하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 문헌 선정을 하였다.
6. 문헌고찰 저자는 자료추출을 중복으로 수행하였는가?		■ 예 □ 아니오	From each study, we extracted values of sensitivity and specificity, prevalence of hip PJI, and total number of patients included to construct 2 · 2 tables. Two authors (M.H. and E.H.) entered this information in a database (Excel; Microsoft), and a senior author (G.B.) conducted an audit.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 포함된 문헌의 어떤 자료를 추출할지에 대해 합의에 도달하였다. □ 또는 두 명의 평가자가 일부 적격 연구 표본에서 자료를 추출하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 자료 추출을 하였다.
7. 문헌고찰 저자는 배제 연구에 대한 목록과 합당한 배제사유를 제공하였는가?		□ 예 ■ 일부 예 □ 아니오	figure 1
일부 예 : ■ 전문까지 검토하였지만, 문헌고찰에서 배제된 연구에 대한 목록을 제시	예: 아래 사항도 충족 □ 잠재적으로 관련성이 있는 연구가 문헌 고찰에서 배제된 합당한 이유 제시
8. 문헌고찰저자는 포함된 연구들의 세부사항을 적절히 기술하였는가?		□ 예 □ 일부 예 ■ 아니오	Appendix table 1
일부 예 (아래 모두) □ 인구집단에 대한 기술 ■ 중재에 대한 기술 ■ 비교군에 대한 기술 □ 중재결과에 대한 기술 ■ 연구설계에 대한 기술	예 : 아래 사항도 모두 충족 □ 인구집단 세부사항에 대한 기술 □ 중재 세부사항에 대한 기술(적절한 경우, 용량 포함) □ 비교군 세부사항에 대한 기술(적절한경우, 용량 포함) □ 연구 세팅에 대한 기술 □ 추적관찰의 시점
9. 문헌고찰저자는 문헌고찰에 포함된 개별 연구의 비뚤림위험(ROB)을 평가하기 위해 만족스러운 도구를 사용하였는가?		■ 예 □ 일부 예 □ 아니오 □ NRSI만 포함	Quality Assessment of Diagnostic Accuracy Studies (QUADAS) and the Standards for Reporting of Diagnostic Accuracy (STARD) to assess the selected studies for methodologic quality.
RCTs 일부 예: 아래 모두에 대한 ROB 평가 □ 배정은폐, 그리고 □ 중재결과 평가시 환자 및 결과 평가자의 눈가림(모든 원인 사망률과 같은 객관적인 중재결과에는 불필요)	예: 아래에 대한 ROB 평가 □ 진정한 무작위 배정 순서, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택 여부
NRSI 일부 예: 아래에 대한 ROB 평가 □ 교란 □ 선택 비뚤림	예: 아래에 대한 ROB 평가 □ 노출과 중재결과 확인위해 사용한 방법, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택	□ 예 □ 일부 예 □ 아니오 □ RCT만 포함
10. 문헌고찰 저자는 고찰에 포함된 연구들의 자금 출처에 대해 보고하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 문헌고찰에 포함된 연구의 자금출처에 대해 보고해야 한다. 주 : 평가자가 살펴보았지만 일차연구 저자가 보고하지 않은 경우도 해당됨
11. 메타분석을 수행하였다면, 문헌고찰 저자는 이에 대한 합당한 이유를 제시하였고, 연구결과의 통계학적 결 합을 위해 적절한 방법을 사용하였는가?		□ 예 ■ 아니오 □ 메타분석 없음	Using DerSimonian and Laird random effect models, we calculated pooled sensitivity, specificity, diagnostic odds ratio (OR), LR1, LR2, and their respective 95% confidence intervals (CIs) for ESR and serum CRP level and we presented the data as forest plots. We assessed heterogeneity among studies by using Cochran Q tests and the I 2 statistic.
RCTs 예 : ■ 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. ■ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 이질성의 원인에 대한 조사를 하였다
NRSI 예 : □ 저자는 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 NRSI의 교란변수를 보정한 효과추정치를 결합하였거나, 보정 효과 추정치를 결합할 수 없을 때만 원 자료를 결합하였다. □ 그리고 RCT와 NRSI 모두가 고찰에 포함되었을 때, 무작위 배정 비교임상시험과 중재 비무작위연구의 요약 추정치를 별도로 보고하였다.		□ 예 □ 아니오 □ 메타분석 없음
12. 메타분석을 수행하였다면, 문헌고찰 저자는 개별 연구의 비뚤림위험이 메타분석 연구결과나 다른 근거 합성에 미칠 잠재적 영향을 평가하였는가?		□ 예 ■ 아니오 □ 메타분석 없음	언급없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 다양한 비뚤림위험을 가진 RCT나 NRSI를 포함한 경우 효과의 요약 추정치에 비뚤림 위험이 어떤 영향을 미치는지 조사하였다.
13. 문헌고찰저자는 고찰 결과를 해석/논의할 때 개별 연구의 비뚤림위험을 고려하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 RCT에 중등도 이상의 비뚤림위험이 있거나 문헌고찰에 NRSI를 포함한 경우에 비뚤림위험이 연구결과에 어떤 영향을 미쳤는지에 대해 고찰하였다
14. 문헌고찰저자는 연구결과에서 발견된 이질성에 대해 만족스러운 설명과 고찰을 하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 연구결과에서 유의미한 이질성이 없었다. □ 또는 이질성이 있는 경우, 이질성의 원인에 대해 조사하고, 이질성이 문헌고찰 연구결과에 미치는 영향에 대해 논의하였다.
15. 양적 합성을 하였다면, 문헌고찰저자는 출판비뚤림(소규모연구 비뚤림)에 대한 적절한 조사를 수행하고, 문헌고찰 결과에 미칠 수 있는 영향에 대해 고찰하였는가?		□ 예 ■ 아니오 □ 메타분석 없음	언급없음
예 : □ 출판비뚤림에 대한 그래프 또는 통계적 검증을 수행하고 출판비뚤림의 유무와 영향 정도에 대해 고찰하였다.
16. 문헌고찰 저자는 문헌고찰 수행을 위한 자금지원을 포함하여 잠재적 이해상충에 대해 보고하였는가?		■ 예 □ 아니오	Dr. Bautista or an immediate family member has received nonincome support (such as equipment or services), commercially derived honoraria, or other non–research-related funding (such as paid travel) from DePuy Synthes.
예 : □ 저자는 이해상충이 없다고 보고하였다. 또는 ■ 저자가 자금원을 기술하였으며, 잠재적 이해상충을 관리한 방법을 보고하였다.

연번(Ref ID)	12(#338)
1저자(출판연도)	Mirza(2019)
질문		판단	판단근거
1. 체계적 문헌고찰의 연구질문과 포함기준에는 PICO의 구성요소가 포함되었는가?		■ 예 □ 아니오	synovial fluid biomarkers and their efficacy at diagnosing PJI inpatients withinflammatory arthritis
예 : ■ 인구집단(P) ■ 중재(I) ■ 비교군(C) ■ 중재결과(O)	선택(권고)사항 □ 추적관찰 시점
2. 체계적 문헌고찰 방법론이 실제 문헌고찰을 시행하기 전에 확립되었으며 보고서에는 프로토콜로부터 중대한 이탈이 있는 경우 이에 대한 정당화(합당한 이유)가 제시되었나?’		■ 예 □ 일부 예 □ 아니오	This study was registered on March 27, 2018, with PROSPERO.
일부 예 : 저자는 아래 모두를 포함하는 서면 프로토콜 또는 가이드를 가지고 있다고 진술하고 있다. ■ 문헌고찰 질문 ■ 검색전략 ■ 포함기준 ■ 비뚤림위험 평가	일부 예에 더하여: 추가로 프로토콜이 등록되어 있고, 아래 사항이 명시되어있다. □ 해당되는 경우 메타분석/합성 계획, 그리고 □ 이질성 원인에 대한 조사 계획 □ 프로토콜 이탈에 대한 정당화(합당한 이유)
3. 문헌고찰 저자는 문헌고찰에 포함될 연구설계 선택에 대해 설명하였나?		□ 예 ■ 아니오	언급없음
예: 아래 중 하나 충족: □ 무작위 배정 비교임상시험(RCT)만 포함하는 것에 대해 설명 □ 혹은, 중재 비무작위연구만(NRSI)만 포함하는 것에 대해 설명 □ 혹은, 무작위 배정 비교임상시험과 중재 비무작위 연구 모두를 포함하는 것에 대해 설명
4. 문헌고찰 저자는 포괄적인 문헌 검색 전략을 사용하였는가?		□ 예 ■ 일부 예 □ 아니오	The search strategy was not limited to any specific type of IA. Patients with other immunocompromised state were combined with the IA group. Searches were conducted on January 25, 2018, within the following databases: Ovid MEDLINE (In-Process & Other Non-Indexed Citations and Ovid MEDLINE 1946 to Present); Ovid EMBASE (1974 to present); and the Cochrane Library (Wiley). The search strategy included all appropriate controlled vocabulary and keywords for “synovial fluid,” “arthritis,” and “prosthesis-related infection.”The full search strategy for Ovid MEDLINE is available in Supplement Table 1. In order to limit publication bias, there were no language, publication date, or article type restrictions on the search strategy.
일부 예 (모두 포함해야 함): ■ 최소한 2개 이상의 (연구질문에 적합한) 데이터베이스를 검색하였다. ■ 키워드와 검색전략을 제시하였다. ■ 출판물 제한(예: 언어)에 대해 정당한 이유를 제시하였다.	예 : 모두 포함해야 함 □ 포함된 연구의 참고문헌 목록 검색 □ 임상시험/연구 레지스트리 검색 □ 해당 분야 내용 전문가를 포함하거나 자문을 받음 □ 해당되는 경우, 회색 문헌 검색 □ 문헌고찰 완료 24개월 이내에 검색 수행
5. 문헌고찰 저자는 연구 선택을 중복으로 수행하였는가?		■ 예 □ 아니오	Two medical librarians performed comprehensive searches to identify studies (중략) After results were de-duplicated, 2 of the 5-member review team independently reviewed and screened a total of 298 citations. Discrepancies were resolved by a third reviewer.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 독립적으로 적격 연구를 선택하고, 최종 포함여부를 합의하였다. □ 혹은 두 명의 평가자가 일부 표본에 대해 적격연구를 선정하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 문헌 선정을 하였다.
6. 문헌고찰 저자는 자료추출을 중복으로 수행하였는가?		■ 예 □ 아니오	문헌선정과 동일하게 독립적으로 수행하였을 것으로 판단함
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 포함된 문헌의 어떤 자료를 추출할지에 대해 합의에 도달하였다. □ 또는 두 명의 평가자가 일부 적격 연구 표본에서 자료를 추출하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 자료 추출을 하였다.
7. 문헌고찰 저자는 배제 연구에 대한 목록과 합당한 배제사유를 제공하였는가?		□ 예 ■ 일부 예 □ 아니오	figure 1
일부 예 : ■ 전문까지 검토하였지만, 문헌고찰에서 배제된 연구에 대한 목록을 제시	예: 아래 사항도 충족 □ 잠재적으로 관련성이 있는 연구가 문헌 고찰에서 배제된 합당한 이유 제시
8. 문헌고찰저자는 포함된 연구들의 세부사항을 적절히 기술하였는가?		□ 예 □ 일부 예 ■ 아니오	taebl S2, 설명 불충분
일부 예 (아래 모두) ■ 인구집단에 대한 기술 □ 중재에 대한 기술 □ 비교군에 대한 기술 □ 중재결과에 대한 기술 □ 연구설계에 대한 기술	예 : 아래 사항도 모두 충족 □ 인구집단 세부사항에 대한 기술 □ 중재 세부사항에 대한 기술(적절한 경우, 용량 포함) □ 비교군 세부사항에 대한 기술(적절한경우, 용량 포함) □ 연구 세팅에 대한 기술 □ 추적관찰의 시점
9. 문헌고찰저자는 문헌고찰에 포함된 개별 연구의 비뚤림위험(ROB)을 평가하기 위해 만족스러운 도구를 사용하였는가?		■ 예 □ 일부 예 □ 아니오 □ NRSI만 포함	Quality assessment of each study was analyzed using the revised Quality Assessment of Diagnostic Accuracy Studies-2 tool
RCTs 일부 예: 아래 모두에 대한 ROB 평가 □ 배정은폐, 그리고 □ 중재결과 평가시 환자 및 결과 평가자의 눈가림(모든 원인 사망률과 같은 객관적인 중재결과에는 불필요)	예: 아래에 대한 ROB 평가 □ 진정한 무작위 배정 순서, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택 여부
NRSI 일부 예: 아래에 대한 ROB 평가 □ 교란 □ 선택 비뚤림	예: 아래에 대한 ROB 평가 □ 노출과 중재결과 확인위해 사용한 방법, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택	□ 예 □ 일부 예 □ 아니오 □ RCT만 포함
10. 문헌고찰 저자는 고찰에 포함된 연구들의 자금 출처에 대해 보고하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 문헌고찰에 포함된 연구의 자금출처에 대해 보고해야 한다. 주 : 평가자가 살펴보았지만 일차연구 저자가 보고하지 않은 경우도 해당됨
11. 메타분석을 수행하였다면, 문헌고찰 저자는 이에 대한 합당한 이유를 제시하였고, 연구결과의 통계학적 결 합을 위해 적절한 방법을 사용하였는가?		□ 예 □ 아니오 ■ 메타분석 없음
RCTs 예 : □ 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 이질성의 원인에 대한 조사를 하였다
NRSI 예 : □ 저자는 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 NRSI의 교란변수를 보정한 효과추정치를 결합하였거나, 보정 효과 추정치를 결합할 수 없을 때만 원 자료를 결합하였다. □ 그리고 RCT와 NRSI 모두가 고찰에 포함되었을 때, 무작위 배정 비교임상시험과 중재 비무작위연구의 요약 추정치를 별도로 보고하였다.		□ 예 □ 아니오 □ 메타분석 없음
12. 메타분석을 수행하였다면, 문헌고찰 저자는 개별 연구의 비뚤림위험이 메타분석 연구결과나 다른 근거 합성에 미칠 잠재적 영향을 평가하였는가?		□ 예 □ 아니오 ■ 메타분석 없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 다양한 비뚤림위험을 가진 RCT나 NRSI를 포함한 경우 효과의 요약 추정치에 비뚤림 위험이 어떤 영향을 미치는지 조사하였다.
13. 문헌고찰저자는 고찰 결과를 해석/논의할 때 개별 연구의 비뚤림위험을 고려하였는가?		□ 예 ■ 아니오	QUADAS 결과 논의하지 않음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 RCT에 중등도 이상의 비뚤림위험이 있거나 문헌고찰에 NRSI를 포함한 경우에 비뚤림위험이 연구결과에 어떤 영향을 미쳤는지에 대해 고찰하였다
14. 문헌고찰저자는 연구결과에서 발견된 이질성에 대해 만족스러운 설명과 고찰을 하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 연구결과에서 유의미한 이질성이 없었다. □ 또는 이질성이 있는 경우, 이질성의 원인에 대해 조사하고, 이질성이 문헌고찰 연구결과에 미치는 영향에 대해 논의하였다.
15. 양적 합성을 하였다면, 문헌고찰저자는 출판비뚤림(소규모연구 비뚤림)에 대한 적절한 조사를 수행하고, 문헌고찰 결과에 미칠 수 있는 영향에 대해 고찰하였는가?		□ 예 □ 아니오 ■ 메타분석 없음
예 : □ 출판비뚤림에 대한 그래프 또는 통계적 검증을 수행하고 출판비뚤림의 유무와 영향 정도에 대해 고찰하였다.
16. 문헌고찰 저자는 문헌고찰 수행을 위한 자금지원을 포함하여 잠재적 이해상충에 대해 보고하였는가?		■ 예 □ 아니오	This research did not receive any specific grant from funding agencies in the for public, commercial, or not-for-profit sectors.
예 : ■ 저자는 이해상충이 없다고 보고하였다. 또는 □ 저자가 자금원을 기술하였으며, 잠재적 이해상충을 관리한 방법을 보고하였다.

연번(Ref ID)	13(#486)
1저자(출판연도)	Wang(2021)
질문		판단	판단근거
1. 체계적 문헌고찰의 연구질문과 포함기준에는 PICO의 구성요소가 포함되었는가?		■ 예 □ 아니오	to evaluate the diagnostic accuracy of d-dimer in the diagnosis of PJI
예 : ■ 인구집단(P) ■ 중재(I) ■ 비교군(C) ■ 중재결과(O)	선택(권고)사항 □ 추적관찰 시점
2. 체계적 문헌고찰 방법론이 실제 문헌고찰을 시행하기 전에 확립되었으며 보고서에는 프로토콜로부터 중대한 이탈이 있는 경우 이에 대한 정당화(합당한 이유)가 제시되었나?’		□ 예 □ 일부 예 ■ 아니오	언급없음
일부 예 : 저자는 아래 모두를 포함하는 서면 프로토콜 또는 가이드를 가지고 있다고 진술하고 있다. □ 문헌고찰 질문 □ 검색전략 □ 포함기준 □ 비뚤림위험 평가	일부 예에 더하여: 추가로 프로토콜이 등록되어 있고, 아래 사항이 명시되어있다. □ 해당되는 경우 메타분석/합성 계획, 그리고 □ 이질성 원인에 대한 조사 계획 □ 프로토콜 이탈에 대한 정당화(합당한 이유)
3. 문헌고찰 저자는 문헌고찰에 포함될 연구설계 선택에 대해 설명하였나?		■ 예 □ 아니오	진단검사퍙가연구 (2) provided true-positive (TP), falsepositive (FP), true-negative (TN), and false-negative (FN) data directly or indirectly; (3) diagnosed PJI based on internationally recognized standards,
예: 아래 중 하나 충족: □ 무작위 배정 비교임상시험(RCT)만 포함하는 것에 대해 설명 □ 혹은, 중재 비무작위연구만(NRSI)만 포함하는 것에 대해 설명 □ 혹은, 무작위 배정 비교임상시험과 중재 비무작위 연구 모두를 포함하는 것에 대해 설명
4. 문헌고찰 저자는 포괄적인 문헌 검색 전략을 사용하였는가?		□ 예 ■ 일부 예 □ 아니오	In phase 1, we searched original articles published from 2011 (the release of the MSIS criteria) to March 2020 using the MEDLINE, Embase, PubMed, and Cochrane Library websites. By using a Boolean strategy, all search terms included (‘‘periprosthetic joint infection’’ OR ‘‘PJI’’ OR ‘‘periprosthetic infection’’ OR ‘‘prosthetic joint infection’’ OR ‘‘prosthetic infection’’ OR ‘‘prosthesisrelated infections’’) AND (‘‘d-dimer’’ OR ‘‘dimer’’ OR ‘‘d-dimmer’’ OR ‘‘DD’’ OR ‘‘coagulation’’ OR ‘‘fibrinolysis’’). written in English.
일부 예 (모두 포함해야 함): ■ 최소한 2개 이상의 (연구질문에 적합한) 데이터베이스를 검색하였다. ■ 키워드와 검색전략을 제시하였다. ■ 출판물 제한(예: 언어)에 대해 정당한 이유를 제시하였다.	예 : 모두 포함해야 함 ■ 포함된 연구의 참고문헌 목록 검색 □ 임상시험/연구 레지스트리 검색 □ 해당 분야 내용 전문가를 포함하거나 자문을 받음 □ 해당되는 경우, 회색 문헌 검색 □ 문헌고찰 완료 24개월 이내에 검색 수행
5. 문헌고찰 저자는 연구 선택을 중복으로 수행하였는가?		■ 예 □ 아니오	the title and abstract of each included study were screened independently by two researchers.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 독립적으로 적격 연구를 선택하고, 최종 포함여부를 합의하였다. □ 혹은 두 명의 평가자가 일부 표본에 대해 적격연구를 선정하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 문헌 선정을 하였다.
6. 문헌고찰 저자는 자료추출을 중복으로 수행하였는가?		■ 예 □ 아니오	The information was collected independently by two researchers, and any disagreement was resolved by a third researcher.
예: 아래 중 하나 충족: □ 최소한 두 명의 평가자가 포함된 문헌의 어떤 자료를 추출할지에 대해 합의에 도달하였다. □ 또는 두 명의 평가자가 일부 적격 연구 표본에서 자료를 추출하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 자료 추출을 하였다.
7. 문헌고찰 저자는 배제 연구에 대한 목록과 합당한 배제사유를 제공하였는가?		■ 예 □ 일부 예 □ 아니오	figure 1
일부 예 : ■ 전문까지 검토하였지만, 문헌고찰에서 배제된 연구에 대한 목록을 제시	예: 아래 사항도 충족 □ 잠재적으로 관련성이 있는 연구가 문헌 고찰에서 배제된 합당한 이유 제시
8. 문헌고찰저자는 포함된 연구들의 세부사항을 적절히 기술하였는가?		□ 예 □ 일부 예 ■ 아니오	table 1, 설명 불충분
일부 예 (아래 모두) ■ 인구집단에 대한 기술 ■ 중재에 대한 기술 □ 비교군에 대한 기술 □ 중재결과에 대한 기술 ■ 연구설계에 대한 기술	예 : 아래 사항도 모두 충족 □ 인구집단 세부사항에 대한 기술 □ 중재 세부사항에 대한 기술(적절한 경우, 용량 포함) □ 비교군 세부사항에 대한 기술(적절한경우, 용량 포함) □ 연구 세팅에 대한 기술 □ 추적관찰의 시점
9. 문헌고찰저자는 문헌고찰에 포함된 개별 연구의 비뚤림위험(ROB)을 평가하기 위해 만족스러운 도구를 사용하였는가?		■ 예 □ 일부 예 □ 아니오 □ NRSI만 포함	Two researchers assessed independently the quality of each included study by using the Quality Assessment of Diagnostic Accuracy Studies-2 (QUADAS-2)
RCTs 일부 예: 아래 모두에 대한 ROB 평가 □ 배정은폐, 그리고 □ 중재결과 평가시 환자 및 결과 평가자의 눈가림(모든 원인 사망률과 같은 객관적인 중재결과에는 불필요)	예: 아래에 대한 ROB 평가 □ 진정한 무작위 배정 순서, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택 여부
NRSI 일부 예: 아래에 대한 ROB 평가 □ 교란 □ 선택 비뚤림	예: 아래에 대한 ROB 평가 □ 노출과 중재결과 확인위해 사용한 방법, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택	□ 예 □ 일부 예 □ 아니오 □ RCT만 포함
10. 문헌고찰 저자는 고찰에 포함된 연구들의 자금 출처에 대해 보고하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 문헌고찰에 포함된 연구의 자금출처에 대해 보고해야 한다. 주 : 평가자가 살펴보았지만 일차연구 저자가 보고하지 않은 경우도 해당됨
11. 메타분석을 수행하였다면, 문헌고찰 저자는 이에 대한 합당한 이유를 제시하였고, 연구결과의 통계학적 결 합을 위해 적절한 방법을 사용하였는가?		■ 예 □ 아니오 □ 메타분석 없음	The pooled diagnostic parameters, including pooled sensitivity, specificity, positive likelihood ratio (PLR), negative likelihood ratio (NLR), diagnostic odds ratio (DOR), and 95% confidence intervals (CIs), were performed by the midas commands of Stata. Forest plots were constructed to summarize the results and heterogeneity statistics. The summary receiver operating characteristic (SROC) curve was plotted, and the AUC value was calculated to evaluate the diagnostic value. The percentage of the total variation across studies was described by the I 2 statistic, which indicated significant heterogeneity when I 2 >50%, mild heterogeneity when I 2 was between 25% and 50%, and no heterogeneity when I 2 <25%. Heterogeneity caused by the threshold effect was evaluated by the Spearman correlation coefficient, and threshold effects were considered significant when the two-sided p < 0.05. A univariate meta-regression was performed to determine the potential source of heterogeneity, and the publication bias was examined by using the Deeks funnel plot asymmetry test.
RCTs 예 : ■ 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. ■ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. ■ 그리고 이질성의 원인에 대한 조사를 하였다
NRSI 예 : □ 저자는 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 NRSI의 교란변수를 보정한 효과추정치를 결합하였거나, 보정 효과 추정치를 결합할 수 없을 때만 원 자료를 결합하였다. □ 그리고 RCT와 NRSI 모두가 고찰에 포함되었을 때, 무작위 배정 비교임상시험과 중재 비무작위연구의 요약 추정치를 별도로 보고하였다.		□ 예 □ 아니오 □ 메타분석 없음
12. 메타분석을 수행하였다면, 문헌고찰 저자는 개별 연구의 비뚤림위험이 메타분석 연구결과나 다른 근거 합성에 미칠 잠재적 영향을 평가하였는가?		□ 예 ■ 아니오 □ 메타분석 없음	언급없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 다양한 비뚤림위험을 가진 RCT나 NRSI를 포함한 경우 효과의 요약 추정치에 비뚤림 위험이 어떤 영향을 미치는지 조사하였다.
13. 문헌고찰저자는 고찰 결과를 해석/논의할 때 개별 연구의 비뚤림위험을 고려하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 RCT에 중등도 이상의 비뚤림위험이 있거나 문헌고찰에 NRSI를 포함한 경우에 비뚤림위험이 연구결과에 어떤 영향을 미쳤는지에 대해 고찰하였다
14. 문헌고찰저자는 연구결과에서 발견된 이질성에 대해 만족스러운 설명과 고찰을 하였는가?		■ 예 □ 아니오	The Spearman correlation coefficient of d-dimer was -0.150 with a p value of 0.700, suggesting that the threshold effects were not considered significant and that the heterogeneity was not caused by the threshold effects. figure 4, table 2
예 : □ 연구결과에서 유의미한 이질성이 없었다. ■ 또는 이질성이 있는 경우, 이질성의 원인에 대해 조사하고, 이질성이 문헌고찰 연구결과에 미치는 영향에 대해 논의하였다.
15. 양적 합성을 하였다면, 문헌고찰저자는 출판비뚤림(소규모연구 비뚤림)에 대한 적절한 조사를 수행하고, 문헌고찰 결과에 미칠 수 있는 영향에 대해 고찰하였는가?		■ 예 □ 아니오 □ 메타분석 없음	figure 5 Figure 5 shows Deeks funnel plot asymmetry test of d-dimer with a p value of 0.46, suggesting that publication bias was not significant.
예 : ■ 출판비뚤림에 대한 그래프 또는 통계적 검증을 수행하고 출판비뚤림의 유무와 영향 정도에 대해 고찰하였다.
16. 문헌고찰 저자는 문헌고찰 수행을 위한 자금지원을 포함하여 잠재적 이해상충에 대해 보고하였는가?		■ 예 □ 아니오	No competing financial interests exist.
예 : ■ 저자는 이해상충이 없다고 보고하였다. 또는 □ 저자가 자금원을 기술하였으며, 잠재적 이해상충을 관리한 방법을 보고하였다.

연번(Ref ID)	14(#540)
1저자(출판연도)	Zhang(2021b)
질문		판단	판단근거
1. 체계적 문헌고찰의 연구질문과 포함기준에는 PICO의 구성요소가 포함되었는가?		■ 예 □ 아니오	valuate and compare the accuracy of circulating D-dimer and fibrinogen in the diagnosis of suspected PJI
예 : ■ 인구집단(P) ■ 중재(I) ■ 비교군(C) ■ 중재결과(O)	선택(권고)사항 □ 추적관찰 시점
2. 체계적 문헌고찰 방법론이 실제 문헌고찰을 시행하기 전에 확립되었으며 보고서에는 프로토콜로부터 중대한 이탈이 있는 경우 이에 대한 정당화(합당한 이유)가 제시되었나?’		□ 예 □ 일부 예 ■ 아니오	언급없음
일부 예 : 저자는 아래 모두를 포함하는 서면 프로토콜 또는 가이드를 가지고 있다고 진술하고 있다. □ 문헌고찰 질문 □ 검색전략 □ 포함기준 □ 비뚤림위험 평가	일부 예에 더하여: 추가로 프로토콜이 등록되어 있고, 아래 사항이 명시되어있다. □ 해당되는 경우 메타분석/합성 계획, 그리고 □ 이질성 원인에 대한 조사 계획 □ 프로토콜 이탈에 대한 정당화(합당한 이유)
3. 문헌고찰 저자는 문헌고찰에 포함될 연구설계 선택에 대해 설명하였나?		■ 예 □ 아니오	Studies included in the systematic review needed to meet the following criteria: (1) study design—diagnostic accuracy study;(중략) (5) adequate data could be extracted to construct a 2 · 2 contingency table to determine the diagnostic performance of index tests.
예: 아래 중 하나 충족: □ 무작위 배정 비교임상시험(RCT)만 포함하는 것에 대해 설명 □ 혹은, 중재 비무작위연구만(NRSI)만 포함하는 것에 대해 설명 □ 혹은, 무작위 배정 비교임상시험과 중재 비무작위 연구 모두를 포함하는 것에 대해 설명
4. 문헌고찰 저자는 포괄적인 문헌 검색 전략을 사용하였는가?		□ 예 ■ 일부 예 □ 아니오	Three electronic databases including PubMed, EMBASE, and the Cochrane Library were searched for entries recorded from the time of database inception to August 1, 2019. Vocabulary and syntax were adapted specifically according to the database. We used ‘‘peri-prosthetic joint infection’’ or ‘‘prosthesis related infection’’ as our diagnosis of interest and ‘‘D-dimer’’ or ‘‘fibrinogen’’ as our target index. No language limitation was applied. Reference lists of relevant articles were also screened manually for any additionally possible records.
일부 예 (모두 포함해야 함): ■ 최소한 2개 이상의 (연구질문에 적합한) 데이터베이스를 검색하였다. ■ 키워드와 검색전략을 제시하였다. ■ 출판물 제한(예: 언어)에 대해 정당한 이유를 제시하였다.	예 : 모두 포함해야 함 ■ 포함된 연구의 참고문헌 목록 검색 □ 임상시험/연구 레지스트리 검색 □ 해당 분야 내용 전문가를 포함하거나 자문을 받음 □ 해당되는 경우, 회색 문헌 검색 □ 문헌고찰 완료 24개월 이내에 검색 수행
5. 문헌고찰 저자는 연구 선택을 중복으로 수행하였는가?		■ 예 □ 아니오	Searching for studies, identification of eligibility, data extraction, and quality assessment were performed by two investigators independently. Any disagreement was resolved through discussion, and two researchers had to come to a consensus.
예: 아래 중 하나 충족: □ 최소한 두 명의 평가자가 독립적으로 적격 연구를 선택하고, 최종 포함여부를 합의하였다. □ 혹은 두 명의 평가자가 일부 표본에 대해 적격연구를 선정하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 문헌 선정을 하였다.
6. 문헌고찰 저자는 자료추출을 중복으로 수행하였는가?		■ 예 □ 아니오	Searching for studies, identification of eligibility, data extraction, and quality assessment were performed by two investigators independently. Any disagreement was resolved through discussion, and two researchers had to come to a consensus.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 포함된 문헌의 어떤 자료를 추출할지에 대해 합의에 도달하였다. □ 또는 두 명의 평가자가 일부 적격 연구 표본에서 자료를 추출하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 자료 추출을 하였다.
7. 문헌고찰 저자는 배제 연구에 대한 목록과 합당한 배제사유를 제공하였는가?		□ 예 ■ 일부 예 □ 아니오	figure 1
일부 예 : ■ 전문까지 검토하였지만, 문헌고찰에서 배제된 연구에 대한 목록을 제시	예: 아래 사항도 충족 □ 잠재적으로 관련성이 있는 연구가 문헌 고찰에서 배제된 합당한 이유 제시
8. 문헌고찰저자는 포함된 연구들의 세부사항을 적절히 기술하였는가?		□ 예 ■ 일부 예 □ 아니오	table 1
일부 예 (아래 모두) ■ 인구집단에 대한 기술 ■ 중재에 대한 기술 ■ 비교군에 대한 기술 ■ 중재결과에 대한 기술 ■ 연구설계에 대한 기술	예 : 아래 사항도 모두 충족 □ 인구집단 세부사항에 대한 기술 ■ 중재 세부사항에 대한 기술(적절한 경우, 용량 포함) ■ 비교군 세부사항에 대한 기술(적절한경우, 용량 포함) □ 연구 세팅에 대한 기술 □ 추적관찰의 시점
9. 문헌고찰저자는 문헌고찰에 포함된 개별 연구의 비뚤림위험(ROB)을 평가하기 위해 만족스러운 도구를 사용하였는가?		■ 예 □ 일부 예 □ 아니오 □ NRSI만 포함	QAUDAS-2
RCTs 일부 예: 아래 모두에 대한 ROB 평가 □ 배정은폐, 그리고 □ 중재결과 평가시 환자 및 결과 평가자의 눈가림(모든 원인 사망률과 같은 객관적인 중재결과에는 불필요)	예: 아래에 대한 ROB 평가 □ 진정한 무작위 배정 순서, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택 여부
NRSI 일부 예: 아래에 대한 ROB 평가 □ 교란 □ 선택 비뚤림	예: 아래에 대한 ROB 평가 □ 노출과 중재결과 확인위해 사용한 방법, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택	□ 예 □ 일부 예 □ 아니오 □ RCT만 포함
10. 문헌고찰 저자는 고찰에 포함된 연구들의 자금 출처에 대해 보고하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 문헌고찰에 포함된 연구의 자금출처에 대해 보고해야 한다. 주 : 평가자가 살펴보았지만 일차연구 저자가 보고하지 않은 경우도 해당됨
11. 메타분석을 수행하였다면, 문헌고찰 저자는 이에 대한 합당한 이유를 제시하였고, 연구결과의 통계학적 결 합을 위해 적절한 방법을 사용하였는가?		□ 예 ■ 아니오 □ 메타분석 없음	For the diagnostic modalities, TP, FP, TN, and FN results were derived from a 2 · 2 contingency table. A meta-analysis was conducted to evaluate the accuracy of biomarkers by calculating the pooled sensitivity, specificity, positive likelihood ratio (PLR), negative likelihood ratio (NLR), diagnostic odds ratio (DOR), summary receiver operating characteristic (sROC) curves, and the area under the sROC curve (AUC) along with their 95% confidence intervals (CIs) utilizing the original diagnostic data after the threshold effect was tested by calculating the logarithm of sensitivity and the logarithm of 1-specificity. Heterogeneity among included studies was assessed using the I 2 statistic. An I 2 value of 0%– 50% implied no observed heterogeneity, and values of >50% indicated substantial heterogeneity. 이질성에 대한 보정없음
RCTs 예 : ■ 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 이질성의 원인에 대한 조사를 하였다
NRSI 예 : □ 저자는 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 NRSI의 교란변수를 보정한 효과추정치를 결합하였거나, 보정 효과 추정치를 결합할 수 없을 때만 원 자료를 결합하였다. □ 그리고 RCT와 NRSI 모두가 고찰에 포함되었을 때, 무작위 배정 비교임상시험과 중재 비무작위연구의 요약 추정치를 별도로 보고하였다.		□ 예 □ 아니오 □ 메타분석 없음
12. 메타분석을 수행하였다면, 문헌고찰 저자는 개별 연구의 비뚤림위험이 메타분석 연구결과나 다른 근거 합성에 미칠 잠재적 영향을 평가하였는가?		□ 예 ■ 아니오 □ 메타분석 없음	언급없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 다양한 비뚤림위험을 가진 RCT나 NRSI를 포함한 경우 효과의 요약 추정치에 비뚤림 위험이 어떤 영향을 미치는지 조사하였다.
13. 문헌고찰저자는 고찰 결과를 해석/논의할 때 개별 연구의 비뚤림위험을 고려하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 RCT에 중등도 이상의 비뚤림위험이 있거나 문헌고찰에 NRSI를 포함한 경우에 비뚤림위험이 연구결과에 어떤 영향을 미쳤는지에 대해 고찰하였다
14. 문헌고찰저자는 연구결과에서 발견된 이질성에 대해 만족스러운 설명과 고찰을 하였는가?		■ 예 □ 아니오	The estimation of the Spearman correlation coefficient (p = 0.057) indicated the absence of threshold effect. Third, evidence of heterogeneity in data concerning diagnostic accuracy existed throughout included studies, which may be related to the source of samples (serum or plasma), various cutoff values, racial difference of enrolled participants, and heterogenous type of TJA (early post-operative, late chronic, acute hematogenous, and positive intraoperative cultures) across studies. Therefore, we emphasized the pooled DOR and AUC, which are global measures that encompass sensitivity, specificity, PLR, and NLR, as our main outcome of interest to reduce the influence of heterogeneity on the conclusion. Last yet important, during data merging, subgroup analysis was not conducted because of the limited number of studies.
예 : □ 연구결과에서 유의미한 이질성이 없었다. ■ 또는 이질성이 있는 경우, 이질성의 원인에 대해 조사하고, 이질성이 문헌고찰 연구결과에 미치는 영향에 대해 논의하였다.
15. 양적 합성을 하였다면, 문헌고찰저자는 출판비뚤림(소규모연구 비뚤림)에 대한 적절한 조사를 수행하고, 문헌고찰 결과에 미칠 수 있는 영향에 대해 고찰하였는가?		■ 예 □ 아니오 □ 메타분석 없음	The Deeks funnel plot asymmetry test revealed no publication bias (p = 0.20)
예 : ■ 출판비뚤림에 대한 그래프 또는 통계적 검증을 수행하고 출판비뚤림의 유무와 영향 정도에 대해 고찰하였다.
16. 문헌고찰 저자는 문헌고찰 수행을 위한 자금지원을 포함하여 잠재적 이해상충에 대해 보고하였는가?		■ 예 □ 아니오	No competing financial interests exist.
예 : ■ 저자는 이해상충이 없다고 보고하였다. 또는 □ 저자가 자금원을 기술하였으며, 잠재적 이해상충을 관리한 방법을 보고하였다.

연번(Ref ID)	15(#1245)
1저자(출판연도)	Lu(2020)
질문		판단	판단근거
1. 체계적 문헌고찰의 연구질문과 포함기준에는 PICO의 구성요소가 포함되었는가?		■ 예 □ 아니오	summarize all the studies on PSI diagnosis and determine the most valuable method to diagnose PSI
예 : ■ 인구집단(P) ■ 중재(I) ■ 비교군(C) ■ 중재결과(O)	선택(권고)사항 □ 추적관찰 시점
2. 체계적 문헌고찰 방법론이 실제 문헌고찰을 시행하기 전에 확립되었으며 보고서에는 프로토콜로부터 중대한 이탈이 있는 경우 이에 대한 정당화(합당한 이유)가 제시되었나?’		□ 예 □ 일부 예 ■ 아니오	언급없음
일부 예 : 저자는 아래 모두를 포함하는 서면 프로토콜 또는 가이드를 가지고 있다고 진술하고 있다. □ 문헌고찰 질문 □ 검색전략 □ 포함기준 □ 비뚤림위험 평가	일부 예에 더하여: 추가로 프로토콜이 등록되어 있고, 아래 사항이 명시되어있다. □ 해당되는 경우 메타분석/합성 계획, 그리고 □ 이질성 원인에 대한 조사 계획 □ 프로토콜 이탈에 대한 정당화(합당한 이유)
3. 문헌고찰 저자는 문헌고찰에 포함될 연구설계 선택에 대해 설명하였나?		■ 예 □ 아니오	we included all cohort studies and case-control trials. Eligible studies have reference criteria for the diagnosis of prosthetic joint infection and have to report sufficient data to enable us to calculate True Positive (TP), False Positive (FP), True Negative (TN), and False Negative (FN).
예: 아래 중 하나 충족: □ 무작위 배정 비교임상시험(RCT)만 포함하는 것에 대해 설명 □ 혹은, 중재 비무작위연구만(NRSI)만 포함하는 것에 대해 설명 □ 혹은, 무작위 배정 비교임상시험과 중재 비무작위 연구 모두를 포함하는 것에 대해 설명
4. 문헌고찰 저자는 포괄적인 문헌 검색 전략을 사용하였는가?		□ 예 ■ 일부 예 □ 아니오	We systematically searched all the literature about the diagnosis for periprosthetic infection of the shoulder joint in the MEDLINE, EMBASE, and Cochrane databases (from the inception of each database until January 1, 2020) without language restrictions. With the use of Boolean strategy, subject and random words included (1) (Arthroplasty, Shoulder) OR (shoulder arthroplasty) OR shoulder replacement); (2) (periprosthetic infection) OR prosthetic joint infection) OR (periprosthetic joint infection) OR PJI; and (3) (diagnostic test) OR diagnosis. We also searched for the references in the included studies.
일부 예 (모두 포함해야 함): ■ 최소한 2개 이상의 (연구질문에 적합한) 데이터베이스를 검색하였다. ■ 키워드와 검색전략을 제시하였다. ■ □ 출판물 제한(예: 언어)에 대해 정당한 이유를 제시하였다.	예 : 모두 포함해야 함 ■ 포함된 연구의 참고문헌 목록 검색 □ 임상시험/연구 레지스트리 검색 □ 해당 분야 내용 전문가를 포함하거나 자문을 받음 □ 해당되는 경우, 회색 문헌 검색 □ 문헌고찰 완료 24개월 이내에 검색 수행
5. 문헌고찰 저자는 연구 선택을 중복으로 수행하였는가?		■ 예 □ 아니오	Two authors independently screened the titles and abstracts of all studies according to the eligibility criteria. Then, the full texts were screened to confirm their qualifications. Any differences were resolved by the third author.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 독립적으로 적격 연구를 선택하고, 최종 포함여부를 합의하였다. □ 혹은 두 명의 평가자가 일부 표본에 대해 적격연구를 선정하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 문헌 선정을 하였다.
6. 문헌고찰 저자는 자료추출을 중복으로 수행하였는가?		■ 예 □ 아니오	Two authors independently classified all studies and extracted data using standardized scales. We extracted all baseline data (author, publication year, country, average age, gender distribution, joint type, and diagnostic criteria) and outcome indicators sensitivity, specificity, PLR, NLR, DOR, AUC, and other indicators). Any sifferences were resolved through the third author.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 포함된 문헌의 어떤 자료를 추출할지에 대해 합의에 도달하였다. □ 또는 두 명의 평가자가 일부 적격 연구 표본에서 자료를 추출하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 자료 추출을 하였다.
7. 문헌고찰 저자는 배제 연구에 대한 목록과 합당한 배제사유를 제공하였는가?		□ 예 ■ 일부 예 □ 아니오	figure 1
일부 예 : ■ 전문까지 검토하였지만, 문헌고찰에서 배제된 연구에 대한 목록을 제시	예: 아래 사항도 충족 □ 잠재적으로 관련성이 있는 연구가 문헌 고찰에서 배제된 합당한 이유 제시
8. 문헌고찰저자는 포함된 연구들의 세부사항을 적절히 기술하였는가?		□ 예 ■ 일부 예 □ 아니오	Appendix table 1 & 3
일부 예 (아래 모두) ■ 인구집단에 대한 기술 ■ 중재에 대한 기술 ■ 비교군에 대한 기술 ■ 중재결과에 대한 기술 ■ 연구설계에 대한 기술	예 : 아래 사항도 모두 충족 □ 인구집단 세부사항에 대한 기술 ■ 중재 세부사항에 대한 기술(적절한 경우, 용량 포함) ■ 비교군 세부사항에 대한 기술(적절한경우, 용량 포함) □ 연구 세팅에 대한 기술 □ 추적관찰의 시점
9. 문헌고찰저자는 문헌고찰에 포함된 개별 연구의 비뚤림위험(ROB)을 평가하기 위해 만족스러운 도구를 사용하였는가?		■ 예 □ 일부 예 □ 아니오 □ NRSI만 포함	The quality of each included study was evaluated using the QUADAS-2 tool,
RCTs 일부 예: 아래 모두에 대한 ROB 평가 □ 배정은폐, 그리고 □ 중재결과 평가시 환자 및 결과 평가자의 눈가림(모든 원인 사망률과 같은 객관적인 중재결과에는 불필요)	예: 아래에 대한 ROB 평가 □ 진정한 무작위 배정 순서, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택 여부
NRSI 일부 예: 아래에 대한 ROB 평가 □ 교란 □ 선택 비뚤림	예: 아래에 대한 ROB 평가 □ 노출과 중재결과 확인위해 사용한 방법, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택	□ 예 □ 일부 예 □ 아니오 □ RCT만 포함
10. 문헌고찰 저자는 고찰에 포함된 연구들의 자금 출처에 대해 보고하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 문헌고찰에 포함된 연구의 자금출처에 대해 보고해야 한다. 주 : 평가자가 살펴보았지만 일차연구 저자가 보고하지 않은 경우도 해당됨
11. 메타분석을 수행하였다면, 문헌고찰 저자는 이에 대한 합당한 이유를 제시하였고, 연구결과의 통계학적 결 합을 위해 적절한 방법을 사용하였는가?		■ 예 □ 아니오 □ 메타분석 없음	We executed the bivariate meta-analysis framework to pool sensitivity, specificity, PLR, NLR, DOR, and AUC by using the “Midas” command. (중략) I2 was used to evaluate the heterogeneity of the study included in this meta-analysis.
RCTs 예 : □ 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 이질성의 원인에 대한 조사를 하였다
NRSI 예 : □ 저자는 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 NRSI의 교란변수를 보정한 효과추정치를 결합하였거나, 보정 효과 추정치를 결합할 수 없을 때만 원 자료를 결합하였다. □ 그리고 RCT와 NRSI 모두가 고찰에 포함되었을 때, 무작위 배정 비교임상시험과 중재 비무작위연구의 요약 추정치를 별도로 보고하였다.		□ 예 □ 아니오 □ 메타분석 없음
12. 메타분석을 수행하였다면, 문헌고찰 저자는 개별 연구의 비뚤림위험이 메타분석 연구결과나 다른 근거 합성에 미칠 잠재적 영향을 평가하였는가?		□ 예 ■ 아니오 □ 메타분석 없음	언급없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 다양한 비뚤림위험을 가진 RCT나 NRSI를 포함한 경우 효과의 요약 추정치에 비뚤림 위험이 어떤 영향을 미치는지 조사하였다.
13. 문헌고찰저자는 고찰 결과를 해석/논의할 때 개별 연구의 비뚤림위험을 고려하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 RCT에 중등도 이상의 비뚤림위험이 있거나 문헌고찰에 NRSI를 포함한 경우에 비뚤림위험이 연구결과에 어떤 영향을 미쳤는지에 대해 고찰하였다
14. 문헌고찰저자는 연구결과에서 발견된 이질성에 대해 만족스러운 설명과 고찰을 하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 연구결과에서 유의미한 이질성이 없었다. □ 또는 이질성이 있는 경우, 이질성의 원인에 대해 조사하고, 이질성이 문헌고찰 연구결과에 미치는 영향에 대해 논의하였다.
15. 양적 합성을 하였다면, 문헌고찰저자는 출판비뚤림(소규모연구 비뚤림)에 대한 적절한 조사를 수행하고, 문헌고찰 결과에 미칠 수 있는 영향에 대해 고찰하였는가?		□ 예 ■ 아니오 □ 메타분석 없음	언급없음
예 : □ 출판비뚤림에 대한 그래프 또는 통계적 검증을 수행하고 출판비뚤림의 유무와 영향 정도에 대해 고찰하였다.
16. 문헌고찰 저자는 문헌고찰 수행을 위한 자금지원을 포함하여 잠재적 이해상충에 대해 보고하였는가?		■ 예 □ 아니오	The authors, their immediate family, and any research foundation with which they are affiliated have not received any financial payments or other benefits from any commercial entity related to the subject of this article.
예 : ■ 저자는 이해상충이 없다고 보고하였다. 또는 □ 저자가 자금원을 기술하였으며, 잠재적 이해상충을 관리한 방법을 보고하였다.

연번(Ref ID)	16(#1659)
1저자(출판연도)	Tat(2023)
질문		판단	판단근거
1. 체계적 문헌고찰의 연구질문과 포함기준에는 PICO의 구성요소가 포함되었는가?		■ 예 □ 아니오	The aim of our systematic review was to determine the sensitivity, specificity, positive predictive value (PPV), and negative predictive value (NPV) of preoperative arthroscopic tissue cultures and compare the results with tissue biopsy specimens obtained at the time of revision surgery. We hypothesized that arthroscopic tissue cultures would be comparable to the current gold standard of intraoperative tissue cultures during revision surgery.
예 : ■ 인구집단(P) ■ 중재(I) ■ 비교군(C) ■ 중재결과(O)	선택(권고)사항 □ 추적관찰 시점
2. 체계적 문헌고찰 방법론이 실제 문헌고찰을 시행하기 전에 확립되었으며 보고서에는 프로토콜로부터 중대한 이탈이 있는 경우 이에 대한 정당화(합당한 이유)가 제시되었나?’		□ 예 □ 일부 예 ■ 아니오	언급없음
일부 예 : 저자는 아래 모두를 포함하는 서면 프로토콜 또는 가이드를 가지고 있다고 진술하고 있다. □ 문헌고찰 질문 □ 검색전략 □ 포함기준 □ 비뚤림위험 평가	일부 예에 더하여: 추가로 프로토콜이 등록되어 있고, 아래 사항이 명시되어있다. □ 해당되는 경우 메타분석/합성 계획, 그리고 □ 이질성 원인에 대한 조사 계획 □ 프로토콜 이탈에 대한 정당화(합당한 이유)
3. 문헌고찰 저자는 문헌고찰에 포함될 연구설계 선택에 대해 설명하였나?		■ 예 □ 아니오	We were especially interested in studies that quantified the diagnostic value using sensitivity, specificity, PPV, and NPV.(중략) Review articles, commentaries, and case reports were not included.
예: 아래 중 하나 충족: □ 무작위 배정 비교임상시험(RCT)만 포함하는 것에 대해 설명 □ 혹은, 중재 비무작위연구만(NRSI)만 포함하는 것에 대해 설명 □ 혹은, 무작위 배정 비교임상시험과 중재 비무작위 연구 모두를 포함하는 것에 대해 설명
4. 문헌고찰 저자는 포괄적인 문헌 검색 전략을 사용하였는가?		□ 예 ■ 일부 예 □ 아니오	We conducted a systematic search of multiple databases including the MEDLINE, Embase, and Cochrane Central databases from inception to August 19, 2022, with an experienced health sciences librarian. Our search terms included shoulder joint, arthroplasty, replacement, shoulder prosthesis, metal-on-metal joint prosthesis, bone implant interface, arthroscopy, minimally invasive surgical procedure, biopsy, infection, and prosthesis-related infections. Only English-language and human studies were included. We then manually reviewed the references for relevant studies
일부 예 (모두 포함해야 함): ■ 최소한 2개 이상의 (연구질문에 적합한) 데이터베이스를 검색하였다. ■ 키워드와 검색전략을 제시하였다. ■ 출판물 제한(예: 언어)에 대해 정당한 이유를 제시하였다.	예 : 모두 포함해야 함 ■ 포함된 연구의 참고문헌 목록 검색 □ 임상시험/연구 레지스트리 검색 □ 해당 분야 내용 전문가를 포함하거나 자문을 받음 □ 해당되는 경우, 회색 문헌 검색 □ 문헌고찰 완료 24개월 이내에 검색 수행
5. 문헌고찰 저자는 연구 선택을 중복으로 수행하였는가?		□ 예 ■ 아니오	언급없음
예: 아래 중 하나 충족: □ 최소한 두 명의 평가자가 독립적으로 적격 연구를 선택하고, 최종 포함여부를 합의하였다. □ 혹은 두 명의 평가자가 일부 표본에 대해 적격연구를 선정하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 문헌 선정을 하였다.
6. 문헌고찰 저자는 자료추출을 중복으로 수행하였는가?		■ 예 □ 아니오	The data were extracted by 2 independent reviewers. Extracted data included data on study characteristics, study population, demographic characteristics, clinical characteristics, and statistical analyses.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 포함된 문헌의 어떤 자료를 추출할지에 대해 합의에 도달하였다. □ 또는 두 명의 평가자가 일부 적격 연구 표본에서 자료를 추출하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 자료 추출을 하였다.
7. 문헌고찰 저자는 배제 연구에 대한 목록과 합당한 배제사유를 제공하였는가?		□ 예 ■ 일부 예 □ 아니오	figure 1
일부 예 : ■ 전문까지 검토하였지만, 문헌고찰에서 배제된 연구에 대한 목록을 제시	예: 아래 사항도 충족 □ 잠재적으로 관련성이 있는 연구가 문헌 고찰에서 배제된 합당한 이유 제시
8. 문헌고찰저자는 포함된 연구들의 세부사항을 적절히 기술하였는가?		□ 예 ■ 일부 예 □ 아니오	table 1
일부 예 (아래 모두) ■ 인구집단에 대한 기술 ■ 중재에 대한 기술 ■ 비교군에 대한 기술 ■ 중재결과에 대한 기술 ■ 연구설계에 대한 기술	예 : 아래 사항도 모두 충족 □ 인구집단 세부사항에 대한 기술 □ 중재 세부사항에 대한 기술(적절한 경우, 용량 포함) □ 비교군 세부사항에 대한 기술(적절한경우, 용량 포함) □ 연구 세팅에 대한 기술 □ 추적관찰의 시점
9. 문헌고찰저자는 문헌고찰에 포함된 개별 연구의 비뚤림위험(ROB)을 평가하기 위해 만족스러운 도구를 사용하였는가?		□ 예 □ 일부 예 □ 아니오 □ NRSI만 포함
RCTs 일부 예: 아래 모두에 대한 ROB 평가 □ 배정은폐, 그리고 □ 중재결과 평가시 환자 및 결과 평가자의 눈가림(모든 원인 사망률과 같은 객관적인 중재결과에는 불필요)	예: 아래에 대한 ROB 평가 □ 진정한 무작위 배정 순서, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택 여부
NRSI 일부 예: 아래에 대한 ROB 평가 ■ 교란 ■ 선택 비뚤림	예: 아래에 대한 ROB 평가 □ 노출과 중재결과 확인위해 사용한 방법, 그리고 ■ 다양한 측정치나 분석 중에서 보고할 연구결과 선택	□ 예 ■ 일부 예 □ 아니오 □ RCT만 포함	We used the Methodological Index for Non-randomized Studies (MINORS) tool to assess the risk of bias of the studies.
10. 문헌고찰 저자는 고찰에 포함된 연구들의 자금 출처에 대해 보고하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 문헌고찰에 포함된 연구의 자금출처에 대해 보고해야 한다. 주 : 평가자가 살펴보았지만 일차연구 저자가 보고하지 않은 경우도 해당됨
11. 메타분석을 수행하였다면, 문헌고찰 저자는 이에 대한 합당한 이유를 제시하였고, 연구결과의 통계학적 결 합을 위해 적절한 방법을 사용하였는가?		□ 예 ■ 아니오 □ 메타분석 없음	We performed a meta-analysis of all studies to determine the diagnostic accuracy of preoperative arthroscopic tissue cultures, aspiration, and elevated ESR or CRP values. (중략) Forest plots were created as a visual representation of heterogeneity between studies, including 95% confidence intervals (CIs);
RCTs 예 : ■ 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 이질성의 원인에 대한 조사를 하였다
NRSI 예 : □ 저자는 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 NRSI의 교란변수를 보정한 효과추정치를 결합하였거나, 보정 효과 추정치를 결합할 수 없을 때만 원 자료를 결합하였다. □ 그리고 RCT와 NRSI 모두가 고찰에 포함되었을 때, 무작위 배정 비교임상시험과 중재 비무작위연구의 요약 추정치를 별도로 보고하였다.		□ 예 □ 아니오 □ 메타분석 없음
12. 메타분석을 수행하였다면, 문헌고찰 저자는 개별 연구의 비뚤림위험이 메타분석 연구결과나 다른 근거 합성에 미칠 잠재적 영향을 평가하였는가?		□ 예 ■ 아니오 □ 메타분석 없음	언급없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 다양한 비뚤림위험을 가진 RCT나 NRSI를 포함한 경우 효과의 요약 추정치에 비뚤림 위험이 어떤 영향을 미치는지 조사하였다.
13. 문헌고찰저자는 고찰 결과를 해석/논의할 때 개별 연구의 비뚤림위험을 고려하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 RCT에 중등도 이상의 비뚤림위험이 있거나 문헌고찰에 NRSI를 포함한 경우에 비뚤림위험이 연구결과에 어떤 영향을 미쳤는지에 대해 고찰하였다
14. 문헌고찰저자는 연구결과에서 발견된 이질성에 대해 만족스러운 설명과 고찰을 하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 연구결과에서 유의미한 이질성이 없었다. □ 또는 이질성이 있는 경우, 이질성의 원인에 대해 조사하고, 이질성이 문헌고찰 연구결과에 미치는 영향에 대해 논의하였다.
15. 양적 합성을 하였다면, 문헌고찰저자는 출판비뚤림(소규모연구 비뚤림)에 대한 적절한 조사를 수행하고, 문헌고찰 결과에 미칠 수 있는 영향에 대해 고찰하였는가?		□ 예 ■ 아니오 □ 메타분석 없음	언급없음
예 : □ 출판비뚤림에 대한 그래프 또는 통계적 검증을 수행하고 출판비뚤림의 유무와 영향 정도에 대해 고찰하였다.
16. 문헌고찰 저자는 문헌고찰 수행을 위한 자금지원을 포함하여 잠재적 이해상충에 대해 보고하였는가?		■ 예 □ 아니오	No funding was disclosed by the authors.
예 : ■ 저자는 이해상충이 없다고 보고하였다. 또는 □ 저자가 자금원을 기술하였으며, 잠재적 이해상충을 관리한 방법을 보고하였다.

연번(Ref ID)	17(#60)
1저자(출판연도)	Carpenter(2011)
질문		판단	판단근거
1. 체계적 문헌고찰의 연구질문과 포함기준에는 PICO의 구성요소가 포함되었는가?		■ 예 □ 아니오	to assess the pretest probability and diagnostic test characteristics (sensitivity, specificity, LRs) for nongonococcal septic arthritis from elements of the history, physical examination, and laboratory tests available at the bedside
예 : ■ 인구집단(P) ■ 중재(I) ■ 비교군(C) ■ 중재결과(O)	선택(권고)사항 □ 추적관찰 시점
2. 체계적 문헌고찰 방법론이 실제 문헌고찰을 시행하기 전에 확립되었으며 보고서에는 프로토콜로부터 중대한 이탈이 있는 경우 이에 대한 정당화(합당한 이유)가 제시되었나?’		□ 예 □ 일부 예 ■ 아니오	언급없음
일부 예 : 저자는 아래 모두를 포함하는 서면 프로토콜 또는 가이드를 가지고 있다고 진술하고 있다. □ 문헌고찰 질문 □ 검색전략 □ 포함기준 □ 비뚤림위험 평가	일부 예에 더하여: 추가로 프로토콜이 등록되어 있고, 아래 사항이 명시되어있다. □ 해당되는 경우 메타분석/합성 계획, 그리고 □ 이질성 원인에 대한 조사 계획 □ 프로토콜 이탈에 대한 정당화(합당한 이유)
3. 문헌고찰 저자는 문헌고찰에 포함될 연구설계 선택에 대해 설명하였나?		■ 예 □ 아니오	reported sufficient detail on diagnostic test and criterion standard results to reconstruct two-by-two tables in whole or in part (i.e., if isolated sensitivity or specificity could be computed based on the available data, the study was included).
예: 아래 중 하나 충족: □ 무작위 배정 비교임상시험(RCT)만 포함하는 것에 대해 설명 □ 혹은, 중재 비무작위연구만(NRSI)만 포함하는 것에 대해 설명 □ 혹은, 무작위 배정 비교임상시험과 중재 비무작위 연구 모두를 포함하는 것에 대해 설명
4. 문헌고찰 저자는 포괄적인 문헌 검색 전략을 사용하였는가?		■ 예 □ 일부 예 □ 아니오	In conjunction with a medical librarian, one investigator (CRC) searched the medical literature from 1966 to December 2010 using PUBMED and EMBASE for the search terms septic arthritis and infectious arthritis. (중략) All search results were limited to human studies and English language articles.(중략) he authors also reviewed the references from selected articles as well as the current editions of textbooks of emergency medicine
일부 예 (모두 포함해야 함): ■ 최소한 2개 이상의 (연구질문에 적합한) 데이터베이스를 검색하였다. ■ 키워드와 검색전략을 제시하였다. ■ 출판물 제한(예: 언어)에 대해 정당한 이유를 제시하였다.	예 : 모두 포함해야 함 ■ 포함된 연구의 참고문헌 목록 검색 □ 임상시험/연구 레지스트리 검색 □ 해당 분야 내용 전문가를 포함하거나 자문을 받음 □ 해당되는 경우, 회색 문헌 검색 □ 문헌고찰 완료 24개월 이내에 검색 수행
5. 문헌고찰 저자는 연구 선택을 중복으로 수행하였는가?		■ 예 □ 아니오	Two authors (CRC, JS) reviewed the titles and abstracts to identify potentially relevant articles, which were then retrieved to review the full manuscript. These authors then independently reviewed these articles for inclusion criteria.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 독립적으로 적격 연구를 선택하고, 최종 포함여부를 합의하였다. □ 혹은 두 명의 평가자가 일부 표본에 대해 적격연구를 선정하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 문헌 선정을 하였다.
6. 문헌고찰 저자는 자료추출을 중복으로 수행하였는가?		■ 예 □ 아니오	Two authors (CRC, JS) independently abstracted data from the included studies. Information abstracted included study setting, study inclusion criteria, the criterion standard employed, disease prevalence, and diagnostic test properties.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 포함된 문헌의 어떤 자료를 추출할지에 대해 합의에 도달하였다. □ 또는 두 명의 평가자가 일부 적격 연구 표본에서 자료를 추출하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 자료 추출을 하였다.
7. 문헌고찰 저자는 배제 연구에 대한 목록과 합당한 배제사유를 제공하였는가?		□ 예 ■ 일부 예 □ 아니오	figure 1
일부 예 : ■ 전문까지 검토하였지만, 문헌고찰에서 배제된 연구에 대한 목록을 제시	예: 아래 사항도 충족 □ 잠재적으로 관련성이 있는 연구가 문헌 고찰에서 배제된 합당한 이유 제시
8. 문헌고찰저자는 포함된 연구들의 세부사항을 적절히 기술하였는가?		□ 예 ■ 일부 예 □ 아니오	Data Suuplement S1, table 3
일부 예 (아래 모두) ■ 인구집단에 대한 기술 ■ 중재에 대한 기술 ■ 비교군에 대한 기술 ■ 중재결과에 대한 기술 ■ 연구설계에 대한 기술	예 : 아래 사항도 모두 충족 ■ 인구집단 세부사항에 대한 기술 □ 중재 세부사항에 대한 기술(적절한 경우, 용량 포함) □ 비교군 세부사항에 대한 기술(적절한경우, 용량 포함) □ 연구 세팅에 대한 기술 □ 추적관찰의 시점
9. 문헌고찰저자는 문헌고찰에 포함된 개별 연구의 비뚤림위험(ROB)을 평가하기 위해 만족스러운 도구를 사용하였는가?		■ 예 □ 일부 예 □ 아니오 □ NRSI만 포함	Two authors (CRC, JS) used the Quality Assessment Tool for Diagnostic Accuracy Studies (QUADAS) for systematic reviews to evaluate the overall quality of evidence for the trials identified.
RCTs 일부 예: 아래 모두에 대한 ROB 평가 □ 배정은폐, 그리고 □ 중재결과 평가시 환자 및 결과 평가자의 눈가림(모든 원인 사망률과 같은 객관적인 중재결과에는 불필요)	예: 아래에 대한 ROB 평가 □ 진정한 무작위 배정 순서, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택 여부
NRSI 일부 예: 아래에 대한 ROB 평가 □ 교란 □ 선택 비뚤림	예: 아래에 대한 ROB 평가 □ 노출과 중재결과 확인위해 사용한 방법, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택	□ 예 □ 일부 예 □ 아니오 □ RCT만 포함
10. 문헌고찰 저자는 고찰에 포함된 연구들의 자금 출처에 대해 보고하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 문헌고찰에 포함된 연구의 자금출처에 대해 보고해야 한다. 주 : 평가자가 살펴보았지만 일차연구 저자가 보고하지 않은 경우도 해당됨
11. 메타분석을 수행하였다면, 문헌고찰 저자는 이에 대한 합당한 이유를 제시하였고, 연구결과의 통계학적 결 합을 위해 적절한 방법을 사용하였는가?		■ 예 □ 아니오 □ 메타분석 없음	Interstudy heterogeneity was assessed for pooled estimates of sensitivity and specificity using the Der-Simonian-Laird random effects model. sensitivity analysis 수행함
RCTs 예 : ■ 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. ■ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. ■ 그리고 이질성의 원인에 대한 조사를 하였다
NRSI 예 : □ 저자는 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 NRSI의 교란변수를 보정한 효과추정치를 결합하였거나, 보정 효과 추정치를 결합할 수 없을 때만 원 자료를 결합하였다. □ 그리고 RCT와 NRSI 모두가 고찰에 포함되었을 때, 무작위 배정 비교임상시험과 중재 비무작위연구의 요약 추정치를 별도로 보고하였다.		□ 예 □ 아니오 □ 메타분석 없음
12. 메타분석을 수행하였다면, 문헌고찰 저자는 개별 연구의 비뚤림위험이 메타분석 연구결과나 다른 근거 합성에 미칠 잠재적 영향을 평가하였는가?		□ 예 ■ 아니오 □ 메타분석 없음	언급없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 다양한 비뚤림위험을 가진 RCT나 NRSI를 포함한 경우 효과의 요약 추정치에 비뚤림 위험이 어떤 영향을 미치는지 조사하였다.
13. 문헌고찰저자는 고찰 결과를 해석/논의할 때 개별 연구의 비뚤림위험을 고려하였는가?		□ 예 ■ 아니오	Second, the overall quality of the evidence as judged by the QUADAS instrument was poor to moderate, so our summary estimates may be biased by multiple unmeasured confounders.
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 RCT에 중등도 이상의 비뚤림위험이 있거나 문헌고찰에 NRSI를 포함한 경우에 비뚤림위험이 연구결과에 어떤 영향을 미쳤는지에 대해 고찰하였다
14. 문헌고찰저자는 연구결과에서 발견된 이질성에 대해 만족스러운 설명과 고찰을 하였는가?		■ 예 □ 아니오	Even among those trials that did report sensitivity and specificity, significant between-trial heterogeneity was noted, limiting the confidence in the meta-analysis results.
예 : □ 연구결과에서 유의미한 이질성이 없었다. ■ 또는 이질성이 있는 경우, 이질성의 원인에 대해 조사하고, 이질성이 문헌고찰 연구결과에 미치는 영향에 대해 논의하였다.
15. 양적 합성을 하였다면, 문헌고찰저자는 출판비뚤림(소규모연구 비뚤림)에 대한 적절한 조사를 수행하고, 문헌고찰 결과에 미칠 수 있는 영향에 대해 고찰하였는가?		□ 예 ■ 아니오 □ 메타분석 없음	Publication bias was not assessed because of the questionable validity of this approach when assessing diagnostic test meta-analyses.
예 : □ 출판비뚤림에 대한 그래프 또는 통계적 검증을 수행하고 출판비뚤림의 유무와 영향 정도에 대해 고찰하였다.
16. 문헌고찰 저자는 문헌고찰 수행을 위한 자금지원을 포함하여 잠재적 이해상충에 대해 보고하였는가?		■ 예 □ 아니오	The authors have no conflicts of interest to declare. The authors have no relevant financial information or potential conflicts of interest to disclose.
예 : ■ 저자는 이해상충이 없다고 보고하였다. 또는 □ 저자가 자금원을 기술하였으며, 잠재적 이해상충을 관리한 방법을 보고하였다.

연번(Ref ID)	18(#120)
1저자(출판연도)	Egglestone(2019)
질문		판단	판단근거
1. 체계적 문헌고찰의 연구질문과 포함기준에는 PICO의 구성요소가 포함되었는가?		■ 예 □ 아니오
예 : □ 인구집단(P) □ 중재(I) □ 비교군(C) □ 중재결과(O)	선택(권고)사항 □ 추적관찰 시점
2. 체계적 문헌고찰 방법론이 실제 문헌고찰을 시행하기 전에 확립되었으며 보고서에는 프로토콜로부터 중대한 이탈이 있는 경우 이에 대한 정당화(합당한 이유)가 제시되었나?’		□ 예 □ 일부 예 ■ 아니오	프로토콜이나 가이드라인 언급없음
일부 예 : 저자는 아래 모두를 포함하는 서면 프로토콜 또는 가이드를 가지고 있다고 진술하고 있다. □ 문헌고찰 질문 □ 검색전략 □ 포함기준 □ 비뚤림위험 평가	일부 예에 더하여: 추가로 프로토콜이 등록되어 있고, 아래 사항이 명시되어있다. □ 해당되는 경우 메타분석/합성 계획, 그리고 □ 이질성 원인에 대한 조사 계획 □ 프로토콜 이탈에 대한 정당화(합당한 이유)
3. 문헌고찰 저자는 문헌고찰에 포함될 연구설계 선택에 대해 설명하였나?		■ 예 □ 아니오	연구설계 제한없음 This consisted of four systematic reviews, 44 retrospective case series, 23 retrospective cohort studies, 12 diagnostic studies, two in-vitro studies, 92,93 two epidemiological studies 5,94 and one economic decision analysis.
예: 아래 중 하나 충족: □ 무작위 배정 비교임상시험(RCT)만 포함하는 것에 대해 설명 □ 혹은, 중재 비무작위연구만(NRSI)만 포함하는 것에 대해 설명 □ 혹은, 무작위 배정 비교임상시험과 중재 비무작위 연구 모두를 포함하는 것에 대해 설명
4. 문헌고찰 저자는 포괄적인 문헌 검색 전략을 사용하였는가?		□ 예 □ 일부 예 ■ 아니오	Figure1, Figure 2
일부 예 (모두 포함해야 함): ■ 최소한 2개 이상의 (연구질문에 적합한) 데이터베이스를 검색하였다. ■ 키워드와 검색전략을 제시하였다. □ 출판물 제한(예: 언어)에 대해 정당한 이유를 제시하였다.	예 : 모두 포함해야 함 □ 포함된 연구의 참고문헌 목록 검색 □ 임상시험/연구 레지스트리 검색 □ 해당 분야 내용 전문가를 포함하거나 자문을 받음 □ 해당되는 경우, 회색 문헌 검색 □ 문헌고찰 완료 24개월 이내에 검색 수행
5. 문헌고찰 저자는 연구 선택을 중복으로 수행하였는가?		■ 예 □ 아니오	Studies identified from the literature search were deduplicated and their titles and abstracts independently screened by two blinded authors (AE and HI) using Rayyan software. 8 Any potential studies for inclusion were submitted for full text search. The same two authors completed the full text search and any disagreements were resolved through discussion and if no agreement was reached the senior author (AR) arbitrated.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 독립적으로 적격 연구를 선택하고, 최종 포함여부를 합의하였다. □ 혹은 두 명의 평가자가 일부 표본에 대해 적격연구를 선정하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 문헌 선정을 하였다.
6. 문헌고찰 저자는 자료추출을 중복으로 수행하였는가?		■ 예 □ 아니오	Data extraction was performed by one author (AE) and data was inserted into Supplementary Tables 1 to 8.This was then checked by a second author (HI). Data extracted from each study included: year of publication, study design, number of participants, methodology and results.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 포함된 문헌의 어떤 자료를 추출할지에 대해 합의에 도달하였다. □ 또는 두 명의 평가자가 일부 적격 연구 표본에서 자료를 추출하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 자료 추출을 하였다.
7. 문헌고찰 저자는 배제 연구에 대한 목록과 합당한 배제사유를 제공하였는가?		■ 예 □ 일부 예 □ 아니오	The characteristics of included studies are shown in Supplementary Table 1 and excluded studies including reasons for exclusion are in Supplementary Table 2.
일부 예 : ■ 전문까지 검토하였지만, 문헌고찰에서 배제된 연구에 대한 목록을 제시	예: 아래 사항도 충족 □ 잠재적으로 관련성이 있는 연구가 문헌 고찰에서 배제된 합당한 이유 제시
8. 문헌고찰저자는 포함된 연구들의 세부사항을 적절히 기술하였는가?		□ 예 □ 일부 예 ■ 아니오	incidence of PSI, Risk factors for PSI 등 기술
일부 예 (아래 모두) ■ 인구집단에 대한 기술 □ 중재에 대한 기술 □ 비교군에 대한 기술 ■ 중재결과에 대한 기술 □ 연구설계에 대한 기술	예 : 아래 사항도 모두 충족 □ 인구집단 세부사항에 대한 기술 □ 중재 세부사항에 대한 기술(적절한 경우, 용량 포함) □ 비교군 세부사항에 대한 기술(적절한경우, 용량 포함) □ 연구 세팅에 대한 기술 □ 추적관찰의 시점
9. 문헌고찰저자는 문헌고찰에 포함된 개별 연구의 비뚤림위험(ROB)을 평가하기 위해 만족스러운 도구를 사용하였는가?		■ 예 □ 일부 예 □ 아니오 □ NRSI만 포함	SR을 포함한 모든 유형의 연구들을 검토하여, QUADAS-2 적용하지 않고 다른 도구 사용한 것으로 보임 The quality of papers was not formally evaluated using a validated assessment tool for risk of bias in this scoping review.
RCTs 일부 예: 아래 모두에 대한 ROB 평가 □ 배정은폐, 그리고 □ 중재결과 평가시 환자 및 결과 평가자의 눈가림(모든 원인 사망률과 같은 객관적인 중재결과에는 불필요)	예: 아래에 대한 ROB 평가 □ 진정한 무작위 배정 순서, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택 여부
NRSI 일부 예: 아래에 대한 ROB 평가 □ 교란 □ 선택 비뚤림	예: 아래에 대한 ROB 평가 □ 노출과 중재결과 확인위해 사용한 방법, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택	□ 예 □ 일부 예 □ 아니오 □ RCT만 포함
10. 문헌고찰 저자는 고찰에 포함된 연구들의 자금 출처에 대해 보고하였는가?		□ 예 □ 아니오	언급없음
예 : □ 문헌고찰에 포함된 연구의 자금출처에 대해 보고해야 한다. 주 : 평가자가 살펴보았지만 일차연구 저자가 보고하지 않은 경우도 해당됨
11. 메타분석을 수행하였다면, 문헌고찰 저자는 이에 대한 합당한 이유를 제시하였고, 연구결과의 통계학적 결 합을 위해 적절한 방법을 사용하였는가?		□ 예 □ 아니오 ■ 메타분석 없음
RCTs 예 : □ 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 이질성의 원인에 대한 조사를 하였다
NRSI 예 : □ 저자는 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 NRSI의 교란변수를 보정한 효과추정치를 결합하였거나, 보정 효과 추정치를 결합할 수 없을 때만 원 자료를 결합하였다. □ 그리고 RCT와 NRSI 모두가 고찰에 포함되었을 때, 무작위 배정 비교임상시험과 중재 비무작위연구의 요약 추정치를 별도로 보고하였다.		□ 예 □ 아니오 □ 메타분석 없음
12. 메타분석을 수행하였다면, 문헌고찰 저자는 개별 연구의 비뚤림위험이 메타분석 연구결과나 다른 근거 합성에 미칠 잠재적 영향을 평가하였는가?		□ 예 □ 아니오 ■ 메타분석 없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 다양한 비뚤림위험을 가진 RCT나 NRSI를 포함한 경우 효과의 요약 추정치에 비뚤림 위험이 어떤 영향을 미치는지 조사하였다.
13. 문헌고찰저자는 고찰 결과를 해석/논의할 때 개별 연구의 비뚤림위험을 고려하였는가?		□ 예 ■ 아니오
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 RCT에 중등도 이상의 비뚤림위험이 있거나 문헌고찰에 NRSI를 포함한 경우에 비뚤림위험이 연구결과에 어떤 영향을 미쳤는지에 대해 고찰하였다
14. 문헌고찰저자는 연구결과에서 발견된 이질성에 대해 만족스러운 설명과 고찰을 하였는가?		■ 예 □ 아니오	There is wide heterogeneity in study designs and outcomes of studies are often contradictory and due to issues with methodology and small sample sizes the optimal pathways for diagnosis and management cannot be determined from this review.
예 : □ 연구결과에서 유의미한 이질성이 없었다. □ 또는 이질성이 있는 경우, 이질성의 원인에 대해 조사하고, 이질성이 문헌고찰 연구결과에 미치는 영향에 대해 논의하였다.
15. 양적 합성을 하였다면, 문헌고찰저자는 출판비뚤림(소규모연구 비뚤림)에 대한 적절한 조사를 수행하고, 문헌고찰 결과에 미칠 수 있는 영향에 대해 고찰하였는가?		□ 예 □ 아니오 ■ 메타분석 없음
예 : □ 출판비뚤림에 대한 그래프 또는 통계적 검증을 수행하고 출판비뚤림의 유무와 영향 정도에 대해 고찰하였다.
16. 문헌고찰 저자는 문헌고찰 수행을 위한 자금지원을 포함하여 잠재적 이해상충에 대해 보고하였는가?		■ 예 □ 아니오	Declaration of Conflicting Interests: The author(s) declared no potential conflicts of interest with respect to the research, authorship, and/or publication of this article. Funding: The author(s) received no financial support for the research, authorship, and/or publication of this article.
예 : ■ 저자는 이해상충이 없다고 보고하였다. 또는 □ 저자가 자금원을 기술하였으며, 잠재적 이해상충을 관리한 방법을 보고하였다.

연번(Ref ID)	19(#212)
1저자(출판연도)	Jauregui(2021)
질문		판단	판단근거
1. 체계적 문헌고찰의 연구질문과 포함기준에는 PICO의 구성요소가 포함되었는가?		■ 예 □ 아니오
예 : ■ 인구집단(P) ■ 중재(I) ■ 비교군(C) ■ 중재결과(O)	선택(권고)사항 □ 추적관찰 시점
2. 체계적 문헌고찰 방법론이 실제 문헌고찰을 시행하기 전에 확립되었으며 보고서에는 프로토콜로부터 중대한 이탈이 있는 경우 이에 대한 정당화(합당한 이유)가 제시되었나?’		□ 예 □ 일부 예 ■ 아니오	프로토콜이나 가이드라인 언급없음
일부 예 : 저자는 아래 모두를 포함하는 서면 프로토콜 또는 가이드를 가지고 있다고 진술하고 있다. □ 문헌고찰 질문 □ 검색전략 □ 포함기준 □ 비뚤림위험 평가	일부 예에 더하여: 추가로 프로토콜이 등록되어 있고, 아래 사항이 명시되어있다. □ 해당되는 경우 메타분석/합성 계획, 그리고 □ 이질성 원인에 대한 조사 계획 □ 프로토콜 이탈에 대한 정당화(합당한 이유)
3. 문헌고찰 저자는 문헌고찰에 포함될 연구설계 선택에 대해 설명하였나?		■ 예 □ 아니오
예: 아래 중 하나 충족: □ 무작위 배정 비교임상시험(RCT)만 포함하는 것에 대해 설명 □ 혹은, 중재 비무작위연구만(NRSI)만 포함하는 것에 대해 설명 □ 혹은, 무작위 배정 비교임상시험과 중재 비무작위 연구 모두를 포함하는 것에 대해 설명
4. 문헌고찰 저자는 포괄적인 문헌 검색 전략을 사용하였는가?		□ 예 ■ 일부 예 □ 아니오	Utilizing the Medline, Embase, and Ovid databases, we searched for all studies between January 1st , 1996 and October 1st , 2020 that assessed diagnosis of periprosthetic shoulder infection. We searched for studies published in English using the search string ((“revision” OR “failed”) AND “shoulder” AND (“arthroplasty” OR “replacement")), which yielded 632 studies. We then carefully screened the titles and abstracts utilizing the exclusion criteria: (1) included patients with shoulder infection without arthro plasty; (2) reported on patients with positive cultures not considered infection or that were “unexpected,” i. e, no strict definition of infection; (3) included patients with arthroplasty of joints other than the shoulder. After screening, a total of 25 studies which met inclusion criteria were included in our final analysis (Fig. 1).
일부 예 (모두 포함해야 함): ■ 최소한 2개 이상의 (연구질문에 적합한) 데이터베이스를 검색하였다. ■ 키워드와 검색전략을 제시하였다. ■ 출판물 제한(예: 언어)에 대해 정당한 이유를 제시하였다.	예 : 모두 포함해야 함 □ 포함된 연구의 참고문헌 목록 검색 □ 임상시험/연구 레지스트리 검색 □ 해당 분야 내용 전문가를 포함하거나 자문을 받음 □ 해당되는 경우, 회색 문헌 검색 □ 문헌고찰 완료 24개월 이내에 검색 수행
5. 문헌고찰 저자는 연구 선택을 중복으로 수행하였는가?		■ 예 □ 아니오	The search was performed by one of the authors (JJJ) and then again by two others (MWC/ATT) in an independent fashion to validate the included studies and avoid the omission of any relevant studies.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 독립적으로 적격 연구를 선택하고, 최종 포함여부를 합의하였다. □ 혹은 두 명의 평가자가 일부 표본에 대해 적격연구를 선정하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 문헌 선정을 하였다.
6. 문헌고찰 저자는 자료추출을 중복으로 수행하였는가?		■ 예 □ 아니오	The search was performed by one of the authors (JJJ) and then again by two others (MWC/ATT) in an independent fashion to validate the included studies and avoid the omission of any relevant studies.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 포함된 문헌의 어떤 자료를 추출할지에 대해 합의에 도달하였다. □ 또는 두 명의 평가자가 일부 적격 연구 표본에서 자료를 추출하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 자료 추출을 하였다.
7. 문헌고찰 저자는 배제 연구에 대한 목록과 합당한 배제사유를 제공하였는가?		□ 예 □ 일부 예 ■ 아니오
일부 예 : □ 전문까지 검토하였지만, 문헌고찰에서 배제된 연구에 대한 목록을 제시	예: 아래 사항도 충족 □ 잠재적으로 관련성이 있는 연구가 문헌 고찰에서 배제된 합당한 이유 제시
8. 문헌고찰저자는 포함된 연구들의 세부사항을 적절히 기술하였는가?		□ 예 ■ 일부 예 □ 아니오	Table 1, 3, 4
일부 예 (아래 모두) ■ 인구집단에 대한 기술 □ 중재에 대한 기술 □ 비교군에 대한 기술 ■ 중재결과에 대한 기술 ■ 연구설계에 대한 기술	예 : 아래 사항도 모두 충족 □ 인구집단 세부사항에 대한 기술 □ 중재 세부사항에 대한 기술(적절한 경우, 용량 포함) □ 비교군 세부사항에 대한 기술(적절한경우, 용량 포함) □ 연구 세팅에 대한 기술 □ 추적관찰의 시점
9. 문헌고찰저자는 문헌고찰에 포함된 개별 연구의 비뚤림위험(ROB)을 평가하기 위해 만족스러운 도구를 사용하였는가?		□ 예 □ 일부 예 ■ 아니오 □ NRSI만 포함
RCTs 일부 예: 아래 모두에 대한 ROB 평가 □ 배정은폐, 그리고 □ 중재결과 평가시 환자 및 결과 평가자의 눈가림(모든 원인 사망률과 같은 객관적인 중재결과에는 불필요)	예: 아래에 대한 ROB 평가 □ 진정한 무작위 배정 순서, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택 여부
NRSI 일부 예: 아래에 대한 ROB 평가 □ 교란 □ 선택 비뚤림	예: 아래에 대한 ROB 평가 □ 노출과 중재결과 확인위해 사용한 방법, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택	□ 예 □ 일부 예 □ 아니오 □ RCT만 포함
10. 문헌고찰 저자는 고찰에 포함된 연구들의 자금 출처에 대해 보고하였는가?		□ 예 □ 아니오	언급없음
예 : □ 문헌고찰에 포함된 연구의 자금출처에 대해 보고해야 한다. 주 : 평가자가 살펴보았지만 일차연구 저자가 보고하지 않은 경우도 해당됨
11. 메타분석을 수행하였다면, 문헌고찰 저자는 이에 대한 합당한 이유를 제시하였고, 연구결과의 통계학적 결 합을 위해 적절한 방법을 사용하였는가?		□ 예 □ 아니오 ■ 메타분석 없음
RCTs 예 : □ 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 이질성의 원인에 대한 조사를 하였다
NRSI 예 : □ 저자는 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 NRSI의 교란변수를 보정한 효과추정치를 결합하였거나, 보정 효과 추정치를 결합할 수 없을 때만 원 자료를 결합하였다. □ 그리고 RCT와 NRSI 모두가 고찰에 포함되었을 때, 무작위 배정 비교임상시험과 중재 비무작위연구의 요약 추정치를 별도로 보고하였다.		□ 예 □ 아니오 □ 메타분석 없음
12. 메타분석을 수행하였다면, 문헌고찰 저자는 개별 연구의 비뚤림위험이 메타분석 연구결과나 다른 근거 합성에 미칠 잠재적 영향을 평가하였는가?		□ 예 □ 아니오 ■ 메타분석 없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 다양한 비뚤림위험을 가진 RCT나 NRSI를 포함한 경우 효과의 요약 추정치에 비뚤림 위험이 어떤 영향을 미치는지 조사하였다.
13. 문헌고찰저자는 고찰 결과를 해석/논의할 때 개별 연구의 비뚤림위험을 고려하였는가?		□ 예 ■ 아니오
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 RCT에 중등도 이상의 비뚤림위험이 있거나 문헌고찰에 NRSI를 포함한 경우에 비뚤림위험이 연구결과에 어떤 영향을 미쳤는지에 대해 고찰하였다
14. 문헌고찰저자는 연구결과에서 발견된 이질성에 대해 만족스러운 설명과 고찰을 하였는가?		□ 예 ■ 아니오
예 : □ 연구결과에서 유의미한 이질성이 없었다. □ 또는 이질성이 있는 경우, 이질성의 원인에 대해 조사하고, 이질성이 문헌고찰 연구결과에 미치는 영향에 대해 논의하였다.
15. 양적 합성을 하였다면, 문헌고찰저자는 출판비뚤림(소규모연구 비뚤림)에 대한 적절한 조사를 수행하고, 문헌고찰 결과에 미칠 수 있는 영향에 대해 고찰하였는가?		□ 예 □ 아니오 ■ 메타분석 없음
예 : □ 출판비뚤림에 대한 그래프 또는 통계적 검증을 수행하고 출판비뚤림의 유무와 영향 정도에 대해 고찰하였다.
16. 문헌고찰 저자는 문헌고찰 수행을 위한 자금지원을 포함하여 잠재적 이해상충에 대해 보고하였는가?		■ 예 □ 아니오	Funding: This research did not receive any specific grant from funding agencies in the public, commercial, or not-for-profit sectors. Disclaimer: None.
예 : ■ 저자는 이해상충이 없다고 보고하였다. 또는 □ 저자가 자금원을 기술하였으며, 잠재적 이해상충을 관리한 방법을 보고하였다.

연번(Ref ID)	20(#465)
1저자(출판연도)	Walinga(2021)
질문		판단	판단근거
1. 체계적 문헌고찰의 연구질문과 포함기준에는 PICO의 구성요소가 포함되었는가?		■ 예 □ 아니오
예 : ■ 인구집단(P) ■ 중재(I) ■ 비교군(C) ■ 중재결과(O)	선택(권고)사항 □ 추적관찰 시점
2. 체계적 문헌고찰 방법론이 실제 문헌고찰을 시행하기 전에 확립되었으며 보고서에는 프로토콜로부터 중대한 이탈이 있는 경우 이에 대한 정당화(합당한 이유)가 제시되었나?’		□ 예 ■ 일부 예 □ 아니오	The protocol for this systematic review was registered on PROSPERO (CRD42020181416) before data collection and this study was reported according to the Preferred Reporting Items for Systematic Reviews and Meta-analysis(PRISMA) statement.
일부 예 : 저자는 아래 모두를 포함하는 서면 프로토콜 또는 가이드를 가지고 있다고 진술하고 있다. □ 문헌고찰 질문 □ 검색전략 □ 포함기준 □ 비뚤림위험 평가	일부 예에 더하여: 추가로 프로토콜이 등록되어 있고, 아래 사항이 명시되어있다. □ 해당되는 경우 메타분석/합성 계획, 그리고 □ 이질성 원인에 대한 조사 계획 □ 프로토콜 이탈에 대한 정당화(합당한 이유)
3. 문헌고찰 저자는 문헌고찰에 포함될 연구설계 선택에 대해 설명하였나?		■ 예 □ 아니오	모두 진단법평가연구로 QUADAS-2로 비뚤림위험평가함 We includied studies that evaluated diagnostic methods and reported their test characteristics for diagnosing native bacterial joint arthritis in patients aged 16 years and older.
예: 아래 중 하나 충족: □ 무작위 배정 비교임상시험(RCT)만 포함하는 것에 대해 설명 □ 혹은, 중재 비무작위연구만(NRSI)만 포함하는 것에 대해 설명 □ 혹은, 무작위 배정 비교임상시험과 중재 비무작위 연구 모두를 포함하는 것에 대해 설명
4. 문헌고찰 저자는 포괄적인 문헌 검색 전략을 사용하였는가?		■ 예 □ 일부 예 □ 아니오	We searched the PubMed, Embase, and Cochrane libraries for studies published between Junuary 1980 and April 2020 using the following keywords: “bacteral arthritis”, “native joint”, “test”, and “cohort”, including synonyms and MeSH terms. We excluded papers that did not present original data(e.g. reviews, technique papers, letters to the editor),
일부 예 (모두 포함해야 함): ■ 최소한 2개 이상의 (연구질문에 적합한) 데이터베이스를 검색하였다. ■ 키워드와 검색전략을 제시하였다. ■ 출판물 제한(예: 언어)에 대해 정당한 이유를 제시하였다.	예 : 모두 포함해야 함 □ 포함된 연구의 참고문헌 목록 검색 □ 임상시험/연구 레지스트리 검색 □ 해당 분야 내용 전문가를 포함하거나 자문을 받음 □ 해당되는 경우, 회색 문헌 검색 □ 문헌고찰 완료 24개월 이내에 검색 수행
5. 문헌고찰 저자는 연구 선택을 중복으로 수행하였는가?		■ 예 □ 아니오	Two reviewrs(ABW, TS) independently screened titles and abstracts for eligibility using predefined criteria.
예: 아래 중 하나 충족: ■ 최소한 두 명의 평가자가 독립적으로 적격 연구를 선택하고, 최종 포함여부를 합의하였다. □ 혹은 두 명의 평가자가 일부 표본에 대해 적격연구를 선정하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 문헌 선정을 하였다.
6. 문헌고찰 저자는 자료추출을 중복으로 수행하였는가?		□ 예 ■ 아니오	언급없음
예: 아래 중 하나 충족: □ 최소한 두 명의 평가자가 포함된 문헌의 어떤 자료를 추출할지에 대해 합의에 도달하였다. □ 또는 두 명의 평가자가 일부 적격 연구 표본에서 자료를 추출하였고, 좋은 일치도를 보여(예 : 80% 이상), 나머지는 한 평가자가 자료 추출을 하였다.
7. 문헌고찰 저자는 배제 연구에 대한 목록과 합당한 배제사유를 제공하였는가?		□ 예 □ 일부 예 ■ 아니오	배제연구 목록에 대해 언급없음
일부 예 : □ 전문까지 검토하였지만, 문헌고찰에서 배제된 연구에 대한 목록을 제시	예: 아래 사항도 충족 □ 잠재적으로 관련성이 있는 연구가 문헌 고찰에서 배제된 합당한 이유 제시
8. 문헌고찰저자는 포함된 연구들의 세부사항을 적절히 기술하였는가?		□ 예 ■ 일부 예 □ 아니오	table1~4
일부 예 (아래 모두) ■ 인구집단에 대한 기술 ■ 중재에 대한 기술 □ 비교군에 대한 기술 ■ 중재결과에 대한 기술 □ 연구설계에 대한 기술	예 : 아래 사항도 모두 충족 □ 인구집단 세부사항에 대한 기술 □ 중재 세부사항에 대한 기술(적절한 경우, 용량 포함) □ 비교군 세부사항에 대한 기술(적절한경우, 용량 포함) □ 연구 세팅에 대한 기술 □ 추적관찰의 시점
9. 문헌고찰저자는 문헌고찰에 포함된 개별 연구의 비뚤림위험(ROB)을 평가하기 위해 만족스러운 도구를 사용하였는가?		■ 예 □ 일부 예 □ 아니오 □ NRSI만 포함	QUADAS-2 사용 Two reviewers(ABW, TS) independently appraised the methodological quality of the included studies using the Quality Assessment of Diagnostic Accuracy Studies(QUADAS-2) tool.
RCTs 일부 예: 아래 모두에 대한 ROB 평가 □ 배정은폐, 그리고 □ 중재결과 평가시 환자 및 결과 평가자의 눈가림(모든 원인 사망률과 같은 객관적인 중재결과에는 불필요)	예: 아래에 대한 ROB 평가 □ 진정한 무작위 배정 순서, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택 여부
NRSI 일부 예: 아래에 대한 ROB 평가 □ 교란 □ 선택 비뚤림	예: 아래에 대한 ROB 평가 □ 노출과 중재결과 확인위해 사용한 방법, 그리고 □ 다양한 측정치나 분석 중에서 보고할 연구결과 선택	□ 예 □ 일부 예 □ 아니오 □ RCT만 포함
10. 문헌고찰 저자는 고찰에 포함된 연구들의 자금 출처에 대해 보고하였는가?		□ 예 □ 아니오	언급없음
예 : □ 문헌고찰에 포함된 연구의 자금출처에 대해 보고해야 한다. 주 : 평가자가 살펴보았지만 일차연구 저자가 보고하지 않은 경우도 해당됨
11. 메타분석을 수행하였다면, 문헌고찰 저자는 이에 대한 합당한 이유를 제시하였고, 연구결과의 통계학적 결 합을 위해 적절한 방법을 사용하였는가?		□ 예 □ 아니오 ■ 메타분석 없음
RCTs 예 : □ 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 이질성의 원인에 대한 조사를 하였다
NRSI 예 : □ 저자는 메타분석을 통해 자료를 결합한 합당한 이유를 제시하였다. □ 그리고 적절한 가중치법을 이용하여 연구결과를 결합했으며 이질성이 있다면 이를 보정하였다. □ 그리고 NRSI의 교란변수를 보정한 효과추정치를 결합하였거나, 보정 효과 추정치를 결합할 수 없을 때만 원 자료를 결합하였다. □ 그리고 RCT와 NRSI 모두가 고찰에 포함되었을 때, 무작위 배정 비교임상시험과 중재 비무작위연구의 요약 추정치를 별도로 보고하였다.		□ 예 □ 아니오 □ 메타분석 없음
12. 메타분석을 수행하였다면, 문헌고찰 저자는 개별 연구의 비뚤림위험이 메타분석 연구결과나 다른 근거 합성에 미칠 잠재적 영향을 평가하였는가?		□ 예 □ 아니오 ■ 메타분석 없음
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 다양한 비뚤림위험을 가진 RCT나 NRSI를 포함한 경우 효과의 요약 추정치에 비뚤림 위험이 어떤 영향을 미치는지 조사하였다.
13. 문헌고찰저자는 고찰 결과를 해석/논의할 때 개별 연구의 비뚤림위험을 고려하였는가?		□ 예 ■ 아니오
예 : □ 비뚤림위험이 낮은 RCT만을 포함하였다. □ 또는 RCT에 중등도 이상의 비뚤림위험이 있거나 문헌고찰에 NRSI를 포함한 경우에 비뚤림위험이 연구결과에 어떤 영향을 미쳤는지에 대해 고찰하였다
14. 문헌고찰저자는 연구결과에서 발견된 이질성에 대해 만족스러운 설명과 고찰을 하였는가?		□ 예 ■ 아니오
예 : □ 연구결과에서 유의미한 이질성이 없었다. □ 또는 이질성이 있는 경우, 이질성의 원인에 대해 조사하고, 이질성이 문헌고찰 연구결과에 미치는 영향에 대해 논의하였다.
15. 양적 합성을 하였다면, 문헌고찰저자는 출판비뚤림(소규모연구 비뚤림)에 대한 적절한 조사를 수행하고, 문헌고찰 결과에 미칠 수 있는 영향에 대해 고찰하였는가?		□ 예 □ 아니오 ■ 메타분석 없음
예 : □ 출판비뚤림에 대한 그래프 또는 통계적 검증을 수행하고 출판비뚤림의 유무와 영향 정도에 대해 고찰하였다.
16. 문헌고찰 저자는 문헌고찰 수행을 위한 자금지원을 포함하여 잠재적 이해상충에 대해 보고하였는가?		□ 예 ■ 아니오	언급없음
예 : □ 저자는 이해상충이 없다고 보고하였다. 또는 □ 저자가 자금원을 기술하였으며, 잠재적 이해상충을 관리한 방법을 보고하였다.