# 수정 지시서: BIM 발주요건 5패싯 분류와 출처 그룹 교차검증 (한국어 문장 2,092건, MDPI Buildings)

## 0. 이 지시서를 쓰는 AI에게

- 원고의 장·절 구조, 문체(한국어 학술체), 분량은 그대로 둔다. 아래 항목만 고친다.
- 고친 곳은 Word 변경 추적으로 남기거나, 항목 번호별 "수정 전 → 수정 후" 목록으로 보여 준다.
- 새 수치, 새 문헌, 새 사실을 지어내지 않는다. 이 지시서에 적힌 수치는 원고 표의 값이거나, 원고와 함께 받은 자료(매핑 XLSX, 자문보고서)에 있는 값이다.
- **[저자 확인 필요]** 항목은 고치기 전에 저자에게 질문하고, 답을 받은 뒤 그 답대로만 쓴다. 답이 없으면 그 문장은 고치지 않는다.
- 「 」 안의 글은 원고에서 위치를 찾기 위한 원문 그대로의 일부이다.
- 참고: 영어 번역은 이 지시서 범위가 아니다. 수정을 마친 뒤 따로 한다.

인용 약어: **자문보고서** = `전문가 자문수행 결과보고서(이종호).pdf`(KHNP 자문, 한국건설기술연구원, 2026.07, 'BIM 발주요건 체계 구성안'), 쪽수는 PDF 쪽. **XLSX** = `발주문서_문장_발주요건체계_매핑결과_0808.xlsx`.

## 1. 꼭 고칠 것

**1-1. 참조라벨을 만든 방법을 실제 절차대로 쓴다 [저자 확인 필요]**
- **문제**: 3.2절은 P/W/N/R을 "전문가가 수작업으로 확정한 라벨"이라 하고, 판정자 정보는 "본 원고에 충분히 보고되어 있지 않다"고만 쓴다. 그런데 이 매핑값을 만든 자문보고서에는 다르게 적혀 있다. "판정 규칙과 키워드 사전에 따른 2,092개 문장 배치, 표본 검증으로 오판정 식별"(p.6 표 1-1), "모든 문장에 같은 규칙을 같은 순서로 적용"(p.19), 3회 오판정 정정(p.23–24), "여러 검토자가 같은 문장을 같은 값으로 분류하는지는 검증하지 못했다"(p.38). XLSX의 키워드사전 시트도 "분류 판정에 사용한 키워드 전체"라고 설명한다.
- **고칠 방법**: 저자에게 두 가지를 묻는다. (a) 원고의 P/W/N/R은 XLSX 매핑결과 시트의 값과 같은가? (b) 규칙으로 배치한 뒤 사람이 문장마다 다시 검토했는가? 했다면 누가, 몇 건을 했는가? 답이 "같은 값이고, 문장별 재검토는 없었다"이면 3.2절 첫 문장을 다음처럼 바꾼다: "매핑파일의 P/W/N/R은 자문 과정에서 체계정의와 판정 키워드 사전을 2,092문장에 같은 순서로 적용하고, 표본 점검으로 오판정을 3회 정정한 값이다[자문보고서]. 본 연구는 이 값을 참조라벨로 사용하며, 여러 판정자의 독립 일치도는 검증되지 않았다." 이어서 "보고되어 있지 않다"로 끝나는 다음 문장을 이 사실 서술로 바꾼다. "전문가 수작업" 표현(Table 2, Table 4 제목, 3.2절)은 저자의 답에 맞는 한 가지 용어로 통일한다.
- **원고 위치**: 「전문가가 문장별로 수작업 확정한 참조라벨」(3.2), 「불일치 조정 기록은 본 원고에 충분히」(3.2), 「전문가 수작업 매핑 파일의 데이터행」(Table 2), 「전문가 수작업 참조라벨 분포」(Table 4).
- **근거**: 심사 지적 4·9·16·52·59·82·110·119·177(라벨 계보와 독립성). 주장 a3006fe0(analysis_verified: 독립 판정 여부는 확인되지 않음). 자문보고서 해당 쪽.

**1-2. 규칙 기준선과 참조라벨이 판정 단서를 함께 쓴다는 점을 밝힌다 [저자 확인 필요]**
- **문제**: 3.4절의 규칙 기준선과 자문보고서의 라벨 판정 규칙(p.20–23)은 같은 단서를 쓴다. W는 키워드 수로 정하고 동점이면 W7에 둔다. N은 직책 명칭을 먼저 지운 뒤 N3를 판정한다. R은 어투로 정한다. 그렇다면 규칙과 참조라벨이 일치한 정도는 독립된 정확도가 아니며, 라벨을 만든 절차를 얼마나 재현했는지도 함께 담는다. 이 점이 영향을 주는 결과는 5.2절 "P에서는 규칙이 높다"는 해석과 4.2절 R 73.5%이다.
- **고칠 방법**: 저자에게 묻는다: 논문의 규칙은 자문 키워드사전을 그대로 쓴 것인가, 고쳐 쓴 것인가, 따로 만든 것인가? 답에 맞춰 3.4절 끝에 다음 문장을 넣는다: "본 규칙 기준선은 참조라벨 작성에 쓰인 판정 키워드 사전[자문보고서]과 {같은/일부 같은} 단서를 사용하므로, 규칙과 참조라벨의 일치에는 생성 절차의 공유가 포함된다." 5.2절 첫 문장 뒤에는 다음 문장을 넣는다: "특히 P에서 규칙이 높은 결과는 판정 단서 공유의 영향을 배제할 수 없다."
- **원고 위치**: 「W는 업무별 키워드 점수·우선순위·배제식」, 「역할명칭만으로 N3가 되지 않도록」, 「R 규칙 기준선은 M1→R1」(3.4), 「P에서 규칙의 macro-F1이 높고」(5.2).
- **근거**: 심사 지적 4·9·59·110·127·177(순환성). 자문보고서 p.20–23. XLSX 키워드사전 12·16·17–19행.

**1-3. R과 발주처 필요도는 만든 방법상 연결되어 있다는 점을 쓰고, 582건의 해석을 고친다**
- **문제**: 원고는 필요도(I)를 R과 별개인 속성으로 두고, 4.6절에서 두 체계를 비교하는 결과로 해석한다. 그러나 자문보고서에 따르면 R은 문장에 어투가 있으면 어투로 정했고(920건), 어투가 중립이면 내용 경중으로 정했다(1,172건). 내용 경중의 결과는 바로 '발주처 필요도' 열에 핵심→R1, 보조→R2, 세부·참고→R3으로 기록되었다(p.23). 또 "어투로 판정한 920건을 내용의 경중과 대조하면 582건에서 둘이 어긋난다"(p.29)고 적혀 있다. 1-1 (a)가 "같은 값"이면, 원고의 일치 1,510건(757+577+176)에는 이처럼 정의상 일치하는 1,172건이 들어 있다. 필요도를 평가한 주체도 발주처가 아니라 자문 작업이다("발주처 관점에서 함께 평가", p.8).
- **고칠 방법**: 1-1의 (a)가 "같은 값"일 때 적용한다. ① 2.4절 R 정의 문단에 다음 내용을 넣는다: "참조라벨 R은 어투가 있으면 어투로, 없으면 내용 경중(필요도)으로 정해졌다[자문보고서]." ② 4.6절 582건 문단의 마지막 문장을 다음처럼 바꾼다: "자문 기록상 R 참조라벨 1,172건은 필요도에서 직접 정해졌으므로 이 교차분포의 일치에는 정의상 일치가 포함되며, 582건의 불일치는 어투로 R을 정한 920건에서 나타났다." ③ 5.4절 582건 문장에도 같은 취지를 반영한다. ④ Table 3의 I 행 설명을 "발주처 관점에서 자문 과정에서 평가한 내용 경중"으로 고친다.
- **원고 위치**: 「R은 문서 맥락을 포함한 규범적 판단을 목표로」(2.4), 「발주처 필요도를 핵심→R1, 보조→R2」, 「이 교차분포는 현재 자료에서 두 라벨 체계가」(4.6), 「발주처 필요도와 R의 582건 불일치는」(5.4), 「내용 중요도 속성; R과 동일시하지 않음」(Table 3).
- **근거**: 심사 지적 87·91·98·100. 자문보고서 p.8·23·29. 원고 4.6절 교차표의 합계가 맞는 것을 확인했다(일치 1,510 + 불일치 582 = 2,092).

**1-4. R 참조라벨을 어느 문장(원문인가 정비문장인가)으로 판정했는지 밝힌다 [저자 확인 필요]**
- **문제**: 원고는 R SVM과 M 탐지에 원문을 썼다. 그런데 자문보고서의 열 사전은 수정문장을 "발주요건 어투로 다듬은 배치 기준 문장"이라고 정의한다(p.33). XLSX에서 읽을 수 있는 1–121번 행 가운데 원문과 수정문장이 다른 26행은 모두 R1이고, 그중 20행은 필요도로 대응시킨 값과 다르다. 예: 연번 88은 원문이 "…작성할 수 있음"이고 수정문장이 "…작성할 수 있어야 한다."이며, R은 R1, 필요도는 '보조'이다. 따라서 정비된 233건의 R 라벨은 정비 뒤의 어투를 따랐을 수 있다.
- **고칠 방법**: 저자에게 묻는다: R 라벨은 수정문장의 어투로 판정했는가? 그렇다면 3.5절에 다음 문장을 넣는다: "R 참조라벨은 정비문장 기준으로 판정되었으므로, 정비대상 233건에서는 라벨의 기준 텍스트(정비문장)와 R SVM·M의 입력(원문)이 다르다." 5.4절의 해당 문장 뒤에는 이 차이가 R 성능 해석에 미치는 영향을 한 문장으로 덧붙인다.
- **원고 위치**: 「R SVM과 명시적 규범양상 M의 탐지」(3.5), 「전이는 M0→M1 209건과 M3→M1 5건」(4.6), 「본 연구는 R SVM에 원문을 사용하였으므로」(5.4).
- **근거**: 심사 지적 105·180 가운데 '라벨 기준 텍스트' 부분. XLSX 매핑결과 86–122행. 자문보고서 p.33.

**1-5. 매핑상태가 '검토필요'인 259건을 어떻게 처리했는지 쓴다 [저자 확인 필요]**
- **문제**: XLSX 표지에는 "확정 / 검토필요 1,833건(87.6%) / 259건(12.4%)"이 적혀 있다. 자문보고서에 따르면 259건은 단계 미정 52건과 타시설 어휘 216건이고 9건이 겹치며, 이 문장들은 "전문가 확정이 필요"하다(p.24·38). 원고는 매핑상태 열이 있다는 것만 쓰고, P0 52건을 빼는 처리만 설명한다.
- **고칠 방법**: 저자에게 묻는다: 타시설 216건의 W/N/R 값을 저장된 그대로 평가에 넣었는가? 답대로 3.2절 끝에 한 문장을 넣는다. 예: "매핑상태가 '검토필요'인 259건 중 P0 52건만 P 평가에서 제외하고, 나머지는 저장값을 참조라벨로 사용하였다." Table 2에는 "매핑상태: 확정 1,833 / 검토필요 259" 행을 넣는다.
- **원고 위치**: 「반면 W/N/R의 평가와 전체 분포 분석에는」(3.2), 「좌표 및 매핑상태를 포함한다」(3.1).
- **근거**: 심사 지적 60·112·176 가운데 1,833/259 부분. XLSX 표지 7행. 자문보고서.

**1-6. 분류체계·라벨·코퍼스를 만든 출처(자문 과제)를 밝히고 인용한다 [저자 확인 필요]**
- **문제**: 원고는 체계를 "실제 문장을 검토해 구성했다"고 하고, 코퍼스는 "선행 정제 작업에 기반한다"고만 쓴다. 5패싯 구조, 22개 세부분류, 판정 규칙, 2,092문장 매핑의 원천인 자문보고서를 밝히지 않는다. "특정 프로젝트 맥락"이 무엇인지도 쓰지 않는데, 이는 양수발전소이다(XLSX 표지 3행, 체계정의의 F2 상·하부댐과 F4 지하발전소).
- **고칠 방법**: 3.1절과 3.3절에 출처 문장을 넣고, 자문보고서를 참고문헌에 추가한다(서지는 보고서 표지 그대로). 3.2절의 "특정 프로젝트 맥락"은 "양수발전소 시설 기준(F2 상·하부댐, F4 지하발전소 등)"으로 구체화한다. 저자에게 확인할 것: 저자와 자문자는 어떤 관계인가(동일인, 공저자, 외부인)? 출처를 참고문헌으로 밝힐 것인가, 감사의 글로 밝힐 것인가?
- **원고 위치**: 「코퍼스 구축은 선행 발주요건 정제 작업에」(3.1), 「실제 문장의 업무와 적용범위를 검토해」(3.3), 「기존 파일의 시설물 F는 특정 프로젝트」(3.2).
- **근거**: 심사 지적 115(출처와 기여의 귀속), 85·89·94(F 개념 차이). 자문보고서 p.1·5–6.

**1-7. 저자 자신의 분석을 "확인할 수 없다"고 쓴 문장을 사실 문장으로 바꾼다 [저자 확인 필요]**
- **문제**: 원고 여러 곳이 저자 자신의 실행 조건을 남의 기록처럼 "확인할 수 없다", "보고되어 있지 않다"로 쓴다. 심사자는 이를 저자가 자기 실험 조건을 모른다는 뜻으로 읽는다. 특히 TF–IDF를 fold 안에서만 적합했는지는 그룹 교차검증이 성립하는지를 정하는 핵심 조건인데, 원고에는 "적합해야 한다"는 당위로만 적혀 있다.
- **고칠 방법**: 저자에게 다음을 묻는다. (a) TF–IDF를 학습 fold에서만 적합했는가(예: Pipeline 안에서)? (b) Python과 scikit-learn 버전은 무엇인가? (c) 두 교차검증의 shuffle과 random_state는 어떻게 설정했는가? (d) fold별 P3·N3 지원수는 얼마인가? (e) 마진 동점은 어떻게 처리했고, 최소 선택 표본은 얼마인가? (f) Cramér's V 계산에 P0를 포함했는가? 답이 있는 것은 3.6–3.9절에 사실 문장으로 쓰고, 기록이 없는 것은 "기록이 남아 있지 않다"고 짧게 쓴다. 3.1절의 수집목록 문장은 자문보고서 표현인 "공개되어 수집할 수 있었던 문서"(p.19)로 보완한다.
- **원고 위치**: 「완전한 수집목록은 본 원고에 충분히」(3.1), 「TF–IDF의 어휘와 IDF는」, 「현재 기록만으로 모든 실행 조건의 충족을」, 「최초 라벨링 절차, fold별 특징 적합 과정」(3.9), 「실제 fold별 구성 없이」(4.3), 「마진 동점처리 조건을 확인할 수 없어」, 「R 38.0%로 보고되었다」(4.7), 「정확한 소프트웨어 버전 등도 충분히」(5.6).
- **근거**: 심사 지적 20·62·66(fold 배정, 전처리 적합, 재현 정보). 원고 5.6절 "여덟째".

**1-8. 분할 민감도를 정확도만이 아니라 macro-F1로도 보고한다**
- **문제**: 초록, 4.3절, 결론은 분할 차이를 정확도 차이(P +0.175, R +0.156)로만 요약한다. 그러나 주지표는 macro-F1이고 클래스 불균형도 크다(N1 73.5%, P2 65.2%). Table 7의 값으로 macro-F1 차이(무작위 − 그룹)를 계산하면 P +0.306, W +0.021, N +0.052, R +0.191이다.
- **고칠 방법**: 4.3절 「그룹 분리와의 차이는 각각 +0.175」 문장 뒤에 위의 macro-F1 차이 문장을 넣고, 이 값이 "Table 7 값의 차"라고 밝힌다. 초록에는 괄호로 P와 R의 macro-F1 차이를 함께 적을 수 있다.
- **원고 위치**: 「그룹 분리와의 차이는 각각 +0.175」(4.3), 「P에서 0.175, R에서 0.156 높아」(초록).
- **근거**: 심사 지적 63(지표 불일치). Table 7의 값으로 계산했다.

**1-9. MDPI 원고 끝에 필요한 절을 넣는다 [저자 확인 필요]**
- **문제**: 원고는 「Appendix A. 분류 및 감사 필드」 다음에 바로 「References」가 온다. 원고 끝에 와야 할 Author Contributions, Funding, Data Availability Statement, Acknowledgments, Conflicts of Interest 절이 없다.
- **고칠 방법**: Data Availability에는 저자 결정에 따라 "매핑 데이터 2,092행(원문, 정비문장, P/W/N/F/R, 필요도, 매핑상태)을 보충자료로 제공한다"고 쓴다. 공개 형식과 위치는 저자에게 확인한다. Acknowledgments에는 1-6의 자문 출처를 넣는다. Funding, Conflicts of Interest, Author Contributions는 저자에게 물어 채우고, 추측해서 쓰지 않는다. 연구윤리 승인 문구는 쓰지 않는다.
- **원고 위치**: 「References」 바로 앞.
- **근거**: 심사 지적 124(학술지 형식). 원고를 검색해 해당 절이 없음을 확인했다. 데이터 공개는 저자 결정이다.

**1-10. 코퍼스 정제 단계의 순서와 수치를 자문보고서와 맞춘다 [저자 확인 필요]**
- **문제**: 원고는 "정확 중복 제거 → 3,737건 → 형태 필터링·유사 통합 → 3,259건" 순서로 쓴다. 자문보고서 표 2-2(p.8)는 "형태 필터링(수집 4,553건 대상) → 유사·중복 제거(고유 3,737건) → 적합성 분리 → 어투 변환(233건) → 2,092건" 순서이고, 3,259건이라는 단계가 없다.
- **고칠 방법**: 저자에게 실제 순서를 확인한 뒤 3.1절과 Table 2를 한 가지 순서로 통일한다. 3,259건, 1,167건과 그 분리 사유별 건수는 원고에만 있는 저자 보고값이므로 그대로 둔다.
- **원고 위치**: 「정확 중복을 제거한 고유 문장은 3,737건」(3.1), 「형태 필터링·유사중복 통합 후」(Table 2).
- **근거**: 원고와 자문보고서를 직접 대조했다.

## 2. 표현을 약하게 하거나 한계로 옮길 주장

- 「BIM 발주요건의 5패싯 분류체계」(제목): 성능 평가는 4개 패싯에만 했다(주장 d383, 추론). 부제를 "…: P/W/N/R 참조라벨 평가와 적용분야 후보분포"로 바꿀지 저자에게 묻는다.
- 「검토 지원구조의 가능성을 보여준다」(초록) → "검토 지원구조의 설계 방향을 제시한다. 검토시간·정확도 효과는 측정하지 않았다."
- 「발주요건 검토 절차를 도출한다」(1장 기여) → "발주요건 검토 절차를 제안한다."
- 「5.3. 문서 그룹 분리 검증의 필수성」 → "5.3. 문서 그룹 분리 검증의 필요성"
- 「출처 단위가 성능 추정에 영향을 줌을」(결론) → "출처 단위가 성능 추정에 영향을 줄 수 있음을 보였다." (주장: 분할 차이 needs_evidence, 저자 보고값)
- 「그룹 SVM 단독의 0.302보다 높았다」(결론) 뒤에 덧붙임 → "다만 이 조합은 같은 OOF 결과를 본 뒤 구성한 후향적 조합이다." (주장 a74c, 0.383은 저자 보고값)
- 「중간층이 필요함을 보여준다」(서론) → "중간층이 필요함을 시사한다."
- 「패싯별로 유용한 정보와 분류경계가 다를 수」(5.2) → 1-2의 단서 공유 문장을 넣은 뒤 "상보성" 해석이 조건부임을 밝힌다.

## 3. 손대지 말 것

자료에서 다시 계산해 확인한 값이다(analysis_verified). 바꾸지 않는다.
- 분석문장 2,092건: 제목, 초록, 3.1절, Table 2
- 명시 발주기관 9곳: 초록, 3.1절, Table 2. 자문보고서 기관표의 합계 2,092와도 일치한다.
- 발주처 결측 116건, 문서명 결측 558건: 3.1절, Table 2, 5.6절
- 결측을 포함한 출처 조합 168개: 초록, 3.1·3.7절, Table 1·2
- 원문과 정비문장이 다른 233건: 초록, 3.1절, Table 2, 4.6절
- 참조라벨 분포(Table 4): P 653/1,363/24/52, W 139/165/525/205/188/333/537, N 1,538/490/64, R 1,260/584/248

성능 수치는 저자 보고값이다(이번에 다시 실행하지 않았다). 값을 바꾸지 말고, "재현되었다"고도 쓰지 않는다: macro-F1·정확도·κ(Tables 6–9), 0.383, 214건, 582건. 다만 원고 안의 산술은 서로 맞는 것을 확인했다: Table 10의 행·열 합, 그 표에서 계산한 R 규칙 정확도 0.388과 macro-F1 0.357, 4.6절 필요도 교차표(불일치 582), Table 8에서 계산한 SVM macro-F1, 4.3·4.5절의 차이값 0.113/0.123/0.294/0.241.

이미 들어 있는 다음 단서도 지우지 않는다: 3.7절 "인과추정은 아니다", Figure 5 캡션(오차막대는 차이의 신뢰구간이 아님), Table 11 각주, 4.5절 "후향적 조합".

## 4. 한계 절(5.6)에 넣을 문장

1-1부터 1-5의 답이 해당 전제와 같을 때만 넣는다. 다를 때는 답에 맞게 고친다.

1. 참조라벨은 자문 과정에서 판정 규칙과 키워드 사전을 2,092문장에 같은 순서로 적용하고 표본 점검으로 오판정을 정정한 매핑값이며, 여러 판정자가 같은 문장에 같은 값을 부여하는지는 검증되지 않았다. **[저자 확인 필요: 1-1]**
2. 본 연구의 규칙 기준선은 참조라벨 작성에 쓰인 판정 단서를 공유하므로, 규칙과 참조라벨의 일치에는 독립적 정확도뿐 아니라 생성 절차의 재현 정도가 포함된다. **[저자 확인 필요: 1-2]**
3. R 참조라벨 중 1,172건은 내용 경중(발주처 필요도 열)으로 정해졌으므로, 필요도와 R의 교차분포는 독립된 두 판단의 비교가 아니며 582건의 불일치는 어투로 R을 정한 920건에서 나타났다. **[저자 확인 필요: 1-1 (a)]**
4. 정비문장이 라벨 판정의 기준 문장이었다면, 정비대상 233건의 R 라벨은 편집 뒤의 어투를 반영할 수 있으며 원문을 입력으로 한 R SVM·M 분석과 기준 텍스트가 다르다. **[저자 확인 필요: 1-4]**
5. 신뢰구간은 그룹 SVM 정확도에 대해서만 산출하였고, macro-F1과 두 분할 방식 간 차이의 신뢰구간은 보고하지 않았다.