# 건설 강화학습 로봇, 실기 검증은 두 연구실에 몰린다

2021–2025년 건설 로보틱스 강화학습(RL) 체계적 매핑 리뷰의 시드 집합은 1차 연구 후보 약 90편과 리뷰 15편 안팎으로 꾸릴 수 있다. 이 가운데 **실규모 장비 검증은 굴착·토공 분야의 약 11편뿐이고**, 거의 모두 ETH Zurich의 12 t Menzi Muck M545 굴착기 연구와 스웨덴·유럽 휠로더 연구 두 무리에서 나왔다. 조립·설치 분야의 실물 로봇 검증은 4편이며 모두 실험실이다. 적층제조(3D 프린팅)에서는 RL 정책이 실물 프린터를 폐루프로 제어한 건설 연구가 한 편도 확인되지 않았다. 현장 주행 분야에서는 실제 운영 중인 공사 현장 검증이 0편이다. sim-to-real 기법은 세 갈래로 모인다. 토질·더미 변수에 대한 도메인 무작위화(DR), 실측으로 학습한 구동기·동역학 모델(시스템 식별, SI), 실기에서 미세조정(FT-HW)이다. 좁은 의미의 도메인 적응을 쓴 건설 연구는 초록 수준에서 한 편도 없었다. 신규성 위협은 분명하다. Jin et al. 2026 SSRN 프리프린트가 이미 75개 1차 사례의 "validation exposure"를 사례별로 코딩했다. 따라서 새 리뷰는 **sim-to-real 기법을 논문별로 코딩하고, 이를 검증 수준·과업 유형과 교차 집계하며, 검색식을 공개한 2021–2025 프로토콜**을 차별점으로 삼아야 한다. 아래 코딩 대부분은 초록에 근거하므로, 시드를 확정하기 전에 전문 확인이 필요하다.

## 굴착·토공 56편 중 실규모 검증은 약 11편, 크레인·TBM은 사실상 시뮬레이션

굴착·토공·중장비 영역은 시드 집합에서 가장 크고 가장 성숙한 영역이다. 실규모 검증의 핵심은 ETH 연구다. Egli & Hutter는 2022년 RA-L에서 굴착기 실측 데이터로 학습한 신경망 구동기 모델 위에서 팔 궤적 추종 정책을 학습했고, 이 정책을 "without further tuning" 그대로 실기에 올렸다 ([ETH RC](https://www.research-collection.ethz.ch/entities/publication/1eac0d1e-5ff5-4d6f-a2c6-cf6da894db31)). 같은 해의 토질 적응 굴착과 2024년 T-FR 버킷 채움 연구는 **토질 변수를 "heavily randomized" 한 DR**로 시뮬레이션에서만 학습했다. 이 정책을 12 t 굴착기의 여러 토질에서 시험했고, 숙련 운전원과 견줄 만한 성능을 보고했다 ([S2 LRA 2022](https://api.semanticscholar.org/graph/v1/paper/DOI:10.1109/lra.2022.3189834), [S2 T-FR 2024](https://api.semanticscholar.org/graph/v1/paper/DOI:10.1109/tfr.2024.3432508)).

휠로더 쪽은 실규모 검증 경로가 다양하다. ICRA 2024 연구는 모방학습으로 만든 제어기를 **24 t 실기에서 버킷 채움 20–40회만으로 RL 미세조정**했다 ([S2](https://api.semanticscholar.org/graph/v1/paper/DOI:10.1109/icra57147.2024.10610221)). Automation in Construction 2024 연구는 월드 모델을 "dream" 시뮬레이터로 썼고, 학습한 정책을 수정 없이 실규모 휠로더에 배치했다 ([KIT](https://publikationen.bibliothek.kit.edu/1000175083/155122931)). ICCMA 2025 연구는 DEM 버킷-재료 모델을 실측과 대조해 MAE 약 15%를 확인하고, 여기에 DR을 함께 썼다 ([S2](https://api.semanticscholar.org/graph/v1/paper/DOI:10.1109/iccma67641.2025.11369548)). 한국 연구로는 IEEE Access 2025의 human-in-the-loop RL이 눈에 띈다. 운전자 개입을 받으며 실기 데이터 12–21분으로 자갈·모래·호박돌 토질 굴착을 학습했다 ([S2](https://api.semanticscholar.org/graph/v1/paper/DOI:10.1109/access.2025.3585182)).

반대로 크레인·TBM·도저는 거의 시뮬레이션이거나 축소 모형이다. 타워크레인 제어는 실험실 크레인 실험(IFAC 2023 제로샷 전이 등)까지는 갔다 ([KFUPM](https://pure.kfupm.edu.sa/en/publications/zero-shot-sim2real-transfer-of-deep-reinforcement-learning-contro/)). 인양 경로 계획 연구는 모두 시뮬레이션이다. TBM·실드 연구는 대부분 데이터 기반 예측 모델이나 현장 이력 데이터 위에서 돌린 의사결정 지원이고, 폐루프 기계 제어가 아니다 ([S2 TBM attitude](https://api.semanticscholar.org/graph/v1/paper/DOI:10.3390/app131810026)). 그래서 검증 수준 코드에 **"오프라인·이력 데이터"** 범주를 따로 두어야 한다. 2025년 한국·중국 학술지의 궤적 계획 논문들(대한전자공학회 논문지 2편, IJCAS, JIFS 등)은 Crossref에서 제목만 확인했다. 검증 수준은 아직 비어 있다.

## 조립·설치 18편: 실물 로봇 4편, 공사 현장은 0편

조립·설치 영역은 약 18편이다. 대부분 Unity·PyBullet·BIM 연동 게임엔진 같은 가상 환경 안에서 끝난다. 실물 로봇 검증은 네 편이다. ETH의 목재 맞춤 삽입(Apolinarska 2021, ABB IRB4600), EPFL의 무지보 스패닝 구조물 조립(로봇 팔 2대로 두 구조물 제작), 커튼월 인간-로봇 역할 배분(레이저 포인터로 목표 위치 대체), xArm을 실은 Husky의 안전 제약 나사 체결(2025)이다 ([Autodesk PDF](https://www.research.autodesk.com/app/uploads/2023/03/Roboticassemblyoftimberjoints.pdf_rec4bw7CPrd5o02eT.pdf), [EPFL Infoscience](https://infoscience.epfl.ch/handle/20.500.14299/201520), [OpenAlex CMES](https://api.openalex.org/works/doi:10.32604/cmes.2023.029729), [project page](https://kangk906.github.io/safetycon.github.io/)).

명시적인 sim-to-real 기법을 쓴 논문은 Apolinarska 2021 하나다. 이 연구는 PyBullet에서만 학습하면서 힘·토크 관측에 상관·비상관 가우스 잡음(예: σ = 2 N, 0.2 Nm)과 마찰 잡음 0.1을 넣었고, 시연을 함께 써서 제로샷으로 배치했다. 10–20 ms 시스템 지연은 무작위화하지 않고 명시적으로 처리했다 ([Autodesk PDF](https://www.research.autodesk.com/app/uploads/2023/03/Roboticassemblyoftimberjoints.pdf_rec4bw7CPrd5o02eT.pdf)). EPFL 후속 프로젝트는 원래 시뮬레이터가 공차와 로봇 정밀도를 무시했다고 스스로 밝혔다 ([EPFL SYCAMORE](https://www.epfl.ch/labs/sycamore/stability-guided-reinforcement-learning-for-autonomous-robotic-construction/)). 이 분야에서 "디지털 트윈"은 실기 동기화 장치가 아니라 학습 환경 생성기로 쓰인다 ([UMich PDF](https://acemrl.engin.umich.edu/wp-content/uploads/sites/412/2022/08/Lee-digital-twin.pdf)).

연구 집단도 몰려 있다. UBC Zou 그룹이 창호·천장 설치와 HRC 논문 다섯 편을, TU/e·PolyU 그룹이 프리팹 조립 계획 두 편을 냈다. 창호 설치 연구들은 VR 시연과 환경 보상을 결합했지만 실기 전이는 보고하지 않았다 ([WSC 2022](https://informs-sim.org/wsc22papers/246.pdf), [workshop PDF](https://construction-robots.github.io/papers/8.pdf)).

## 적층제조는 RL이 경로를 짤 뿐, 프린터를 움직이지 않는다

건설 적층제조 영역에서 Crossref로 확인한 1차 연구는 여섯 편이다. RL을 제어기로 쓴 연구는 두 편이다. Parisi et al. 2023은 타워크레인과 프로펠러 안정화 압출기를 DRL로 제어하는 개념을 시뮬레이션에서만 검증했고, 이를 실험 연구의 "first step"이라 불렀다 ([Emerald](https://www.emerald.com/insight/content/doi/10.1108/CI-10-2022-0278)). Felbrich et al. 2022는 TD3·SAC로 블록 쌓기와 센서 적응 3D 프린팅을 학습했다. 초록에 "industry-grade hardware control"이 나오지만 실물 프린팅 여부는 전문으로 확인하지 못했다 ([UTS](https://opus.lib.uts.edu.au/handle/10453/157700)).

2025년에 몰린 나머지 연구(Wang et al. 두 편, Ye & Ren)는 RL을 pointer network, A-LSTM, Q-learning 형태의 **오프라인 경로 계획기**로 쓴다. 시뮬레이션 소프트웨어, FE 해석, "experiments"로 검증했다고 적었지만 프린터와 규모는 초록에 없다 ([3dcp.fyi C3](https://3dcp.fyi/wang_zuo_xu_liu.2025.RLBCPPaAC3PoCHC/), [C4](https://3dcp.fyi/wang_liu_xu_cao.2025.AGALHCPPAfC3PoCPSBoMOOaRL/), [C5](https://3dcp.fyi/ye_ren.2026.AECBRLPOMf3CP/)). 이런 논문은 실물이 출력되더라도 일반 제어기가 RL이 만든 경로를 따라 출력한 것이다. 따라서 sim-to-real 실패로 세지 말고 **"해당 없음–오프라인 RL 계획기"**로 코딩해야 한다.

폐루프 RL 압출 제어와 제로샷 sim-to-real은 건설 밖의 폴리머 압출 AM(Additive Manufacturing 2025, 10.1016/j.addma.2025.104912)에서만 보인다 ([arXiv 2503.00971](https://arxiv.org/html/2503.00971v1)). DIW 폐루프 제어(arXiv 2201.11819)와 Unity–ROS2 디지털 트윈 동기화(arXiv 2501.18016) 역시 건설 밖의 인접 연구다 ([arXiv 2201.11819](https://arxiv.org/pdf/2201.11819), [arXiv 2501.18016](https://arxiv.org/abs/2501.18016)). 2024 VPP 모바일 AM 리뷰도 대형 프린팅의 RL 사례로 시뮬레이션뿐인 Parisi et al.만 인용한다 ([T&F](https://www.tandfonline.com/doi/full/10.1080/17452759.2024.2433588)). 그러므로 이 공백은 검색이 빠뜨려서 생긴 것이 아니라 실제 연구 공백이다. 2026년에는 두 로봇이 아치를 폐루프로 출력한 SAC sim-to-real 연구가 나왔지만 범위 밖이다 ([arXiv 2609.08669](https://arxiv.org/pdf/2609.08669)).

## 현장 주행 12편: 시뮬레이션이 압도하고 실검증은 실험실 하나

현장 이동 로봇 영역의 1차 연구는 약 12편이다. 작업자 궤적 예측을 반영한 경로 계획(JCCE 2023: 10,000 에피소드 성공률 100%, 작업자 충돌률 23% 감소), 근접 거리 규범을 지키는 사회적 주행(i3CE), 다락형 실내 3D 매핑·주행(CACAIE 2025)이 대표적이고, 모두 시뮬레이션이다 ([ASCE JCCE](https://doi.org/10.1061/(asce)cp.1943-5487.0001056), [ASCE i3CE](https://doi.org/10.1061/9780784485224.071), [Wiley](https://onlinelibrary.wiley.com/doi/full/10.1111/mice.13353)). 실물 검증은 두 건뿐이다. DAMALCS(IEEE OJVT 2024)는 축소 불도저·덤퍼를 실험실에서 시험하며 시각 잡음과 측위 오차를 넣었다. IROS 2024 동반 로버는 목공 거푸집 작업에 시제품을 배치했는데, 실제 현장인지 모형인지는 초록에 없다 ([arXiv 2409.10375](https://arxiv.org/abs/2409.10375), [IROS 2024](https://doi.org/10.1109/iros58592.2024.10802698)). AiC 2023 실내 현실 매핑 UGV 논문은 초록을 구하지 못해 전문 코딩 1순위로 남는다.

이 영역은 두 갈래로 나뉜다. 건설 정보학 학술지(AiC, JCCE, CACAIE, AEI, ICRA-FoC)는 작업자 근접이나 매핑 품질에 맞춘 보상을 시뮬레이션 안에서 다룬다. 로보틱스 학회는 보행 로봇 제로샷 전이 같은 sim-to-real 방법을 갖고 있지만 건설 환경에서 시험하는 일은 드물다. 예컨대 ICRA 2024 계단 오르기 RL은 실물 로봇 연구이지만 건설 시험이 없어 제외를 권고한다 ([alphaXiv](https://www.alphaxiv.org/abs/2402.06143)).

## 1차 연구 통합 표

표기 규칙은 다음과 같다. DOI는 노트에서 Crossref 확인을 명시한 것만 적었고, arXiv(DataCite DOI)와 미확인 항목은 비웠다. 검증 수준은 시뮬레이션 / 실험실 실물(축소 포함) / 현장·실규모 / 오프라인 데이터 / 미확인으로 나눴다. sim-to-real 기법의 약어는 DR(도메인 무작위화), SI(시스템 식별·학습된 동역학), FT-HW(실기 학습·미세조정), 제로샷(기법 미명시)이다. "해당 없음"은 실기로 전이하지 않은 경우다. "(경계)"는 포함 여부를 선별 단계에서 판단해야 하는 항목이다. 거의 모든 코드는 초록 근거다.

| 제목 | 연도 | 학술지·학회 | DOI | 과업 | 검증 수준 | sim-to-real 기법 |
|---|---|---|---|---|---|---|
| A General Approach for the Automation of Hydraulic Excavator Arms Using Reinforcement Learning | 2022 | IEEE Robotics and Automation Letters | 10.1109/lra.2022.3152865 | 굴착: 유압 굴착기 팔 궤적 추종 | 현장·실규모 (12 t Menzi Muck M545) | SI (실측 학습 신경망 구동기 모델), 추가 튜닝 없음 |
| Soil-Adaptive Excavation Using Reinforcement Learning | 2022 | IEEE Robotics and Automation Letters | 10.1109/lra.2022.3189834 | 굴착: 토질 적응 버킷 굴착 | 현장·실규모 (12 t, 여러 토질) | DR (토질 변수) |
| Reinforcement Learning-Based Bucket Filling for Autonomous Excavation | 2024 | IEEE Transactions on Field Robotics | 10.1109/tfr.2024.3432508 | 굴착: 깊이 제약 버킷 채움·트렌치 | 현장·실규모 (12 t) | DR (토질 변수), 시뮬만으로 학습 |
| ExT: Towards Scalable Autonomous Excavation via Large-Scale Multi-Task Pretraining and Fine-Tuning (arXiv 2509.14992) | 2025 | arXiv preprint | | 굴착: 다과업 사이클, 사전학습 후 시뮬 내 RL 미세조정 | 현장·실규모 (M545, 2차 출처) | 제로샷 주장, 기법 미명시 |
| Human-in-the-Loop Reinforcement Learning to Track Excavation Paths for a Hydraulic Excavator in a Short Period of Time | 2025 | IEEE Access | 10.1109/access.2025.3585182 | 굴착: 경로 추종 | 현장·실규모 추정 (실기, 규모 미기재) | FT-HW (실기 데이터 12–21분, 운전자 개입) |
| Excavation Reinforcement Learning Using Geometric Representation | 2022 | IEEE Robotics and Automation Letters | 10.1109/lra.2022.3150511 | 굴착: 잡동사니 물체 굴착 | 실험실 실물 추정 (실세계 시험, 플랫폼 미확인) | 기하 표현으로 격차 축소 |
| Excavation Learning for Rigid Objects in Clutter | 2021 | IEEE Robotics and Automation Letters | 10.1109/lra.2021.3097264 | 굴착: 강체 굴착 궤적 계획 (RL 여부 확인 필요) | 시뮬 + 실세계 (플랫폼 미확인) | 복셀 표현 |
| 3D Operation of Autonomous Excavator based on Reinforcement Learning through Independent Reward for Individual Joints (arXiv 2406.19848) | 2024 | arXiv preprint | | 굴착: 선회 포함 3D 버킷 제어 | 미확인 (출처 상충) | 실제 맞춤 시뮬 (불명확) |
| Learning to Capture Rocks using an Excavator: A Reinforcement Learning Approach with Guiding Reward Formulation (arXiv 2510.04168) | 2025 | arXiv preprint | | 굴착: 암석 포획 (CAT365 모델) | 시뮬 (초록 기준, 전문 확인 필요) | DR (암석 형상·밀도·질량) |
| Deep Reinforcement Learning With Adversarial Training for Automated Excavation Using Depth Images | 2022 | IEEE Access | 10.1109/access.2022.3140781 | 굴착: 깊이 영상 기반 굴착 | 시뮬 | 해당 없음 |
| Reinforcement learning‐based trajectory planning for continuous digging of excavator working devices in trenching tasks | 2025 | Computer-Aided Civil and Infrastructure Engineering | 10.1111/mice.13428 | 굴착: 연속 트렌칭 궤적 | 시뮬 | 해당 없음 |
| Adaptive Excavation Automation in Complex Soil Environments Using Reinforcement Learning | 2025 | IEEE Transactions on Automation Science and Engineering | 10.1109/tase.2025.3611032 | 굴착: 토질 적응 궤적 (FEE+PPO) | 시뮬 | 해당 없음 |
| Time-optimal online trajectory planning for excavator robotics based on reinforcement learning | 2025 | Advances in Mechanical Engineering | 10.1177/16878132251370408 | 굴착: 시간 최적 궤적 (TD3) | 시뮬 | 해당 없음 |
| Simulation of Coherent Excavator Operations in Earthmoving Tasks Based on Reinforcement Learning | 2024 | Buildings | 10.3390/buildings14103270 | 굴착: 긁기·굴착·투하·선회 | 시뮬 | 해당 없음 |
| Autonomous Pick-and-Place Using Excavator Based on Deep Reinforcement Learning | 2023 | ICITEE 2023 | 10.1109/icitee59582.2023.10317662 | 굴착: 버킷 집어 놓기 | 시뮬 | 해당 없음 |
| Terrain Adaption Controller for a Walking Excavator Robot using Deep Reinforcement Learning | 2021 | ICAR 2021 | 10.1109/icar53236.2021.9659399 | 굴착: 보행 굴착기 지형 적응 | 시뮬 | 해당 없음 |
| Stepping Locomotion for a Walking Excavator Robot using Hierarchical Reinforcement Learning and Action Masking* | 2025 | IROS 2025 | 10.1109/iros60139.2025.11247348 | 굴착: 보행 굴착기 장애물·단차 넘기 | 시뮬 | 해당 없음 |
| Enhanced Hydraulic Excavator Control via Semi-automatic Grading Control Using Reinforcement Learning | 2025 | International Journal of Control, Automation and Systems | 10.1007/s12555-024-0213-9 | 굴착: 반자동 정지 | 미확인 | 미확인 |
| Vision-based Control for Excavator Navigation Using Deep Reinforcement Learning | 2025 | IEEE AIMS 2025 | 10.1109/aims66189.2025.11229794 | 굴착: 굴착기 주행 | 미확인 | 미확인 |
| Navigating Vision-based Autonomous Excavator Robot Using Deep Reinforcement Learning | 2025 | EECSI 2025 | 10.1109/eecsi67060.2025.11290309 | 굴착: 굴착기 주행 | 미확인 | 미확인 |
| Excavator Path Planning Based on Reinforcement Learning | 2025 | Journal of Intelligent & Fuzzy Systems | 10.1177/18758967251358112 | 굴착: 경로 계획 | 미확인 | 미확인 |
| Human-Inspired Inverse Reinforcement Learning for Autonomous Excavator Operations in Lunar Environments | 2025 | ISARC 2025 (IAARC) | 10.22260/isarc2025/0044 | 굴착: 역강화학습, 달 환경 (경계) | 미확인 | 미확인 |
| Reinforcement Learning-based Local Task Planning Algorithm for Excavation Automation | 2025 | Journal of the Institute of Electronics and Information Engineers | 10.5573/ieie.2025.62.1.105 | 굴착: 국소 작업 계획 | 미확인 | 미확인 |
| Reinforcement Learning-based Excavation Trajectory Generation Algorithm Utilizing Soil Data | 2025 | Journal of the Institute of Electronics and Information Engineers | 10.5573/ieie.2025.62.2.85 | 굴착: 토질 데이터 기반 궤적 생성 | 미확인 | 미확인 |
| Automatic Loading of Unknown Material with a Wheel Loader Using Reinforcement Learning | 2024 | ICRA 2024 | 10.1109/icra57147.2024.10610221 | 토공: 휠로더 미지 재료 버킷 채움 | 현장·실규모 (24 t) | FT-HW (모방학습 제어기를 실기에서 RL 미세조정, 20–40회) |
| Optimizing bucket-filling strategies for wheel loaders inside a dream environment | 2024 | Automation in Construction | 10.1016/j.autcon.2024.105804 | 토공: 휠로더 버킷 채움 | 현장·실규모 (수정 없이 배치) | SI (월드 모델 대리 시뮬레이터) |
| Generalized Framework for Wheel Loader Automatic Shoveling Task with Expert Initialized Reinforcement Learning | 2024 | IEEE/SICE SII 2024 | 10.1109/sii58957.2024.10417575 | 토공: 휠로더 자동 삽질 | 현장·실규모 (산업용 휠로더) | SI (동역학 매개변수 추정) + 전문가 초기화 RL |
| Achieving Wheel Loader Automatic Consistent Loading via Simulated Bucket-media Interactions | 2025 | ICCMA 2025 | 10.1109/iccma67641.2025.11369548 | 토공: 더미 형상별 일관 적재 | 현장·실규모 | DR + 실측 대조 DEM 모델 |
| Solving robotics tasks with prior demonstration via exploration-efficient deep reinforcement learning | 2025 (Crossref issued 2026, 창 경계) | Frontiers in Robotics and AI | 10.3389/frobt.2025.1682200 | 토공: 휠로더 버킷 적재 (+서랍 열기) | 현장·실규모 추정 (실기, 규모 미기재) | DR + 실기 매개변수 반영 시뮬 (SI, 2차 출처) |
| Learning the Approach During the Short-loading Cycle Using Reinforcement Learning (arXiv 2406.13366) | 2024 | arXiv preprint | | 토공: 숏로딩 사이클 덤프트럭 접근 | 현장·실규모 (Volvo L180H, 2차 출처) | 제로샷 (추가 학습 없음) |
| Wheel Loader Scooping Controller Using Deep Reinforcement Learning | 2021 | IEEE Access | 10.1109/access.2021.3056625 | 토공: 퍼올리기 (DDPG) | 실험실 실물 (축소 UGV, 4.1–7.2 kg) | 기법 미명시 (단순 시뮬 학습 후 실험) |
| Data-Driven Reinforcement-Learning-Based Automatic Bucket-Filling for Wheel Loaders | 2021 | Applied Sciences | 10.3390/app11199191 | 토공: 버킷 채움 (Q-learning) | 시뮬 (실측 기반 예측 모델) | SI (시험 데이터 통계 모델) |
| Continuous Control of an Underground Loader Using Deep Reinforcement Learning | 2021 | Machines | 10.3390/machines9100216 | 토공: 지하 LHD 굴착점·버킷 채움 | 시뮬 | 해당 없음 |
| Towards Autonomous Grading In The Real World | 2022 | IROS 2022 | 10.1109/iros47612.2022.9982114 | 토공: 도저 정지 | 실험실 실물 (축소 시제품) | 초록 미명시 (특권 학습·높이맵, 2차 출처) |
| AGPNet - Autonomous Grading Policy Network | 2022 | ICRA 2022 Future of Construction Workshop (IAARC) | 10.22260/icra2022/0013 | 토공: 도저 정지 (RL+행동복제) | 실험실 실물 추정 (도저 시제품 비교) | 미명시 |
| Route optimization for autonomous bulldozer by distributed deep reinforcement learning | 2021 | IEEE ICM 2021 | 10.1109/icm46511.2021.9385686 | 토공: 퇴적물 평탄 경로 | 시뮬 | 해당 없음 |
| Blade Control for Bulk Dozer Push by Bulldozer using Reinforcement Learning | 2024 | IECON 2024 | 10.1109/iecon55916.2024.10905075 | 토공: 도저 블레이드 제어 (광산) | 시뮬 | 해당 없음 |
| Zero-Shot Sim2Real Transfer of Deep Reinforcement Learning Controller for Tower Crane System | 2023 | IFAC-PapersOnLine | 10.1016/j.ifacol.2023.10.867 | 크레인: 타워크레인 제어 | 실험실 실물 | 제로샷 |
| Safe reinforcement learning-based control using deep deterministic policy gradient algorithm and slime mould algorithm with experimental tower crane system validation | 2025 | Information Sciences | 10.1016/j.ins.2024.121640 | 크레인: 타워크레인 위치 제어 | 실험실 실물 (제목 근거) | 미확인 |
| Adaptive reinforcement learning-based control using proximal policy optimization and slime mould algorithm with experimental tower crane system validation | 2024 | Applied Soft Computing | 10.1016/j.asoc.2024.111687 | 크레인: 타워크레인 제어 | 실험실 실물 (제목 근거) | 미확인 |
| Deep reinforcement learning with domain randomization for overhead crane control with payload mass variations | 2023 | Control Engineering Practice | 10.1016/j.conengprac.2023.105689 | 크레인: 천장크레인 제어 | 미확인 (실험실 추정) | DR (제목 근거) |
| Reinforcement learning-based simulation and automation for tower crane 3D lift planning | 2022 | Automation in Construction | 10.1016/j.autcon.2022.104620 | 크레인: 3D 인양 계획 | 시뮬 | 해당 없음 |
| Integrated reinforcement and imitation learning for tower crane lift path planning | 2024 | Automation in Construction | 10.1016/j.autcon.2024.105568 | 크레인: 인양 경로 계획 | 시뮬 추정 | 해당 없음 |
| Path-Planning Method Based on Reinforcement Learning for Cooperative Two-Crane Lift Considering Load Constraint | 2025 | IEEE Transactions on Systems, Man, and Cybernetics: Systems | 10.1109/tsmc.2025.3539318 | 크레인: 2대 협조 인양 경로 | 시뮬 | 해당 없음 |
| A Reinforcement Learning Approach to 4D Crane Lifting Simulation for Tower Crane Cycle Time Estimation | 2022 | Journal of Construction Automation and Robotics | 10.55785/jcar.1.2.13 | 크레인: 인양 시뮬·사이클 시간 | 시뮬 | 해당 없음 |
| Deep Reinforcement Learning for Tower Crane Layout Planning in Dense Multi-Building Sites | 2025 | AIHCIR 2025 | 10.1109/aihcir67580.2025.11404849 | 크레인: 배치 계획 (경계) | 시뮬 | 해당 없음 |
| Energy Efficient Semi-Automatic Control of Loader Cranes using Reinforcement Learning | 2025 | SICFP'25 (River Publishers) | 10.13052/rp-9788743808251a28 | 크레인: 로더 크레인 반자동 제어 | 미확인 | 미확인 |
| Autonomous Control of Redundant Hydraulic Manipulator Using Reinforcement Learning with Action Feedback | 2022 | IROS 2022 | 10.1109/iros47612.2022.9981425 | 크레인: 유압 포워더 크레인 추종 (인접, 임업) | 실험실 실물 (축소) | SI (수동 조작 데이터로 학습한 구동기 네트워크), 직접 배치 |
| Reinforcement Learning Control of a Forestry Crane Manipulator | 2021 | IROS 2021 | 10.1109/iros51168.2021.9636219 | 크레인: 원목 집기 (인접, 임업) | 시뮬 | 해당 없음 |
| Autonomous construction hoist system based on deep reinforcement learning in high-rise building construction | 2021 | Automation in Construction | 10.1016/j.autcon.2021.103737 | 크레인: 호이스트 배차 (인접) | 시뮬 | 해당 없음 |
| Reinforcement learning-based optimizer to improve the steering of shield tunneling machine | 2023 | Acta Geotechnica | 10.1007/s11440-023-02136-4 | TBM: 실드 방향 제어 | 미확인 (오프라인 추정) | 미확인 |
| Intelligent decision-making of shield tunneling machine using deep reinforcement learning in complex geological environment | 2025 | Engineering Applications of Artificial Intelligence | 10.1016/j.engappai.2025.111237 | TBM: 운전 의사결정 | 미확인 | 미확인 |
| The Real-Time Optimal Attitude Control of Tunnel Boring Machine Based on Reinforcement Learning | 2023 | Applied Sciences | 10.3390/app131810026 | TBM: 자세 제어 | 시뮬 (학습된 예측 모델 환경) | SI (데이터 기반 예측 모델) |
| Model-based offline reinforcement learning framework for optimizing tunnel boring machine operation | 2024 | Underground Space | 10.1016/j.undsp.2024.01.008 | TBM: 운전 변수 최적화 | 오프라인 데이터 (현장 이력, 배치 미확인) | SI (모델 기반 오프라인 RL) |
| Automated position control of tunnel boring machine during excavation using deep reinforcement learning | 2024 | Applied Soft Computing | 10.1016/j.asoc.2024.112234 | TBM: 위치 제어 | 미확인 | 미확인 |
| Reinforcement Learning for the Face Support Pressure of Tunnel Boring Machines | 2023 | Geosciences | 10.3390/geosciences13030082 | TBM: 막장 지지압 (DQN) | 시뮬 | 해당 없음 |
| Robotic assembly of timber joints using reinforcement learning | 2021 | Automation in Construction | 10.1016/j.autcon.2021.103569 | 조립: 목재 맞춤 삽입 (접촉, 힘·토크) | 실험실 실물 (ABB IRB4600, 갠트리) | DR (힘·토크 잡음, 마찰) + 시연, 제로샷 |
| Robotic architectural assembly with tactile skills: Simulation and optimization | 2022 | Automation in Construction | 10.1016/j.autcon.2021.104006 | 조립: 촉각 기반 부재 배치 (TD3) | 시뮬 | 없음 (실기 전이·미세조정은 향후 과제) |
| To imitate or not to imitate: Boosting reinforcement learning-based construction robotic control for long-horizon tasks using virtual demonstrations | 2023 | Automation in Construction | 10.1016/j.autcon.2022.104691 | 설치: 창호 집기·설치 (VR 시연) | 시뮬 | 없음 |
| A Reinforcement Learning Based Approach for Conducting Multiple Tasks using Robots in Virtual Construction Environments | 2022 | ICRA 2022 Future of Construction Workshop | 10.22260/icra2022/0014 | 설치: 천장판·창호·바닥재 | 시뮬 (Unity3D) | 없음 |
| Training of construction robots using imitation learning and environmental rewards | 2025 | Computer-Aided Civil and Infrastructure Engineering | 10.1111/mice.13394 | 설치: 창호 설치 (모방+환경 보상) | 시뮬 추정 | 미보고 |
| Enhancing Construction Robot Collaboration via Multiagent Reinforcement Learning | 2025 | Journal of Intelligent Construction | 10.26599/jic.2025.9180089 | 조립: 다로봇 협업 설치 (MAPPO+IK; arXiv판 MARC 2305.14586) | 시뮬 | 없음 |
| Reinforcement learning for scaffold-free construction of spanning structures | 2023 | Proc. 8th ACM Symposium on Computational Fabrication | 10.1145/3623263.3623359 | 조립: 무지보 스패닝 구조 블록 조립 순서 | 실험실 실물 (로봇 팔 2대) | 없음 (시뮬 설계 직접 실행) |
| Autonomous robotic additive manufacturing through distributed model‐free deep reinforcement learning in computational design environments | 2022 | Construction Robotics | 10.1007/s41693-022-00069-0 | 조립·AM: 블록 쌓기, 센서 적응 3D 프린팅 (TD3, SAC) | 미확인 (산업용 하드웨어 제어 언급, 실험실 추정) | 미보고 |
| Deep Agency: Towards human guided robotic training for assembly tasks in timber construction | 2024 | eCAADe proceedings | 10.52842/conf.ecaade.2024.1.193 | 조립: 목재 조립 (햅틱 시연+DRL) | 미확인 | 미확인 |
| Role Dynamic Allocation of Human-Robot Cooperation Based on Reinforcement Learning in an Installation of Curtain Wall | 2024 | Computer Modeling in Engineering & Sciences | 10.32604/cmes.2023.029729 | 설치: 커튼월 인간-로봇 역할 배분 | 실험실 실물 | FT-HW 추정 (반복 설치 중 역할 계수 학습, 미확인) |
| Safety-constrained Deep Reinforcement Learning control for human–robot collaboration in construction | 2025 | Automation in Construction | 10.1016/j.autcon.2025.106130 | 설치: Husky+xArm 안전 제약 나사 체결 (경계) | 시뮬 + 실험실 실물 | 미보고 |
| Deep Reinforcement Learning for Real-Time Assembly Planning in Robot-Based Prefabricated Construction | 2023 | IEEE Transactions on Automation Science and Engineering | 10.1109/tase.2023.3236805 | 조립 계획: 프리팹 순서·좌표+동작 계획 | 시뮬 (BIM 게임엔진; 시제품 시험 성격 불명) | 없음 |
| Deep Reinforcement Learning for Prefab Assembly Planning in Robot-based Prefabricated Construction | 2021 | IEEE CASE 2021 | 10.1109/case49439.2021.9551402 | 조립 계획: 벽·계단·피라미드 (DQN) | 시뮬 | 없음 |
| Digital twin-driven deep reinforcement learning for adaptive task allocation in robotic construction | 2022 | Advanced Engineering Informatics | 10.1016/j.aei.2022.101710 | 조립·다로봇: 벽돌 조립 로봇 작업 배분 (PPO) | 시뮬 | 디지털 트윈 (학습 환경 생성용) |
| Reinforcement Learning for Sequential Assembly of SL-Blocks - Self-interlocking combinatorial design based on Machine Learning | 2021 | eCAADe proceedings | 10.52842/conf.ecaade.2021.1.027 | 조립 계획: SL 블록 순차 조립 | 시뮬 | 없음 |
| Optimization of Single-Layer Reticulate Shell Assembly Sequence Using Deep Reinforcement Learning Graph Embedding Method | 2024 | Buildings | 10.3390/buildings14123825 | 조립 계획: 단층 래티스 셸 순서 (경계, 로봇 없음) | 시뮬 | 없음 |
| Stone masonry design automation via reinforcement learning | 2023 | AI EDAM | 10.1017/s0890060423000100 | 조립 계획: 자연석 건식 쌓기 설계 (경계) | 시뮬 | 없음 |
| Autonomous modular construction strategy using robotized crane based on deep learning and reinforcement learning | 2025 | Journal of Civil Engineering and Management | 10.3846/jcem.2025.24043 | 설치: 로봇화 크레인 모듈 인양 경로 (경계) | 시뮬 | 없음 |
| A new concept for large additive manufacturing in construction: tower crane-based 3D printing controlled by deep reinforcement learning | 2023 | Construction Innovation | 10.1108/ci-10-2022-0278 | AM: 타워크레인 기반 프린팅 압출기 궤적 제어 | 시뮬 | 없음 |
| Reinforcement learning-based continuous path planning and automated concrete 3D printing of complex hollow components | 2025 | Automation in Construction | 10.1016/j.autcon.2025.106290 | AM: 3DCP 오프라인 연속 경로 계획 | 시뮬 + FE + "실험" (프린터·규모 미기재) | 해당 없음 (오프라인 RL 계획기) |
| A general adaptive layer height continuous path planning algorithm for concrete 3D printing of complex porous structures based on multi-objective optimization and reinforcement learning | 2025 | Structures | 10.1016/j.istruc.2025.109926 | AM: 적응 층고 슬라이싱+연속 경로 | 시뮬 + "실험" (규모 미기재) | 해당 없음 (오프라인 RL 계획기) |
| A Eulerian Circuit-Based Reinforcement Learning Path Optimization Method for 3D Concrete Printing | 2025 | Mechanisms and Machine Science (ICCES 2025) | 10.1007/978-3-031-96732-0_77 | AM: 오일러 회로+Q-learning 경로 최적화 | 미확인 (계산 검증 추정) | 해당 없음 (오프라인 RL 계획기) |
| Autonomous ecologies of construction: Collaborative modular robotic material eco-systems with deep multi-agent reinforcement learning | 2024 | International Journal of Architectural Computing | 10.1177/14780771241287827 | AM·조립: 모듈 로봇 협업 시공 (경계) | 미확인 | 미확인 |
| Prediction-Based Path Planning for Safe and Efficient Human–Robot Collaboration in Construction via Deep Reinforcement Learning | 2023 | Journal of Computing in Civil Engineering | 10.1061/(ASCE)CP.1943-5487.0001056 | 주행: 작업자 예측 기반 경로 계획 | 시뮬 | 없음 |
| Socially Appropriate Robot Planning in Dynamic, Unseen Construction Environments | 2024 | ASCE i3CE (Computing in Civil Engineering 2023) | 10.1061/9780784485224.071 | 주행: 사회적·근접 규범 주행 | 시뮬 추정 | 없음 |
| Efficient 3D robotic mapping and navigation method in complex construction environments | 2025 | Computer-Aided Civil and Infrastructure Engineering | 10.1111/mice.13353 | 주행: 다락형 실내 3D 매핑·주행 | 시뮬 | 없음 |
| The use of reinforcement learning to plan the path of a construction robot | 2024 | Bionics of Intelligence | 10.30837/bi.2024.2(101).05 | 주행: 혼잡 현장 경로 계획 | 미확인 (시뮬 추정) | 없음 |
| Path Planning and Control of Building Robots Based on Reinforcement Learning Algorithm in Intelligent Construction | 2025 | Procedia Computer Science | 10.1016/j.procs.2025.04.255 | 주행: Q-learning+포텐셜장 경로 | 시뮬 추정 | 없음 |
| Reinforcement learning for high-quality reality mapping of indoor construction using unmanned ground vehicles | 2023 | Automation in Construction | 10.1016/j.autcon.2023.105110 | 주행: 실내 현실 매핑 UGV 경로 | 미확인 (전문 코딩 1순위) | 미확인 |
| Towards Human-Centered Construction Robotics: A Reinforcement Learning-Driven Companion Robot for Contextually Assisting Carpentry Workers | 2024 | IEEE/RSJ IROS 2024 | 10.1109/iros58592.2024.10802698 | 주행: 목공 거푸집 작업 동반 로버 | 실물 시제품 (현장/모형 불명) | 미보고 |
| Deep Reinforcement Learning-based Task Assignment and Path Planning for Multi-agent Construction Robots | 2023 | ICRA 2023 Future of Construction Workshop (IAARC) | 10.22260/icra2023/0008 | 주행: 다로봇 경로·작업 배분 (조적·자재 운반) | 시뮬 | 없음 |
| Decentralized and Asymmetric Multi-Agent Learning in Construction Sites | 2024 | IEEE Open Journal of Vehicular Technology | 10.1109/ojvt.2024.3479927 | 주행·토공: 불도저·덤퍼 협조 (경계) | 시뮬 + 실험실 실물 (축소 차량) | 시각 잡음·측위 오차 섭동 (DR 유사, 학습 사용 여부 미확인) |
| Fusion of Improved A* Algorithm and Reinforcement Learning for Path Planning of Construction Transport Robots | 2025 | Research Square (preprint) | 10.21203/rs.3.rs-7920938/v1 | 주행: 자재 운반 로봇 (A*+PPO) | 시뮬 | 없음 |
| Simultaneous Navigation and Construction Benchmarking Environments (arXiv 2103.16732) | 2021 | arXiv preprint | | 주행: 주행+시공 POMDP 벤치마크 | 시뮬 (격자 세계) | 없음 |
| A Navigation System to Improve Quadruped Robot's Autonomous Path Planning and Locomotion on Outdoor Construction Sites | 2025 | SSRN preprint | 10.2139/ssrn.5907605 | 주행: 사족 로봇 옥외 현장 (RL 여부 미확인) | 미확인 | 미확인 |

표에 넣지 않은 경계 항목도 기록해 둔다. 첫째, 플리트 배차 연구(AiC 2025, 10.1016/j.autcon.2025.106123)는 기계 제어가 아니어서 제외했다. 둘째, 패널 설치 실물 실험을 담은 HRL·VLA 벤치마크(ASCE, 10.1061/jccee5.cpeng-7696)는 Crossref 발행일이 2026이고 arXiv판은 2025년 12월이어서, 창 포함 여부를 판단해야 한다. 셋째, 건식 쌓기 DQN(CVPR Workshops 2021)은 Crossref DOI가 없다. 넷째, 2026년 arXiv 굴착 프리프린트(2606.09183 등)는 창 밖이라 갱신 검색 때 다시 본다 ([arXiv 2606.09183](https://arxiv.org/html/2606.09183v1), [CVF](https://openaccess.thecvf.com/content/CVPR2021W/AI4Space/papers/Menezes_From_Rocks_to_Walls_A_Model-Free_Reinforcement_Learning_Approach_To_CVPRW_2021_paper.pdf)).

## sim-to-real 기법 분포: DR과 SI가 주류, 도메인 적응은 0편

표를 기법별로 묶으면 그림이 분명해진다. **명시적 DR은 약 7편**이다. ETH 2022·2024, ICCMA 2025, 암석 포획, 천장크레인 CEP 2023, 목재 맞춤, Frontiers 휠로더가 여기에 든다. **SI·학습된 동역학도 약 7편**이다. ETH 구동기 네트워크, IROS 2022 포워더, 월드 모델 휠로더, SII 매개변수 추정, Applied Sciences 2021 통계 모델, TBM 예측 모델 두 편이다. **실기 학습·미세조정은 2–3편**이다(ICRA 2024 휠로더, IEEE Access 2025 굴착기, 커튼월 추정). 기법을 밝히지 않은 제로샷 주장은 4편이다(IFAC 2023 크레인, 숏로딩, ExT, 축소 휠로더). 디지털 트윈과 섭동 강건성 시험은 각 1편이다.

중요한 관찰이 두 가지 있다. 첫째, ETH 연구는 구동기 모델과 토질 DR을 함께 쓰는데 초록마다 그중 하나만 적는다. 따라서 **논문당 복수 코드를 허용하고 전문으로 코딩해야 한다** ([ETH RC](https://www.research-collection.ethz.ch/entities/publication/1eac0d1e-5ff5-4d6f-a2c6-cf6da894db31)). 둘째, ICRA 2024 연구는 샘플링 시간을 유압 구동기 지연에 맞춰야 한다고 보고했다. 암석 포획 연구도 배치 실패를 구동 지연과 필터 추가로 고쳤다는 2차 출처가 있다 ([S2](https://api.semanticscholar.org/graph/v1/paper/DOI:10.1109/icra57147.2024.10610221), [arXiv 2510.04168](https://arxiv.org/abs/2510.04168)). 그러므로 코딩 체계에 **"하드웨어 맞춤 지연·타이밍"** 범주를 더하는 편이 낫다.

일반 sim-to-real 리뷰의 분류에서 출발하면 코딩 틀을 정당화하기 쉽다. Zhao 2020의 기법 분류(DR, 도메인 적응, 모방학습, 메타학습, 지식 증류)에 Aljalbout 2026의 격차 원천 분류(동역학, 지각·센싱, 구동·제어, 시스템 설계)를 겹치고, 여기에 real-to-sim·디지털 트윈, 오프라인 RL 계획기, 오프라인 이력 데이터를 추가하면 된다 ([arXiv 2009.13303](https://arxiv.org/pdf/2009.13303), [arXiv 2510.20808](https://arxiv.org/abs/2510.20808)).

## 검색어: 기계·과업 어휘를 묶어야 잡음이 줄어든다

노트들은 일관되게 경고한다. "reinforcement learning construction" 같은 일반 질의는 잡음이 대부분이다. 예컨대 "reinforcement 3D concrete printing"은 철근 보강 논문에 묻힌다. 그래서 영역별 블록을 OR로 합치고 RL 블록과 AND로 묶는 구조를 권한다. 모든 DB에서 "reinforcement learning"은 따옴표로 묶는다.

```
RL 블록:
("reinforcement learning" OR "deep reinforcement learning" OR DRL OR "multi-agent reinforcement learning" OR MARL
 OR "inverse reinforcement learning" OR "hierarchical reinforcement learning" OR "offline reinforcement learning"
 OR "human-in-the-loop reinforcement learning" OR "policy learning" OR "Q-learning" OR "actor-critic"
 OR PPO OR SAC OR TD3 OR DDPG OR DQN OR "world model*")
AND (
 굴착·토공: (excavat* OR "hydraulic excavator" OR "walking excavator" OR "wheel loader" OR "underground loader" OR LHD
   OR bulldozer OR dozer OR "construction machinery" OR earthmoving OR "tower crane" OR "overhead crane" OR "loader crane"
   OR "construction hoist" OR "tunnel boring" OR "shield tunnel*")
   AND (control OR planning OR "bucket filling" OR scooping OR shoveling OR digging OR trenching OR grading OR loading OR lift* OR steering OR attitude)
 OR 조립·설치: (construction OR architectural OR building OR prefabricat* OR modular OR timber OR masonry OR brick* OR "curtain wall"
   OR window OR ceiling OR drywall OR "computational fabrication" OR "robotic fabrication")
   AND (robot* OR manipulator OR crane) AND (assembl* OR install* OR stack* OR placement OR "assembly sequence")
 OR 적층제조: ("3D concrete printing" OR "concrete 3D printing" OR 3DCP OR "construction 3D printing" OR "additive manufacturing in construction"
   OR "robotic additive manufacturing" OR "mobile 3D printing" OR "large-scale additive manufacturing" OR "crane-based 3D printing" OR "shotcrete 3D printing")
 OR 현장 주행: (construction W/3 (site OR robot* OR environment* OR "job site"))
   AND (navigation OR "path planning" OR "motion planning" OR "obstacle avoidance" OR "task allocation" OR "reality capture"
   OR "reality mapping" OR "scan planning" OR proxemic* OR "social* aware" OR quadruped OR legged OR UGV OR rover OR "material transport")
)
코딩 확인용 보조 블록(검색 축소용 아님):
("sim-to-real" OR sim2real OR "reality gap" OR "domain randomization" OR "domain adaptation" OR "system identification"
 OR "actuator network" OR "digital twin" OR "zero-shot transfer" OR "fine-tuning")
```

이 구조는 노트의 영역별 검색식을 합친 것이다. 한국어 꼬리표 줄(굴착·토공: 등)은 설명용이므로 실제 DB에 넣을 때는 지운다. AM 블록의 용어는 VPP 모바일 AM 리뷰의 어휘와도 맞춘 것이다 ([T&F](https://www.tandfonline.com/doi/full/10.1080/17452759.2024.2433588)). 영역별로 덧붙일 말도 있다. 굴착에서는 "FEE", "DEM", "AGX Dynamics" 같은 토질 모델 용어가 제목 밖 초록에 자주 나온다. 조립에서는 "construction"만 쓰면 eCAADe·ACM SCF 같은 건축·전산 제작 논문을 놓친다. 주행에서는 "attic", "formwork", "BIM", "high-rise"가 보조어로 효과적이다.

DB는 기존 리뷰가 쓴 Scopus, Web of Science, ScienceDirect에 IEEE Xplore, ASCE Library, IAARC(ISARC·ICRA-FoC 논문집), arXiv를 더한다 ([PolyU](https://research.polyu.edu.hk/en/publications/reinforcement-learning-in-construction-engineering-and-management/)). 노트 작업 중 Crossref는 HTTP 429로 여러 번 막혔고 Scopus·WoS는 돌리지 못했다. 위 표의 재현율은 완전하지 않다. 특히 중국어·한국어 학술지와 ISARC 2021–2025가 약하다.

## 기존 리뷰: Jin et al. 2026이 검증 수준 코딩을 선점했다

| 제목 | 연도 | 학술지·학회 | DOI | 범위 | 코퍼스 | 검증 수준·sim-to-real 코딩 | 밝힌 공백 |
|---|---|---|---|---|---|---|---|
| Reinforcement Learning in Construction Engineering and Management: A Review | 2022 | Journal of Construction Engineering and Management | 10.1061/(ASCE)CO.1943-7862.0002386 | CEM 전반 RL (에너지·인프라·장비·안전) | 85편 (Scopus·ScienceDirect·WoS), 연도 범위 미확인 | 논문별 코딩 없음 | 일반화 부족, 방법 선택 근거 약함, 검증 부족 |
| Robotics in construction: A critical review of the reinforcement learning and imitation learning paradigms | 2022 | Advanced Engineering Informatics | 10.1016/j.aei.2022.101787 | 건설 로보틱스 RL+IL, 양방향 문헌 검토 | 미확인 | 미확인 | 탐색 부족, 비정형·동적 현장이 핵심 장벽 |
| Reinforcement learning with construction robots: A review of research areas, challenges and opportunities | 2022 | Proceedings of the 39th ISARC | 10.22260/isarc2022/0052 | 현장 건설 로봇 RL, 다중 에이전트 지향 | 미기재 | 미확인 | 단일 에이전트 편중, 상위 자율 제어·물류 부족 |
| Deep Reinforcement Learning for Construction Robotics: A System-Level Taxonomy and Evidence Map toward Real-World Readiness | 2026 | SSRN preprint | 10.2139/ssrn.7029004 | 건설 로보틱스 DRL, 5축 증거 틀 | 152개 시스템 사례 중 1차 75개 (다른 판: 136편·103개 구성) | 검증 노출을 사례별로 코딩; sim-to-real 축은 초록에 없음 | 75개 중 35개가 시뮬 전용·런타임 보증 없음, 지속 배치 0 |
| Robotics in Construction: A Critical Review of Reinforcement Learning, Imitation Learning, and Industry-specific Challenges for Adoption | 2024 | International Journal For Multidisciplinary Research | 10.36948/ijfmr.2024.v06i02.29707 | RL/IL와 도입 장벽 | WoS 212편 주장 (미확인) | 없음 | 데이터·해석성·도입 장벽 (저등급 학술지, 인용 주의) |
| Safety-constrained Deep Reinforcement Learning control for human–robot collaboration in construction | 2025 | Automation in Construction | 10.1016/j.autcon.2025.106130 | 방법 논문 (리뷰 성격 일부) | 2020–2025년 83편 PRISMA 검토 주장 (미확인) | 미확인 | 확인 필요 |
| Mobile robotics and 3D printing: addressing challenges in path planning and scalability | 2024 | Virtual and Physical Prototyping | 10.1080/17452759.2024.2433588 | 모바일 AM, RL 위치 설정 | 미확인 | 없음 | RL 대형 프린팅 사례는 Parisi et al.(시뮬) 하나 |
| Deep Reinforcement Learning for Engineering Project Management: A Systematic Review | 2026 | SSRN | 10.2139/ssrn.6958926 | 인접 (사업 관리) | 미확인 | 미확인 | 경계 설정용 |
| Learning to Schedule in Construction and Built-Environment Operations: A Systematic Critical Review of Deep Reinforcement Learning, Graph Neural Networks, and Multi-agent Approaches | 2026 | SSRN | 10.2139/ssrn.7539398 | 인접 (공정·운영 일정) | 미확인 | 미확인 | 경계 설정용 |
| A Review of Reinforcement Learning for Design in the AEC Industry | 2026 | Construction Research Congress 2026 | 10.1061/9780784486962.047 | 인접 (설계) | 미확인 | 미확인 | 경계 설정용 |
| Deep Learning and Reinforcement Learning for Modeling Occupants' Information in an Occupant-Centric Building Control: A Systematic Literature Review | 2024 | Construction Research Congress 2024 | 10.1061/9780784485262.020 | 인접 (건물 제어) | 미확인 | 미확인 | 경계 설정용 |
| Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics: a Survey | 2020 | IEEE SSCI 2020 | 10.1109/ssci47803.2020.9308468 | 일반 sim-to-real | — | 기법 분류 제공 | DR이 가장 널리 쓰임 |
| Crossing the Reality Gap: A Survey on Sim-to-Real Transferability of Robot Controllers in Reinforcement Learning | 2021 | IEEE Access | 10.1109/access.2021.3126658 | 일반 sim-to-real | — | 접근법 분류 | 약 243회 인용 |
| Sim2Real in Robotics and Automation: Applications and Challenges | 2021 | IEEE Transactions on Automation Science and Engineering | 10.1109/tase.2021.3064065 | 일반 sim-to-real | — | — | 약 221회 인용 |
| Robot Learning From Randomized Simulations: A Review | 2022 | Frontiers in Robotics and AI | 10.3389/frobt.2022.799893 | DR 전문 리뷰 | — | DR 분류 | 약 183회 인용 |
| Transferring policy of deep reinforcement learning from simulation to reality for robotics | 2022 | Nature Machine Intelligence | 10.1038/s42256-022-00573-6 | 일반 sim-to-real | — | — | 약 167회 인용 |
| Challenges of real-world reinforcement learning: definitions, benchmarks and analysis | 2021 | Machine Learning | 10.1007/s10994-021-05961-4 | 실세계 RL 제약 | — | — | 안전·표본 효율·지연 (약 890회 인용) |
| The Reality Gap in Robotics: Challenges, Solutions, and Best Practices | 2026 | Annual Review of Control, Robotics, and Autonomous Systems | 10.1146/annurev-control-031924-100130 | 현실 격차 원천·해법 | — | 격차 원천 분류 (동역학·지각·구동·시스템 설계) | 최신 코딩 틀로 권장 |
| Reinforcement learning in robotic systems : A review on sim-to-real transfer | 2026 | Robotics and Autonomous Systems | 10.1016/j.robot.2025.105327 | 일반 sim-to-real | 미확인 | 미확인 | 미확인 |

건설 특화 RL 리뷰 가운데 동료 심사를 거친 것은 2022년 세 편이다. 이들은 2021–2022년 무렵까지의 문헌만 본다. 그중 가장 많이 인용된 것은 Delgado & Oyedele(약 94회)다 ([UWE](https://uwe-repository.worktribe.com/output/10098484), [IAARC](https://www.iaarc.org/publications/2022_proceedings_of_the_39th_isarc_bogota_colombia/reinforcement_learning_with_construction_robots-a_review_of_research_areas_challenges_and_opportunities.html)). 따라서 "2021–2025년 DRL 성장분을 처음 체계적으로 매핑한다"는 시간 창 논리는 성립한다.

그러나 이 논리는 Jin et al. 2026 앞에서 약해진다. 이 프리프린트는 **75개 1차 사례의 "validation exposure"를 이미 코딩**했고, "35 of 75 primary instances are simulation-only"와 "No primary instance supports sustained workflow-integrated deployment"라는 결론을 냈다 ([Crossref](https://api.crossref.org/works/10.2139/ssrn.7029004)). SSRN의 다른 판("Learning to Shape the World")은 103개 구성 중 73개가 시뮬레이션이나 통제된 실험실까지만 갔다고 적었다. 판에 따라 수치가 다르니 최신판을 확인해야 한다 ([SSRN](https://papers.ssrn.com/sol3/papers.cfm?abstract_id=7029004)). AiC 2025 안전 제약 논문에 2020–2025년 83편 PRISMA 검토가 들어 있다는 2차 정보도 있다. 사실이면 시간 창이 거의 겹친다 ([ScienceDirect](https://www.sciencedirect.com/science/article/abs/pii/S0926580525001700)).

## 공백과 신규성 위험: "검증 수준"만으로는 새롭지 않다

증거가 가리키는 연구 공백은 다섯 가지다. 첫째, **실규모 검증이 두 연구 집단에 몰려 있다**. 영역 전체에 대한 결론이 사실상 ETH와 스웨덴 휠로더 사례에서 나온다. 둘째, **건설 적층제조에는 폐루프 RL 제어기 실물 검증이 0편**이고, 경로 계획 RL만 있다. 셋째, **조립·설치와 현장 주행에는 실제 공사 현장 검증이 0편**이다. 넷째, **좁은 의미의 도메인 적응(특징 수준·적대적 적응)을 쓴 연구가 0편**이다. 다섯째, 크레인·TBM의 RL은 오프라인 의사결정 지원에 머문다. 기존 리뷰들이 반복해 지적한 공백도 같은 방향이다. 검증 부족과 일반화 한계(Asghari), 비정형 현장(Delgado & Oyedele), 단일 에이전트 편중(Xu & García de Soto), 런타임 안전장치 부재(Jin)다.

신규성 위험은 축마다 다르다. "검증 수준" 축은 Jin et al.과 겹쳐 **위험이 높다**. "sim-to-real 기법" 축은 기존 리뷰 어디에도 논문별 코딩이 보이지 않아 **위험이 낮거나 중간**이다. 단, Jin의 "learning formulation" 축이 기법을 일부 담는지는 전문을 봐야 안다. 방어 가능한 차별점은 네 가지다. 기법 × 검증 수준 × 과업 유형의 교차 집계, 공개 검색식과 PRISMA 매핑 프로토콜, 굴착·조립·AM·주행 네 영역을 한 틀로 비교하는 설계, 그리고 위에서 제안한 건설 고유 코드(오프라인 RL 계획기, 오프라인 이력 데이터, 하드웨어 맞춤 지연)다.

시드 확정 전에 처리할 일도 있다. "?"·미확인 항목 약 20편의 전문 코딩, ETH 논문의 복수 기법 확인, 창 경계 항목(Frontiers 2025/2026, ASCE 2026)에 대한 판단, Jin et al. 최신판 입수, ISARC·IAARC 별도 검색이다.

## 결론

이 시드 집합이 보여 주는 것은 "건설 RL은 시뮬레이션에 머문다"는 일반론보다 날카로운 그림이다. 실기 전이는 **토질처럼 무작위화할 변수가 명확하고, 구동기를 실측으로 모델링할 수 있는 단일 중장비 과업**에서만 성공했다. 조립·AM·주행처럼 접촉, 재료 거동, 사람과의 상호작용이 섞인 과업에서는 전이 기법 자체가 거의 시도되지 않았다. 따라서 매핑 리뷰의 핵심 기여는 실기 검증 비율을 다시 세는 일이 아니다. **어떤 격차 원천에 어떤 전이 기법이 통했는지를 과업별로 지도화하는 일**이다. 이것이 Jin et al.과 겹치지 않는 몫이다.

실무적으로는 시간이 촉박하다. 2026년 arXiv에는 실규모 굴착기 장애물 제거, 실물 아치 프린팅, GoFa 아치 조립 같은 실물 검증 연구가 이미 나오고 있다. 2021–2025 창의 "공백" 주장은 곧 낡을 수 있다. 원고에서는 창을 고정하는 이유를 밝히고, 2026년 연구를 "갱신 검색 신호"로 따로 보고해 두는 편이 신규성 방어에 유리하다.