인간-로봇 협동 건설작업 수행을 위한 객체탐지 모델 기반 핸드오버 상황 인식 기술 개발 = Handover Process Recognition using an object detection model in collaborative human-robot construction work
저자
발행사항
광주 : 전남대학교, 2023
학위논문사항
학위논문(석사)-- 전남대학교 : 건축토목공학과 2023. 8
발행연도
2023
작성언어
한국어
주제어
DDC
690
발행국(도시)
광주
형태사항
67 ; 26 cm
일반주기명
지도교수: 양강혁
UCI식별코드
I804:24010-000000069729
소장기관
Korean construction sites are faced with an aging construction workforce and a shortage of skilled workers, and these labor issues affect the productivity of construction sites. Construction automation with robots is often mentioned as a solution to the problem of low productivity and shortage of skilled workers, but it is difficult to fully automate construction sites with robots because the layout of construction sites is not consistent. Recently, collaborative robots, which can be installed without safety fences and can share workspace with workers, have gained attention. Over the past few years, human-robot collaboration using collaborative robots has increased in various industries, but the use of collaborative robots in construction sites is insufficient. In particular, handover technology, which delivers materials during human-robot collaboration, is a necessary technology for construction work that handles heavy materials, but it is difficult to apply in construction sites due to safety issues such as physical collisions between workers and robots. Therefore, this study aims to develop a technology that recognizes handover situations to perform human-robot collaborative construction work.
Recently, advances in computer vision and artificial intelligence have led to the development of technologies that recognize handover situations using image data. This technology has the advantage of detecting objects to be handed over, processing data, and understanding the handover situation. In order for workers and robots to perform cooperative construction work, it is necessary to recognize the cooperative work situation by using bounding boxes in images to obtain object location information and to classify various work situations. The object detection model used in this study is YOLOv5, which has superior recognition performance and processing speed compared to other object detection models, and the possibility of recognizing handover situations was evaluated using indicators such as precision, recall, mAP 50, and confusion matrix.
We defined five handover situations for masonry work, Ready to Collaboration, Collaboration Start, Pre-grasp, Stable Grasp and Collaboration Finish. Experiments were conducted in a laboratory environment by setting the roles and work situations of the human operator and the robot in the work situations corresponding to the five handover situations. To capture the handover situations, a camera was attached to the robot and a camera was attached to a hard hat worn by a worker at a construction site. By attaching the camera to the robot, the mAP 50 result of 0.991 for three handover situations (Collaboration Start, Pre-grasp, and Stable Grasp) showed high recognition accuracy. As a result of image detection using the object detection model, we identified a limitation that the hand is covered by the brick or the brick is covered by the hand due to the close distance between the camera attachment location and the robot's gripper.
To solve this problem, we proposed a technology to recognize the handover situation by attaching a camera to the hard hat worn by the workers. As a result of the recognition performance analysis of five handover situations, the result of mAP 50 was 0.968, showing high recognition performance, and it was confirmed that it is possible to cooperate with a robot using a camera attached to a hard hat in a complex construction work environment. In addition, we evaluated the effect of reducing the physical load of workers by cooperative work, and found that the physical load of workers can be reduced by about 28% during cooperative work. The results of this study can be used as a basis for human-robot collaboration at construction sites.
국내 건설현장은 건설인력의 고령화 및 숙련공 부족 문제에 직면해 있으며, 이러한 노동력 문제는 건설현장의 생산성에 영향을 미친다. 로봇을 통한 건설 자동화는 건설작업의 생산성 저하, 숙련공 부족 문제에 대한 해결책으로 자주 언급되지만, 건설현장은 레이아웃이 일정하지 않아 로봇을 통한 완전한 자동화가 어렵다. 최근 안전펜스 없이 설치가 가능하며, 작업자와 작업공간을 공유할 수 있는 협동로봇이 주목받고 있다. 지난 몇 년 동안 다양한 산업에서 협동로봇을 활용한 인간-로봇 협동작업이 증가하였지만, 건설현장에서 협동로봇의 사용이 미흡하다. 특히 인간-로봇 협동작업 중 자재를 전달하는 핸드오버 기술은 무거운 자재를 다루는 건설작업에서 필요한 기술이지만 작업자와 로봇의 물리적인 충돌과 같은 안전문제로 인해 건설현장에서 적용이 어렵다. 따라서, 본 연구에서는 인간-로봇 협동 건설작업 수행을 위해 핸드오버 상황을 인식하는 기술을 개발하고자 한다.
최근 컴퓨터 비전과 인공지능의 발전으로 이미지 데이터를 활용하여 핸드오버 상황을 인식하는 기술이 연구되고있다. 해당 기술은 전달하는 물체 탐지와 데이터 처리 및 핸드오버 상황을 이해하기 쉽다는 장점이 있다. 건설현장은 공종에 따라 작업상황이 변하고, 사용하는 자재의 형상과 재질이 다양하여, 인간-로봇 협동 건설작업을 수행하기 위해 이미지에 경계상자를 활용하여 객체의 위치 정보를 얻을 수 있으며, 다양한 작업상황을 분류할 수 있는 객체탐지 모델을 활용하여 협동작업 상황을 인식하는 기술이 필요하다. 본 연구에서 사용한 객체탐지 모델은 다른 객체탐지 모델들에 비해 인식 성능과 처리 속도가 우수한 YOLOv5를 사용하였고, 정밀도, 재현율, mAP 50, 혼동행렬과 같은 지표를 이용하여 핸드오버 상황 인식 가능성을 평가하였다.
건설작업 중 중량물을 반복적으로 다루는 조적작업을 연구범위로 설정하였으며, 조적작업을 대상으로 협동작업 준비, 협동작업 시작, 잡기 전, 안정적 잡기, 협동작업 종료 순으로 5가지 핸드오버 상황을 정의하였다. 5가지 핸드오버 상황에 해당하는 작업상황에서 작업자와 로봇의 역할과 작업상황을 설정하여 실험실 환경에서 실험을 진행하였다. 핸드오버 상황을 촬영하기 위해 로봇에 카메라를 부착하는 경우와 건설현장에서 작업자가 착용하고 있는 안전모에 카메라를 부착하는 경우 2가지 상황에서 핸드오버 상황을 촬영하였다. 로봇에 카메라를 부착하여 3가지 핸드오버 상황(협동작업 시작, 잡기 전, 안정적인 잡기)에 대한 mAP 50의 결과 0.991로 높은 인식 정확도를 보여주었지만, 카메라 부착위치와 로봇의 그리퍼간의 거리가 가까워 벽돌에 의해 손이 가려지거나 손에 의해서 벽돌이 가려지는 현상이 발생하는 한계를 확인하였다.
이를 해결하고자 작업자들이 착용하고 있는 안전모에 카메라를 부착하여 핸드오버 상황을 인식하는 기술을 제안하였다. 5가지 핸드오버 상황에 대한 인식 성능 분석 결과, mAP 50의 결과 0.968로 높은 인식성능을 보여주었고, 복잡한 건설작업 환경에서 안전모에 부착한 카메라를 이용해 로봇과 협동작업이 가능한 것을 확인하였다. 추가적으로 협동작업에 따른 작업자의 신체부하 저감 효과를 평가한 결과, 협동작업 시 작업자의 신체부하를 약 28% 저감할 수 있는 것을 확인하였다. 본 연구결과는 건설현장에서의 인간-로봇 협동작업을 수행하는데 기초자료로 활용될 수 있을 것으로 판단된다.
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)