DR Android 앱

DR (Drawing Robot) Android 앱

전시·렌탈·판매 현장에서 PC 기반 프로그램으로만 구동되던 드로잉 로봇(DR)을 Android 앱으로 전환한 프로젝트입니다. 단순 포팅이 아니라, OpenCV 이미지 변환·선 추출 로직만 참고해 벡터화 파이프라인·로봇 제어 프로토콜·현장 운영 기능을 Android 환경에 맞게 새로 설계했습니다. 현장에서 코드 수정 없이 장비 편차에 대응할 수 있도록 주요 좌표·OpenCV 파라미터를 런타임 튜닝 가능하게 파라미터화하고, 종이 평면 기울기를 로봇 제어 시퀀스에서 자동 측정해 보정하는 자동 캘리브레이션을 추가했습니다.

• •기간: 2024년 전환 → 2025년까지 현장 운영·고도화
• •플랫폼: Android (Java + NDK C/C++)
• •전환 대상: PC 기반 DR 제어 프로그램 → Android 앱

담당 역할

기존 PC 코드의 Android 이식을 시작점으로, 그림 품질과 작업 속도, 현장 운영성을 함께 개선하는 방향으로 구조를 정리했습니다. 무거운 이미지 연산은 NDK로 오프로드하고, 현장 변수(설치 위치·종이 위치·로봇 원점·조명)는 관리자 모드 파라미터화 + 자동 캘리브레이션으로 흡수하도록 설계했습니다.

• •OpenCV + NDK 이미지 전처리 / 래스터 → SVG 벡터화 파이프라인
• •two-line(외곽선) · one-line(한붓그리기) 두 가지 드로잉 알고리즘
• •TCP Socket 기반 로봇 제어 프로토콜 및 home 복귀 종료 판정
• •종이 평면 자동 캘리브레이션(AUTO_CAL) — 3점 측정 기반 사용자 좌표계 보정
• •관리자 모드 — OpenCV·로봇 파라미터 현장 튜닝 UI
• •작업 이력 SQLite + 통계, 파일 lifecycle 관리
• •5개국어 다국어, 음성 안내(TTS), 로고 오버레이, 퍼포먼스 동작 등 운영·연출 기능

기술 스택

핵심 기능

모바일 앱 기반 DR 제어

PC 의존 구동을 Android 단말 중심으로 전환했습니다. 전면 카메라 프리뷰(더블탭 줌 지원), 카운트다운 촬영, 갤러리 파일 선택, SVG 변환·미리보기, 드로잉 실행, 결과 확인까지 모든 흐름을 한 앱 안에서 처리합니다. 운영자 전용 진입은 화면에 노출하지 않고, 로고 연속 터치·버전 텍스트 탭 등 숨김 제스처로 갤러리·관리자 모드를 열도록 했습니다.

이미지 전처리 및 SVG 벡터화

핵심 이미지 연산을 NDK(appmain.cpp)로 오프로드했습니다. ROI 크롭(좌우 35%·하단 30% 절삭) → Grayscale → 해상도 축소 → GaussianBlur → Canny 엣지 추출 → 외곽 1px 라인 제거 → 반전 순으로 스케치 라인을 만들고, Potrace로 path 기반 SVG로 벡터화합니다. Bezier 곡선 근사와 거리 기반 포인트 필터링으로 선 떨림·중복 선·경로 복잡도를 줄여 로봇 드로잉 품질을 높였습니다.

두 가지 드로잉 모드 — 외곽선 / 한붓그리기

용도에 따라 two-line(Potrace 외곽선 추종)과 one-line(한붓그리기) 모드를 관리자 모드에서 선택할 수 있습니다. 한붓그리기는 검은 픽셀을 최근접 이웃(greedy nearest-neighbor) 순서로 이어 펜을 거의 떼지 않고 한 번에 그려내는 모드로, 외곽선 모드와는 다른 결의 결과물을 제공합니다. 경로 샘플링·짧은 path 필터링·pen-up 분리로 두 모드 모두 품질 저하 없이 처리 시간을 단축했습니다.

종이 평면 자동 캘리브레이션 (AUTO_CAL)

현장마다 종이가 놓인 평면이 미세하게 기울어 펜 압력·선 굵기가 달라지는 문제를, 앱에서 로봇을 순차 제어해 자동 측정·보정하도록 만들었습니다. 작업면의 3점을 찍어 TCP 좌표를 측정하고, 세 점으로 평면의 법선 벡터를 계산해 기울기 보정각(Ry·Rz)을 구한 뒤 사용자 좌표계(DR_1)를 갱신합니다. 기존에 사람이 수동으로 맞추던 캘리브레이션을 자동화해 현장 셋업 시간을 줄였습니다.

관리자 모드 — 현장 파라미터 튜닝

버전 텍스트 연속 탭 + 비밀번호로 진입하는 관리자 화면에서 현장 장비 편차에 대응합니다. OpenCV 파라미터(Canny min/max, Blur 커널)는 Seekbar로, 로봇 home joint 6축 값·드로잉 영역(±0.05~±10 단위 미세조정)은 입력 필드로 즉시 튜닝·저장(SharedPreferences)합니다. 드로잉 모드 전환, 로고 선택, 퍼포먼스 포즈 등록, 기간별 작업 통계 조회도 이 화면에서 처리합니다.

눈 / 동공 드로잉

Haar Cascade로 얼굴·눈을 검출한 뒤 동공을 별도 렌더링해 인물 결과물의 표정·생동감을 살립니다. 일반 스케치에 동공을 합쳐 그리는 모드와 흰 배경에 눈만 그리는 모드(ConvertOnlyEye)를 토글로 제공하고, 일반 SVG와 eye SVG를 병합해 한 번의 드로잉 시퀀스로 처리합니다.

로고 오버레이 · 퍼포먼스 연출

전시·납품처 브랜딩을 위해 커스텀 SVG 로고를 그림에 합쳐 함께 그릴 수 있고, 로고 위치는 미리보기 화면에서 드래그로 조정합니다(CustomSvgView). 또한 드로잉 시작 전/후에 로봇이 인사 등 퍼포먼스 포즈 시퀀스를 수행하도록 등록할 수 있어(관람객 호응용), 그림 완성 시 한국어 음성 안내(TTS)까지 함께 제공합니다.

작업 이력·통계 및 파일 lifecycle

촬영 파일은 Capture → Complete 폴더로 이동하며 관리되고, 날짜 기반 정렬·당일 외 오래된 파일 자동 정리를 수행합니다. 드로잉 완료 건은 SQLite 이력 DB(`draw_history`)에 기록해, 관리자 화면에서 오늘 그린 그림 수·기간별 작업 수를 조회할 수 있습니다.

다국어 지원

res/xml/language.xml에 한국어·영어·베트남어·일본어·중국어 5개국어 텍스트를 관리하고, 런타임에 버튼 라벨·국기 아이콘·광고 이미지까지 동기화합니다. 선택 언어는 SharedPreferences에 영속화되어, 전시·렌탈 환경에서 운영자와 관람객 언어에 유연하게 대응합니다.

성과

전환 전 운영 한계

• •초기(2023~2024년 초) DR은 PC 기반 구동 — 매번 별도 PC·카메라 세팅과 장비 구성을 챙겨야 하는 부담이 커, 전시 출전이 2회에 그침
• •그 2회마저 준비 부담 탓에 렌탈·판매·상시 운영으로는 이어지지 못함

전환 후 성과

• •DR을 Android 앱으로 전환해 모바일 단말에서 직접 구동 가능
• •그림 품질 개선과 작업 시간 단축(약 4~5분 → 3분대)을 동시에 달성
• •좌표·OpenCV 파라미터 전면 파라미터화와 자동 캘리브레이션으로, 납품처마다 코드 수정 없이 현장 셋업
• •파일 관리·작업 통계·다국어·로고·퍼포먼스 등 운영/연출 기능으로 현장 대응성과 전시 완성도 확보
• •PC 기반 구동 때 제한적이던 출고가, 모바일 단말 구동 이후 전시·교육 현장 렌탈/납품으로 꾸준히 이어짐 (아래 실적 참고)
• •정규 제품 라인업으로 자리매김 — 회사 홈페이지에 드로잉 로봇 전용 탭이 별도 개설될 만큼 상시 운영 제품으로 정착

렌탈 · 납품 실적

앱 전환 이후 전시·교육 현장을 중심으로 렌탈/납품이 꾸준히 이어졌습니다.

• •2024년: 11회
• •2025년: 14회
• •2026년: 현재까지도 지속 출고 중

2025년 11월경부터는 후임 담당자가 이어받아 AI 기반 이미지 변환 등 신규 기능을 추가 개발하며 제품을 고도화하고 있습니다. 본 문서가 정리하는 범위는 PC → Android 전환부터 현장 운영 기능 구현까지입니다.

구현 상세

PC 기반 DR을 Android로 옮기면서 OpenCV 변환·선 추출 로직만 참고하고, 벡터화 파이프라인과 로봇 제어, 현장 운영 구조는 Android 환경에 맞게 다시 구성했습니다. 아래는 구현 과정에서 가장 영향이 컸던 전처리, 캘리브레이션, 로봇 제어 흐름입니다.

MainActivity (카메라 프리뷰·줌 · 촬영 · 파일 선택 · 언어/모드 토글)
  ↓ NDK Process.ConvertRGBtoGray / ConvertEye / ConvertOnlyEye
      ROI 크롭 → Gray → 해상도 축소 → GaussianBlur → Canny → 외곽 제거 → 반전
  ↓ Process.ConvertSVG(외곽선/Potrace) | ConvertSVGToOneLine(한붓그리기)
DisplayImageActivity: Bezier 근사 → SvgParser 좌표화 → (눈 SVG·로고 SVG 병합)
  ↓ TcpClient: home → (퍼포먼스) → moveL 순차 전송 → home 복귀 폴링 → socket.close
완료 후 Capture → Complete 이동 + SQLite 이력 저장 + (음성 안내 TTS)

1. OpenCV + NDK 전처리와 파라미터화

Java 레벨만으로는 이미지 처리 성능이 부족해 핵심 연산을 NDK로 오프로드했고, 동시에 PC 버전에 흩어져 있던 하드코딩 값을 런타임 파라미터로 분리했습니다.

• •JNI 브릿지(Process.java): ConvertRGBtoGray(addr, addr, blurSize, threshold1, threshold2), ConvertSVG, ConvertSVGToOneLine, ConvertEye, ConvertOnlyEye, loadCascade 등 네이티브 메서드 선언
• •C++ 처리(appmain.cpp): ROI 크롭(좌우 35%·하단 30% 절삭) → cvtColor Gray → 해상도 축소 → GaussianBlur → Canny → filter2D + 외곽 행/열 제거 → bitwise_not 반전
• •파라미터화: blur 커널, Canny min/max 임계값을 인자로 받아 관리자 UI Seekbar → SharedPreferences → JNI 인자로 흘려보내, 조명·피사체가 바뀌어도 현장에서 즉시 엣지 밀도를 조정

좌표 하드코딩 제거: 기존에는 납품처별 로봇 좌표(예: 과학버스용 home·offset)가 코드에 박혀 있어 현장마다 빌드를 다시 해야 했습니다. 이를 home joint 6축·드로잉 영역(LINE_TO·Y·Z offset)을 SharedPreferences로 빼고, 좌표 변환식을 y = 90 - svg.x/3.2 + offsetY, z = 320 - svg.y/3.2 + offsetZ 형태의 기준값 + 보정 offset으로 일반화해, 코드 변경 없이 관리자 모드에서 새 현장에 맞출 수 있도록 했습니다.

2. 종이 평면 자동 캘리브레이션 (AUTO_CAL)

가장 까다로웠던 현장 변수는 종이가 놓인 평면의 미세한 기울기였습니다. 평면이 기울면 펜 압력과 선 굵기가 위치마다 달라지는데, 이를 사람이 수동으로 맞추기 어려워 로봇이 스스로 측정·보정하도록 설계했습니다(MoveToActivity의 AutoCalTask).

1) 작업면 기준점에서 TCP 좌표 측정 (get_tcp_pos)
2) 삼각형 3점으로 이동하며 각 점 좌표 측정
     P1: Z+60,  P2: Y+51.96, Z-30,  P3: Y-51.96, Z-30   (정삼각형 배치)
3) 세 점으로 평면 법선 벡터 계산 (외적 → 정규화, +Z 방향 정렬)
4) 기울기 보정각 산출
     Ry = atan2(normal.x, normal.z) - 90°
     Rz = atan2(normal.y, normal.x)
5) set_user_offsets 로 사용자 좌표계(id:2, "DR_1") 갱신

각 측정점에서 load_program("drawing.jks") → play_program으로 점을 찍고 get_program_state로 완료를 폴링해 동기화합니다. 평면이 거의 수평(|normal.z| < 0.01)이면 보정을 생략하는 예외 처리도 두었습니다. 수동 캘리브레이션과 함께 제공해, 운영자가 상황에 맞게 선택할 수 있게 했습니다.

3. 드로잉 모드 · 로봇 제어 프로토콜과 종료 판정

로봇 제어는 단순 좌표 전송이 아니라, 모드별 경로 처리 + 명령 빈도 조절 + home 복귀 판정까지 포함하는 시퀀스입니다(TcpClient).

• •TCP JSON 프로토콜: power_on → enable_robot → joint_move(home) → 경로별 moveL → get_joint_pos. 명령마다 응답을 받아 errorCode를 확인(drawingSendCommand)
• •두 모드 분기:
• •two-line: path 길이 > 15만 채택, size()/1.2로 샘플링, 경로 끝 x-10 이동으로 pen-up 1회
• •one-line: path 길이 > 3 채택, 끝에서 pen-up 명령 3회 반복으로 확실히 펜 분리
• •좌표 변환: SVG 좌표를 /3.2로 스케일하고 기준값(90·320)에 offset을 더해 Cartesian으로 변환, 회전은 ry=90 고정. 명령 사이 sleep(50ms)로 로봇 처리 속도와 동기화
• •home 복귀 종료 판정: 드로잉 후 home으로 보내고 get_joint_pos를 폴링, 6축 모두 목표값과 오차 ≤ 0.002에 도달하면 루프 탈출 후 socket.close(). 별도 stopDrawing()은 스레드 interrupt + 소켓 강제 종료로 중단을 보장

결과적으로 PC 버전 대비 체감 시간을 3~4분대 → 2분대로 단축하고, 좌표·home을 파라미터화하면서 발생할 수 있는 불일치도 종료 판정 로직으로 안전하게 처리했습니다.

그 외 구현

• •눈 / 동공 분리 드로잉: Haar Cascade로 얼굴·눈 검출 후 동공을 별도 렌더링, 일반 SVG + eye SVG 병합 파싱(parseSVGtoEye)으로 한 시퀀스에 실행. 흰 배경에 눈만 그리는 ConvertOnlyEye 모드 분리
• •관리자 모드 고도화: 버전 텍스트 연속 탭 + 비밀번호로 진입, Canny min/max·Blur Seekbar, home joint 6축·드로잉 영역 미세조정(±0.05~±10), 드로잉 모드·로고·퍼포먼스 포즈 등록, 기간별 통계 조회
• •로고 오버레이 · 퍼포먼스 · 음성 안내: 커스텀 SVG 로고를 드래그 배치(CustomSvgView) 후 본 그림과 병합 드로잉, 시작/종료 시 퍼포먼스 포즈 시퀀스(SHARED_PERFORM_WHAT), 완료 시 한국어 TTS 안내
• •작업 이력·통계(SQLite): draw_history(file_name, draw_date) 테이블에 완료 건 기록, getDrawCountByDate / getDrawCountBetweenDates로 오늘·기간별 작업 수 집계
• •다국어 · 카메라 줌 · 파일 lifecycle: language.xml 기반 5개국어 런타임 전환(버튼·광고 동기화), ZoomCameraView 더블탭 줌, Capture → Complete 이동과 당일 외 파일 자동 정리(FileCleanup)

트러블슈팅

• •소켓 연결이 종료되지 않음: home 복귀 판정 좌표와 실제 납품 현장 좌표 불일치로 세션이 남음 → home 좌표를 SharedPreferences 기준으로 통일하고, get_joint_pos 폴링 후 6축 오차 ≤ 0.002 도달 시 루프 탈출 + interrupt·socket.close() 보강.
• •납품처별 좌표 하드코딩 → 빌드 재배포 문제: 현장마다 home·offset이 코드에 박혀 빌드를 다시 해야 했음 → home joint·드로잉 영역·OpenCV 임계값을 파라미터화해 관리자 모드만으로 대응하도록 전환.
• •파일 정리 루틴에서 앱 크래시: 파일명 8자(yyyyMMdd) 파싱 시 8자 미만 파일·폴더에서 예외 → length() < 8 선검증 + assert 종료 로직 제거, files == null 시 조기 return.
• •NDK / OpenCV 연동 빌드 오류: Android.mk에 potrace 소스·include 경로 누락 → LOCAL_SRC_FILES·LOCAL_C_INCLUDES에 potrace·OpenCV 경로 추가.