온디바이스 AI 식물 병 진단 — 기술 타당성 보고서

작성일: 2026-05-15 작성자: report-synthesizer 조사 기반:

_workspace/01_ml_frameworks.md (ml-framework-researcher)
_workspace/01_plant_ai_models.md (plant-ai-researcher)
_workspace/01_mobile_hardware.md (mobile-hw-researcher)
_workspace/01_market_landscape.md (market-researcher)

1. 핵심 결론

타당성 판단: 조건부 가능 (Conditionally Feasible)

온디바이스 AI 식물 병 진단은 2026년 현재 기술적으로 구현 가능하다. ML 프레임워크(LiteRT/Core ML/ExecuTorch), 경량 모델 아키텍처(MobileNetV3, EfficientNet-Lite0, MobileViT-XS), 모바일 NPU(2020년 이후 중급 칩셋의 ≥5 TOPS)가 모두 성숙해 있으며, 활성 스마트폰 80~85%에서 30 fps 실시간 추론이 가능한 하드웨어 기반이 확보되어 있다. 또한 **“온디바이스 + 병 진단을 동시에 제공하는 메이저 앱이 부재”**한 시장 공백이 존재해 차별화 여지도 명확하다.

다만 결정적 리스크는 모델 일반화 성능이다. PlantVillage 등 통제된 데이터셋에서 99% 정확도를 달성한 모델이 실제 사용자 카메라 입력에서 30~70%대로 급락한다는 보고가 다수 존재하며(배경 편향, 도메인 격차), 이는 프레임워크나 하드웨어가 아닌 데이터·학습 전략으로 해결해야 한다. 따라서 “기술적으로 가능한가”의 답은 “Yes”이나, “정확한 진단을 보장할 수 있는가”의 답은 “데이터 전략 성공 여부에 종속”.

권장 접근은 (1) 보수적 UX(Top-1 단정 회피, Top-3 + 신뢰도 표시) + (2) 하이브리드 아키텍처(온디바이스 1차 → 신뢰도 낮으면 클라우드 보강) + (3) 도메인 갭 해소를 위한 자체 데이터 수집·증강 트랙의 3축이다.

2. 기술 스택 현황

2.1 온디바이스 ML 프레임워크

2026년 현재 식물 이미지 분류(MobileNet/EfficientNet 계열)는 주요 5개 프레임워크가 모두 실용 수준으로 지원한다.

주요 선택지:

LiteRT (구 TensorFlow Lite, Apache 2.0): iOS/Android 단일 코드베이스. iOS는 Core ML delegate로 Neural Engine 활용, Android는 NNAPI/QNN/Hexagon delegate로 NPU 활용 가능. 2024년 9월 리브랜드 이후 Google AI Edge의 핵심.
Core ML (Apple SDK, BSD coremltools): iOS 단독 최고 성능. Apple Neural Engine 자동 분배, Vision 프레임워크와 직접 통합. YOLO11 변환 시 PyTorch 대비 4× 가속 사례.
ExecuTorch 1.x (BSD, 2025-10 GA): PyTorch 워크플로 유지. iOS(Core ML/MPS/XNNPACK) + Android(XNNPACK/QNN/MediaTek/Exynos) 백엔드. Meta Facebook/Instagram/WhatsApp 프로덕션 검증.
MediaPipe (Apache 2.0): LiteRT 기반 솔루션 레이어. 카메라 파이프라인 보일러플레이트 제거 — MVP 개발 속도 1순위.
ONNX Runtime Mobile (MIT): 가장 폭넓은 모델 호환성(PyTorch/TF/Keras → ONNX → ORT).

핵심 권고: LiteRT를 단일 백엔드로 출시 → 이후 iOS만 Core ML로 마이그레이션하는 2단계 전략. 단일 .tflite 파일로 iOS/Android 동시 지원하면서, iOS Core ML delegate를 통한 Neural Engine 부분 가속 확보. 개발 비용·코드 중복을 최소화하면서 추후 iOS 네이티브 최적화 여지를 남기는 균형점.

2.2 식물 병 AI 모델

활용 가능한 데이터셋:

PlantVillage (54,303장, 38 클래스, 학술 무료): 베이스라인 표준이나 단색 배경 편향 심각.
PlantDoc (2,569장, 30 클래스, Apache-2.0): 실 환경 보정용. 작음.
PlantSeg (11,400+장, 115 disease, 2024): In-the-wild segmentation.
AI-Hub 시설작물 (한국) (30,000+장): 토마토·장미 등. 시설 농가 환경 → 가정 식물과 도메인 갭 존재. 상업 사용 시 별도 협의 필수.
CCMT, DLCPD-25, iNaturalist Plants 등 보조 데이터셋.

모델 아키텍처 후보:

우선순위	모델	양자화	크기	PlantVillage Top-1	권장 사용처
1순위	EfficientNet-Lite0	INT8	~5.4 MB	74.4% (ImageNet) / 99%대 (PlantVillage 파인튜닝)	MVP 균형
2순위	MobileNetV3-Small	INT8	~2.5 MB	67.4% (ImageNet) / 99.5% (PlantVillage)	저가형·배터리 친화
3순위 (R&D)	MobileViT-XS / MobilePlantViT	FP16/INT8	49 MB	97~99% / 실환경 88%	실환경 강건성 우수

즉시 활용 가능한 pre-trained 모델:

Daksh159/plant-disease-mobilenetv2 (HuggingFace, Apache-2.0, 95% val) — 상업 사용 가능.
CropNet Cassava V1 (TF Hub, Apache-2.0) — TFLite 변환 완비, 단일 작물.
linkanjarad/mobilenet_v2_1.0_224-plant-disease-identification (38 클래스, 78.58%).

결정적 리스크 — 도메인 갭:

환경	일반 보고 정확도
PlantVillage (단색 배경)	95~99%
실제 농가 카메라	70~85%
Cross-domain 극단 사례	99% → 31%
배경 픽셀만으로 학습	49% (배경 편향 증명)

완화 기법 (논문 보고):

배경 재합성(background recomposition): 9.9~23.6% 향상.
Unsupervised Domain Adaptation: lab→field 격차 절반 회복.
ViT/SWIN 계열 채택: 같은 in-the-wild 데이터에서 CNN 53% → SWIN 88%.
혼합 학습 데이터(PlantVillage + PlantDoc + PlantSeg + 자체 수집).

한국 가정 관엽식물(몬스테라·스킨답서스·고무나무 등) 전용 공개 데이터셋은 사실상 없음 → MVP 이후 자체 수집 트랙 필수.

2.3 모바일 하드웨어 지원

2020년 이후 출시된 중급 이상 스마트폰은 MobileNetV3/EfficientNet-Lite 급 모델을 30 fps 실시간 추론할 수 있는 NPU를 갖추고 있다.

iOS (Apple Neural Engine):

A12 (iPhone XR/SE2, 2018+): 5 TOPS, MobileNetV2 ~25 ms — 30 fps 가능.
A14 (iPhone 12, 2020+): 11 TOPS, ~7 ms — 매우 쾌적.
A17 Pro (iPhone 15 Pro, 2023+): 35 TOPS, ~2 ms.

Android (Qualcomm Hexagon / Samsung Exynos / MediaTek APU):

Snapdragon 730G/Dimensity 720/Exynos 990 (2020+): 30 fps 실시간 가능.
Snapdragon 6 Gen 1/Dimensity 7050 (보급형): 10~15 fps, 부분 가능.
Snapdragon 695/4 Gen 2 이하: CPU only, 단발 진단으로 제한.

활성 기기 커버리지 (2026-05 추정):

iOS A12+ = 활성 iPhone의 약 95%.
Android Snapdragon 730G+ = 활성 Android의 약 75%.
전체 가중 평균 **약 80~85%**에서 쾌적한 실시간 진단 가능.

Thermal Throttling 및 배터리:

카메라 + 30 fps 추론 동시 구동: 플래그십 8~~12분, 미들레인지 3~~5분 후 throttling.
INT8 NPU 추론은 CPU/GPU 대비 발열 1/3 수준, 배터리 시간당 18~28%(4000 mAh).
실용 전략: 30 fps 카메라 + 5~~10 fps 추론(매 3~~6프레임마다 분류)로 발열·배터리 50% 절감.

메모리 제약:

iOS 4GB RAM 기기(XR/SE2): Jetsam 한계 ~~1.8~~2.0 GB → 모델 자체는 여유, 카메라 버퍼 관리 필요.
Android: Dalvik heap 128~512MB(largeHeap 1GB+), 모델 native 영역 사용 → 모델 자체로는 heap 압박 적음.

3. 시장 현황

핵심 발견: “온디바이스 + 병 진단” 동시 제공하는 메이저 앱 부재 (시장 공백).

앱	식별	병 진단	온디바이스 추론	비고
Pl@ntNet	O	X	O (옵션, 507MB 다운로드, 35K종)	식별 전용, 비영리 30M 사용자
iNaturalist Seek	O	X	O (기본, 압축 모델)	식별 전용, 라이브 프리뷰
PictureThis	O	O	X (서버)	1위 점유, 구독 강요 불만, NowSecure 외부 전송 지적
Plantix	△	O (90%+ 주장, 780 클래스)	X (서버 필수)	농업용, FAO 협력
Planta	O	O (Dr. Planta)	X	10M 사용자, 케어 강점
Kindwise (Plant.id)	O	O (548 클래스)	하이브리드 라우터만 온디바이스	API €0.05/credit, 참고 아키텍처
모야모 (KR)	O	△ (사람 클리닉)	X	140만 사용자, 커뮤니티 강점
그루우 (KR)	O	O (AI 식물 병원)	X	18만+ 식물 등록

참고할 만한 패턴:

Pl@ntNet 모델: 옵션 다운로드로 507MB 임베디드 모델 제공 → 야외 사용자가 핵심.
Seek 모델: 라이브 카메라 프리뷰에서 온디바이스 실시간 식별, 모르는 경우 상위 분류(genus/family)로 보수적 답변 UX가 사용자 신뢰 확보.
Kindwise Router: 단말에서 1차 추론 → 신뢰도 낮을 때만 서버 보강 호출 (하이브리드 아키텍처).

시장 차별화 포인트:

“온디바이스 진단” 공백 점유 가능.
프라이버시 마케팅: “사진이 디바이스를 떠나지 않습니다” (EU/한국 사용자에게 강력).
무제한 식별/진단: PictureThis 류 구독 강요 우회.
한국 시장 진입 여지: AI 단독 + 온디바이스 진단 부재.
운영비 절감: 트래픽 비용 거의 0.

사용자 기대 패턴:

가장 흔한 진단 문의는 물 문제(과습/물부족) — 병변 분류만으로는 부족, 환경/관수 문맥 결합 필요(Planta 접근 참고).
흐릿한 사진·부적절 각도에서 오답률 높음 → UX 가이드의 중요성.
“틀린 답보다 모름”을 선호하는 보수성 — Seek식 fallback이 신뢰 확보.

4. 구현 권고사항

4.1 권고 기술 스택

항목	권고 선택지	이유
프레임워크 (MVP, 크로스플랫폼)	LiteRT (구 TFLite)	단일 `.tflite` 파일로 iOS/Android 동시 지원, iOS Core ML delegate로 Neural Engine 부분 가속, Apache 2.0, Google AI Edge 표준, 가장 풍부한 벤치마크
프레임워크 (iOS 2단계 최적화)	Core ML + Vision	ANE 직접 활용으로 추론 4× 가속, `VNCoreMLRequest` 카메라 통합, A17 Pro INT8 가속 활용
프레임워크 (Android)	LiteRT + NNAPI/QNN delegate	Snapdragon Hexagon DSP 전력 75% 절감, Qualcomm NPU 직접 활용
카메라 파이프라인	MediaPipe Image Classifier Task	보일러플레이트 거의 없이 카메라-추론-결과 시각화 통합, LiteRT 동일 성능
모델 아키텍처 (MVP)	EfficientNet-Lite0 (INT8 PTQ per-channel)	5.4MB, 변환 검증 완료, ImageNet Top-1 74.4% 유지, TFLite/Core ML 변환 안정
모델 아키텍처 (실환경 강건성 R&D)	MobileViT-XS / MobilePlantViT	실환경 in-the-wild 성능 우수(CNN 53% vs ViT 88%), 4.8MB / 42ms
학습 파이프라인	Teacher(EfficientNet-B3) → Pruning → Knowledge Distillation → QAT INT8	2025 학술/업계 합의 압축 파이프라인
학습 데이터셋 (MVP)	PlantVillage + PlantDoc + PlantSeg 혼합	베이스라인 + 실 환경 보정, 라이선스 친화
학습 데이터셋 (Phase 2)	+ AI-Hub 시설작물(한국) + 자체 수집 가정 관엽식물	도메인 갭 해소, 한국 시장 차별화
Pre-trained 시작점	`Daksh159/plant-disease-mobilenetv2` (Apache-2.0)	상업 사용 가능, 38 클래스 95% val
하이브리드 보강 (Phase 2)	Kindwise 패턴: 온디바이스 1차 → 신뢰도 < threshold → 서버 호출	운영비 90% 절감하면서 어려운 케이스 정확도 보강

4.2 최소 지원 기기

실시간 30 fps 진단 (권장 최소 사양):

iOS: iPhone XR / XS / SE 2nd Gen 이상 (A12 Bionic, 2018+), iOS 15+, 3 GB RAM 이상.
Android: Snapdragon 730G / Dimensity 720 / Exynos 990 이상 (2020+), Android 10+, 4 GB RAM 이상, NNAPI 1.2+ 지원.

단발 진단 모드 (절대 최소 사양, 1~3초 추론):

iOS: iPhone 7 이상 (A10 Fusion, 2016+), iOS 14+.
Android: Android 8.0+ (NNAPI 1.1+), 3 GB RAM 이상, ARM64.

모델 크기 상한:

권장 16 MB 이하 (EfficientNet-Lite0, MobileNetV3-Large 양자화).
절대 상한 50 MB 이하 (앱 다운로드 크기 제약).
INT8 양자화 필수 (NPU 가속 활용).

커버리지 예상:

권장 사양 = 활성 기기 80~85%.
절대 최소 사양 = 활성 기기 95%+.
보급형 15~20%는 “단발 진단 모드”로 폴백.

4.3 구현 로드맵

Phase 1 — MVP (3개월 목표)

목표: 핵심 가설(“온디바이스 진단이 사용자에게 가치를 주는가”) 검증.

모델:
- 베이스라인: Daksh159/plant-disease-mobilenetv2 또는 EfficientNet-Lite0 + PlantVillage 38 클래스.
- INT8 PTQ per-channel 양자화, 5~10 MB.
- PlantVillage 학습 → PlantDoc validation으로 도메인 갭 사전 측정.
프레임워크: LiteRT 단일 백엔드 + MediaPipe Image Classifier Task.
카메라 파이프라인: 30 fps 캡처 + 5~~10 fps 추론(매 3~~6 프레임).
UX:
- 보수적 답변: Top-3 결과 + 신뢰도 표시. 신뢰도 70% 미만이면 “확신 못함, 다른 각도 촬영 권장”.
- 사진 가이드: Seek 사례 참고, 잎 1장 중앙 배치, 자연광 권장.
- “사진이 디바이스를 떠나지 않습니다” 마케팅.
타겟 정확도: 가정 환경 사용자 실측 Top-3 정확도 70~80% (Top-1 단정 회피).
타겟 기기: 권장 최소 사양 이상에서 30 fps. 보급형은 단발 진단 폴백.

Phase 2 — 정확도/UX 고도화 (3~9개월)

목표: 실환경 정확도 격차 해소, 한국 시장 진입.

데이터 트랙:
- 자체 수집 캠페인: 사용자 동의 기반 가정 식물 사진 수집(몬스테라·스킨답서스·고무나무·아레카야자 등 인기 종 상위 30~50개).
- AI-Hub 시설작물 데이터 라이선스 협의 + 도메인 적응 학습.
- 배경 재합성(background recomposition) 증강.
모델 트랙:
- 실환경 강건성을 위해 MobileViT-XS 또는 MobilePlantViT 도입 검토 (PoC 후 결정).
- Knowledge Distillation: EfficientNet-B3 teacher → 경량 student.
- QAT INT8 적용으로 정확도 손실 0~0.3% 수준 확보.
아키텍처:
- iOS Core ML 마이그레이션: Neural Engine 직접 활용으로 추론 시간 추가 단축, 발열·배터리 개선.
- 하이브리드 보강 (선택): Kindwise Router 패턴으로 신뢰도 낮은 케이스만 서버 호출.
기능:
- 환경/관수 문맥 결합(Planta 접근 참고) — 단순 병변 분류를 넘어 “물 문제 vs 병”을 구분.
- 진단 이력 + 케어 알림 + 진행 추적.
타겟 정확도: Top-1 80%+, Top-3 90%+ (실사용자 평가 기준).

Phase 3 — 시장 확장 (9~18개월, 선택)

가정 원예 외 작물 확장(베란다 텃밭, 다육이, 난 등).
한국 시장 1차 점유 후 동남아·일본 확장.
농촌진흥청·AI-Hub 데이터 정식 협업.

5. 리스크 및 미해결 과제

리스크	심각도	대응 방안
실환경 정확도 격차 (99% → 30~70%)	매우 높음	(1) PlantDoc/PlantSeg 혼합 학습, (2) 배경 재합성 증강, (3) ViT 계열 도입 검토, (4) UX 보수성(Top-3 + 신뢰도), (5) 자체 데이터 수집
한국 가정 관엽식물 데이터 부재	높음	(1) 사용자 동의 기반 자체 수집 캠페인, (2) AI-Hub 라이선스 협의(상업 가능 여부 확인), (3) Phase 2 핵심 트랙
PlantVillage 상업 라이선스 불확실	중간	IEEE DataPort 라이선스 조항 별도 검토. 학술 사용 명시된 모델은 fine-tuning 베이스로만 사용하고 자체 데이터로 재학습
NNAPI fragmentation (Android)	중간	(1) Snapdragon QNN delegate 우선, (2) Exynos NPU는 GPU delegate 폴백, (3) MediaTek는 LiteRT NPU 가속 확인. mobile-hw-researcher 권고 반영
Thermal Throttling (연속 사용 5분+)	중간	(1) 5~10 fps 추론, (2) INT8 NPU 우선, (3) 진단 완료 시 카메라 자동 정지, (4) 사용자 안내
iOS 4GB RAM Jetsam 한계	중간	카메라 버퍼 풀 적극 관리, `AVCaptureVideoDataOutput` 픽셀 버퍼 회수, Increased Memory Limit Entitlement(iOS 15+) 신청 검토
MobileViT 변환 호환성	낮음~중간	ViT attention 일부가 Core ML/TFLite fallback 가능. PoC 단계에서 변환 후 추론 속도 실측. 호환 안 되면 CNN 계열로 회귀
사용자 오진 시 신뢰 손상	높음	(1) Top-1 단정 금지, (2) Seek 사례처럼 상위 분류 fallback, (3) “확신 못함” UX 명시, (4) 추가 사진 요청
물 문제 vs 병 혼동	높음	환경/관수 문맥 데이터 결합(Phase 2). 단순 이미지 분류만으로는 한계 명확
온디바이스 모델 업데이트 채널	낮음	Pl@ntNet 방식(앱 내 다운로드) vs Seek 방식(앱 업데이트). MVP는 앱 업데이트, 모델 200MB 초과 시 별도 다운로드
2020 이전 기기 미지원 사용자 불만	낮음	단발 진단 모드 폴백 제공 (1~3초 추론). 활성 기기 95% 커버

6. 추가 조사 권고

이번 리서치에서 확인되지 않은 사항, 다음 단계에서 검증 필요:

PlantVillage 상업 라이선스 정확한 조건 — IEEE DataPort 약관 법무 검토 필요. 학술 외 사용 시 별도 라이선스 비용 가능성.
AI-Hub 시설작물 상업 사용 협의 결과 — 한국지능정보사회진흥원에 직접 문의 필수. 가정 앱 사용 시 협의 비용·조건 미확정.
MobileViT-XS / MobilePlantViT의 Core ML/TFLite 실제 변환 결과 — Attention 연산 fallback 여부 PoC로 실측 필요.
공식 벤치마크 부재 칩셋의 실측 추론 시간 — Snapdragon 695, Dimensity 8300 등은 동급 칩셋 추정치. MLPerf Mobile 또는 직접 측정 필요.
Exynos 2400 실제 NPU 활용도 — 공식 17 TOPS와 AITuTu 점수 간 괴리. NNAPI 드라이버 성숙도 추가 검증.
가정 관엽식물 자체 데이터 수집 비용 산정 — 사용자 동의 캠페인 vs 외주 사진 수집 vs 합성 데이터(diffusion 기반 증강) 비교.
하이브리드 아키텍처 클라우드 보강 비용 — Kindwise 식 €0.05/credit이 사용자당 월 몇 건 호출되어 어느 정도 운영비가 되는지 시뮬레이션.
사용자 신뢰도·UX 가이드 A/B 테스트 설계 — “Top-1 단정 vs Top-3 + 신뢰도” 어떤 쪽이 retention 높은지 사전 사용성 테스트.
한국 식물 종 우선순위 큐레이션 — 모야모/그루우 인기 종 데이터로 상위 50종 도출.
개인정보보호법(K-PIPA) 컴플라이언스 — 온디바이스라도 사용자가 옵션으로 클라우드 보강 호출 시 사진 처리 동의·로컬 보관 정책 정리.

7. 참고 출처

ML 프레임워크 (`01_ml_frameworks.md` 종합)

식물 AI 모델·데이터셋 (`01_plant_ai_models.md` 종합)

모바일 하드웨어 (`01_mobile_hardware.md` 종합)

시장·경쟁 분석 (`01_market_landscape.md` 종합)

Pl@ntNet offline/embedded blog (2022-10-18) — 507MB, 35K 종
iNaturalist Seek, Vision Model Updates
PictureThis Plant Identifier - App Store
NowSecure PictureThis risk report
7 Best Plant Disease ID Apps 2025 (240 케이스 테스트)
Plantix, Planta
Kindwise plant.health, plant.id
모야모 Google Play
그루우 Google Blog Korea
PlantVillage Nuru (Frontiers 2020) — 카사바 온디바이스 74-88%

작성 완료: 2026-05-15 다음 단계 제안: 본 보고서를 의사결정자(프로덕트 오너/CTO)에게 공유 후, (1) Phase 1 MVP 착수 결정, (2) AI-Hub 라이선스 협의 개시, (3) 자체 데이터 수집 캠페인 기획, (4) MobileViT 변환 PoC를 병렬로 진행 권고.