README.md

metadata

title: text cut object
emoji: ✂️
colorFrom: indigo
colorTo: indigo
sdk: gradio
sdk_version: 5.35.0
app_file: app.py
pinned: false
license: mit

I'll create comprehensive documentation for this object segmentation and background removal application in both English and Korean.

English Documentation

Advanced Object Cutout Tool - AI-Powered Background Removal

This application is a sophisticated object segmentation tool that combines Grounding DINO for object detection and a specialized Box Segmenter for precise background removal, offering two intuitive methods for isolating objects from images.

Key Features

1. Dual Input Methods

   • Text Prompt Mode: Simply describe the object you want to extract (e.g., "chair", "potted plant")
   • Bounding Box Mode: Manually draw a box around the object for precise selection
   • Both methods provide high-quality cutouts with transparent backgrounds

2. Advanced AI Models

   • Grounding DINO: State-of-the-art object detection model that understands natural language descriptions
   • Box Segmenter: Refined segmentation model for pixel-perfect object extraction
   • PyMatting Integration: Advanced alpha matting for clean edges without halos

3. Professional Edge Processing

   • Color Decontamination: Removes color bleeding from edges using ML-based foreground estimation
   • Alpha Matting: Preserves fine details like hair, fur, and transparent objects
   • Automatic Cropping: Intelligently crops the result to the object boundaries

4. User-Friendly Interface

   • Image Slider: Before/after comparison view for immediate visual feedback
   • Download Options: Easy one-click download of processed images
   • Example Gallery: Pre-loaded examples demonstrating various use cases
   • Responsive Design: Works seamlessly on desktop and mobile devices

Technical Implementation

The application leverages several cutting-edge technologies:

• Grounding DINO: For natural language-based object detection
• Refiners Library: Custom segmentation model with SOTA performance
• PyMatting: Advanced matting algorithms for edge refinement
• Gradio: Modern web interface with GPU acceleration via ZeroGPU
• Pillow HEIF: Support for modern image formats including HEIC and AVIF

Processing Pipeline:

1. Object Detection (Text mode only):

   • Processes natural language prompt with Grounding DINO
   • Identifies object location with bounding box coordinates
   • Handles multiple detections by computing union of boxes

2. Segmentation:

   • Applies Box Segmenter model to extract precise object mask
   • Runs on GPU for real-time performance
   • Generates high-resolution binary mask

3. Edge Refinement:

   • Applies color decontamination to remove edge artifacts
   • Uses ML-based foreground estimation for natural edges
   • Preserves transparency and semi-transparent regions

4. Post-Processing:

   • Composites object onto transparent background
   • Auto-crops to remove excess transparent areas
   • Saves as PNG with full alpha channel support

Performance Optimizations

• GPU Acceleration: Automatic CUDA optimization with @spaces.GPU decorator
• Image Size Management: Automatic resizing for images over 2048px
• Efficient Memory Usage: Model offloading and careful tensor management
• Batch Processing: Optimized for single-image processing with minimal latency
• Format Support: Native support for HEIC, AVIF, JPEG, PNG, and more

Use Cases

Perfect for:

• E-commerce: Product photography with clean backgrounds
• Graphic Design: Extracting elements for compositions
• Social Media: Creating stickers and transparent overlays
• Photography: Isolating subjects for editing
• Education: Teaching object detection and segmentation concepts
• Marketing: Creating promotional materials with isolated products

---

한글 설명서

고급 객체 추출 도구 - AI 기반 배경 제거

이 애플리케이션은 객체 감지를 위한 Grounding DINO와 정밀한 배경 제거를 위한 전문 Box Segmenter를 결합한 정교한 객체 분할 도구로, 이미지에서 객체를 분리하는 두 가지 직관적인 방법을 제공합니다.

주요 기능

1. 이중 입력 방식

   • 텍스트 프롬프트 모드: 추출하려는 객체를 간단히 설명 (예: "의자", "화분")
   • 경계 상자 모드: 정밀한 선택을 위해 객체 주위에 수동으로 상자 그리기
   • 두 방법 모두 투명 배경의 고품질 추출 결과 제공

2. 고급 AI 모델

   • Grounding DINO: 자연어 설명을 이해하는 최첨단 객체 감지 모델
   • Box Segmenter: 픽셀 단위의 완벽한 객체 추출을 위한 정제된 분할 모델
   • PyMatting 통합: 헤일로 없는 깨끗한 가장자리를 위한 고급 알파 매팅

3. 전문적인 가장자리 처리

   • 색상 오염 제거: ML 기반 전경 추정을 사용하여 가장자리의 색상 번짐 제거
   • 알파 매팅: 머리카락, 털, 투명 객체와 같은 세밀한 디테일 보존
   • 자동 크롭: 객체 경계에 맞춰 지능적으로 결과물 크롭

4. 사용자 친화적 인터페이스

   • 이미지 슬라이더: 즉각적인 시각적 피드백을 위한 전후 비교 뷰
   • 다운로드 옵션: 처리된 이미지의 간편한 원클릭 다운로드
   • 예제 갤러리: 다양한 사용 사례를 보여주는 사전 로드된 예제
   • 반응형 디자인: 데스크톱과 모바일 기기에서 원활하게 작동

기술적 구현

애플리케이션은 여러 최첨단 기술을 활용합니다:

• Grounding DINO: 자연어 기반 객체 감지
• Refiners 라이브러리: SOTA 성능의 커스텀 분할 모델
• PyMatting: 가장자리 정제를 위한 고급 매팅 알고리즘
• Gradio: ZeroGPU를 통한 GPU 가속이 포함된 현대적 웹 인터페이스
• Pillow HEIF: HEIC 및 AVIF를 포함한 최신 이미지 형식 지원

처리 파이프라인:

1. 객체 감지 (텍스트 모드 전용):

   • Grounding DINO로 자연어 프롬프트 처리
   • 경계 상자 좌표로 객체 위치 식별
   • 상자들의 합집합을 계산하여 다중 감지 처리

2. 분할:

   • Box Segmenter 모델을 적용하여 정밀한 객체 마스크 추출
   • 실시간 성능을 위해 GPU에서 실행
   • 고해상도 이진 마스크 생성

3. 가장자리 정제:

   • 가장자리 아티팩트 제거를 위한 색상 오염 제거 적용
   • 자연스러운 가장자리를 위한 ML 기반 전경 추정 사용
   • 투명도 및 반투명 영역 보존

4. 후처리:

   • 투명 배경에 객체 합성
   • 과도한 투명 영역 제거를 위한 자동 크롭
   • 전체 알파 채널 지원으로 PNG 저장

성능 최적화

• GPU 가속: @spaces.GPU 데코레이터로 자동 CUDA 최적화
• 이미지 크기 관리: 2048px 이상 이미지에 대한 자동 크기 조정
• 효율적인 메모리 사용: 모델 오프로딩 및 신중한 텐서 관리
• 배치 처리: 최소 지연 시간으로 단일 이미지 처리에 최적화
• 형식 지원: HEIC, AVIF, JPEG, PNG 등 네이티브 지원

사용 사례

다음과 같은 용도에 적합합니다:

• 전자상거래: 깨끗한 배경의 제품 사진
• 그래픽 디자인: 구성을 위한 요소 추출
• 소셜 미디어: 스티커 및 투명 오버레이 생성
• 사진: 편집을 위한 피사체 분리
• 교육: 객체 감지 및 분할 개념 교육
• 마케팅: 분리된 제품으로 홍보 자료 제작