SegFormer (b0-sized) model fine-tuned on Segments.ai sidewalk-semantic.

SegFormer model fine-tuned on Segments.ai sidewalk-semantic. It was introduced in the paper SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers by Xie et al. and first released in this repository.

Model description

SegFormer consists of a hierarchical Transformer encoder and a lightweight all-MLP decode head to achieve great results on semantic segmentation benchmarks such as ADE20K and Cityscapes. The hierarchical Transformer is first pre-trained on ImageNet-1k, after which a decode head is added and fine-tuned altogether on a downstream dataset.

How to use

Here is how to use this model to classify an image of the sidewalk dataset:

from transformers import SegformerFeatureExtractor, SegformerForSemanticSegmentation
from PIL import Image
import requests
feature_extractor = SegformerFeatureExtractor.from_pretrained("nvidia/segformer-b0-finetuned-ade-512-512")
model = SegformerForSemanticSegmentation.from_pretrained("segments-tobias/segformer-b0-finetuned-segments-sidewalk")
url = "https://segmentsai-prod.s3.eu-west-2.amazonaws.com/assets/admin-tobias/439f6843-80c5-47ce-9b17-0b2a1d54dbeb.jpg"
image = Image.open(requests.get(url, stream=True).raw)
inputs = feature_extractor(images=image, return_tensors="pt")
outputs = model(**inputs)
logits = outputs.logits  # shape (batch_size, num_labels, height/4, width/4)

For more code examples, we refer to the documentation.

segformer-b0-finetuned-segments-sidewalk-aug-5

This model is a fine-tuned version of nvidia/mit-b0 on the apriliaserge/sidewalk-imagery dataset. It achieves the following results on the evaluation set:

  • Loss: 1.6715
  • Mean Iou: 0.3330
  • Mean Accuracy: 0.5203
  • Overall Accuracy: 0.6667
  • Accuracy Unlabeled: nan
  • Accuracy Flat-road: 0.0664
  • Accuracy Flat-sidewalk: 0.9545
  • Accuracy Flat-crosswalk: nan
  • Accuracy Flat-cyclinglane: nan
  • Accuracy Flat-parkingdriveway: nan
  • Accuracy Flat-railtrack: nan
  • Accuracy Flat-curb: nan
  • Accuracy Human-person: nan
  • Accuracy Human-rider: nan
  • Accuracy Vehicle-car: 0.9493
  • Accuracy Vehicle-truck: nan
  • Accuracy Vehicle-bus: nan
  • Accuracy Vehicle-tramtrain: nan
  • Accuracy Vehicle-motorcycle: 0.0
  • Accuracy Vehicle-bicycle: nan
  • Accuracy Vehicle-caravan: nan
  • Accuracy Vehicle-cartrailer: nan
  • Accuracy Construction-building: 0.6316
  • Accuracy Construction-door: nan
  • Accuracy Construction-wall: nan
  • Accuracy Construction-fenceguardrail: nan
  • Accuracy Construction-bridge: nan
  • Accuracy Construction-tunnel: nan
  • Accuracy Construction-stairs: nan
  • Accuracy Object-pole: nan
  • Accuracy Object-trafficsign: nan
  • Accuracy Object-trafficlight: nan
  • Accuracy Nature-vegetation: nan
  • Accuracy Nature-terrain: nan
  • Accuracy Sky: nan
  • Accuracy Void-ground: nan
  • Accuracy Void-dynamic: nan
  • Accuracy Void-static: nan
  • Accuracy Void-unclear: nan
  • Iou Unlabeled: 0.0
  • Iou Flat-road: 0.0663
  • Iou Flat-sidewalk: 0.6901
  • Iou Flat-crosswalk: nan
  • Iou Flat-cyclinglane: nan
  • Iou Flat-parkingdriveway: nan
  • Iou Flat-railtrack: nan
  • Iou Flat-curb: nan
  • Iou Human-person: nan
  • Iou Human-rider: nan
  • Iou Vehicle-car: 0.6300
  • Iou Vehicle-truck: nan
  • Iou Vehicle-bus: nan
  • Iou Vehicle-tramtrain: nan
  • Iou Vehicle-motorcycle: 0.0
  • Iou Vehicle-bicycle: nan
  • Iou Vehicle-caravan: nan
  • Iou Vehicle-cartrailer: nan
  • Iou Construction-building: 0.6113
  • Iou Construction-door: nan
  • Iou Construction-wall: nan
  • Iou Construction-fenceguardrail: nan
  • Iou Construction-bridge: nan
  • Iou Construction-tunnel: nan
  • Iou Construction-stairs: nan
  • Iou Object-pole: nan
  • Iou Object-trafficsign: nan
  • Iou Object-trafficlight: nan
  • Iou Nature-vegetation: nan
  • Iou Nature-terrain: nan
  • Iou Sky: nan
  • Iou Void-ground: nan
  • Iou Void-dynamic: nan
  • Iou Void-static: nan
  • Iou Void-unclear: nan

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 6e-05
  • train_batch_size: 2
  • eval_batch_size: 2
  • seed: 42
  • optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
  • lr_scheduler_type: linear
  • num_epochs: 60

Training results

Training Loss Epoch Step Validation Loss Mean Iou Mean Accuracy Overall Accuracy Accuracy Unlabeled Accuracy Flat-road Accuracy Flat-sidewalk Accuracy Flat-crosswalk Accuracy Flat-cyclinglane Accuracy Flat-parkingdriveway Accuracy Flat-railtrack Accuracy Flat-curb Accuracy Human-person Accuracy Human-rider Accuracy Vehicle-car Accuracy Vehicle-truck Accuracy Vehicle-bus Accuracy Vehicle-tramtrain Accuracy Vehicle-motorcycle Accuracy Vehicle-bicycle Accuracy Vehicle-caravan Accuracy Vehicle-cartrailer Accuracy Construction-building Accuracy Construction-door Accuracy Construction-wall Accuracy Construction-fenceguardrail Accuracy Construction-bridge Accuracy Construction-tunnel Accuracy Construction-stairs Accuracy Object-pole Accuracy Object-trafficsign Accuracy Object-trafficlight Accuracy Nature-vegetation Accuracy Nature-terrain Accuracy Sky Accuracy Void-ground Accuracy Void-dynamic Accuracy Void-static Accuracy Void-unclear Iou Unlabeled Iou Flat-road Iou Flat-sidewalk Iou Flat-crosswalk Iou Flat-cyclinglane Iou Flat-parkingdriveway Iou Flat-railtrack Iou Flat-curb Iou Human-person Iou Human-rider Iou Vehicle-car Iou Vehicle-truck Iou Vehicle-bus Iou Vehicle-tramtrain Iou Vehicle-motorcycle Iou Vehicle-bicycle Iou Vehicle-caravan Iou Vehicle-cartrailer Iou Construction-building Iou Construction-door Iou Construction-wall Iou Construction-fenceguardrail Iou Construction-bridge Iou Construction-tunnel Iou Construction-stairs Iou Object-pole Iou Object-trafficsign Iou Object-trafficlight Iou Nature-vegetation Iou Nature-terrain Iou Sky Iou Void-ground Iou Void-dynamic Iou Void-static Iou Void-unclear
2.8459 2.5 10 3.2465 0.0684 0.4106 0.5516 nan 0.5197 0.6646 nan nan nan nan nan nan nan 0.5629 nan nan nan 0.1941 nan nan nan 0.1118 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.3237 0.5855 nan 0.0 nan 0.0 nan 0.0 nan 0.3814 0.0 0.0 0.0 0.1734 nan 0.0 0.0 0.1088 0.0 0.0 0.0 0.0 nan 0.0 0.0 0.0 nan nan 0.0 nan nan nan nan 0.0
2.6718 5.0 20 2.7645 0.0830 0.3385 0.5411 nan 0.0487 0.8496 nan nan nan nan nan nan nan 0.7895 nan nan nan 0.0022 nan nan nan 0.0027 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.0418 0.6128 nan 0.0 nan nan nan 0.0 nan 0.5862 nan nan 0.0 0.0022 nan 0.0 0.0 0.0026 nan 0.0 nan 0.0 nan 0.0 nan nan nan nan nan nan nan nan nan 0.0
2.0659 7.5 30 2.4234 0.1015 0.3788 0.5766 nan 0.0317 0.8978 nan nan nan nan nan nan nan 0.9488 nan nan nan 0.0 nan nan nan 0.0156 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.0283 0.6429 nan nan nan nan nan 0.0 nan 0.5316 nan nan 0.0 0.0 nan nan nan 0.0150 nan nan nan 0.0 nan 0.0 nan 0.0 nan nan nan nan nan nan nan 0.0
2.043 10.0 40 2.2371 0.1481 0.3918 0.5864 nan 0.0694 0.8952 nan nan nan nan nan nan nan 0.9521 nan nan nan 0.0002 nan nan nan 0.0421 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.0622 0.6499 nan nan nan nan nan nan nan 0.5791 nan nan 0.0 0.0002 nan nan nan 0.0412 nan nan nan nan nan 0.0 nan nan nan nan nan nan nan nan nan 0.0
1.9797 12.5 50 2.0856 0.1942 0.4096 0.6025 nan 0.0422 0.9226 nan nan nan nan nan nan nan 0.9593 nan nan nan 0.0 nan nan nan 0.1239 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.0391 0.6631 nan nan nan nan nan nan nan 0.5349 nan nan 0.0 0.0 nan nan nan 0.1221 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
1.7658 15.0 60 2.0426 0.2542 0.4493 0.6344 nan 0.0396 0.9567 nan nan nan nan nan nan nan 0.9618 nan nan nan 0.0 nan nan nan 0.2883 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.0385 0.6875 nan nan nan nan nan nan nan 0.5155 nan nan nan 0.0 nan nan nan 0.2839 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
1.6273 17.5 70 1.9741 0.2751 0.4735 0.6527 nan 0.1056 0.9529 nan nan nan nan nan nan nan 0.9563 nan nan nan 0.0 nan nan nan 0.3526 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.1022 0.6974 nan nan nan nan nan nan nan 0.5051 nan nan nan 0.0 nan nan nan 0.3459 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
1.3386 20.0 80 1.9589 0.2852 0.4799 0.6522 nan 0.0735 0.9565 nan nan nan nan nan nan nan 0.9512 nan nan nan 0.0 nan nan nan 0.4183 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.0723 0.6929 nan nan nan nan nan nan nan 0.5409 nan nan nan 0.0 nan nan nan 0.4052 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
1.3394 22.5 90 1.9162 0.3146 0.5021 0.6601 nan 0.0509 0.9613 nan nan nan nan nan nan nan 0.9505 nan nan nan 0.0 nan nan nan 0.5480 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.0506 0.6915 nan nan nan nan nan nan nan 0.6594 nan nan nan 0.0 nan nan nan 0.4863 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
1.6083 25.0 100 1.8779 0.3071 0.5116 0.6658 nan 0.0749 0.9576 nan nan nan nan nan nan nan 0.9667 nan nan nan 0.0 nan nan nan 0.5590 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.0742 0.6932 nan nan nan nan nan nan nan 0.5597 nan nan nan 0.0 nan nan nan 0.5153 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
1.1945 27.5 110 1.7875 0.2931 0.4904 0.6571 nan 0.1017 0.9490 nan nan nan nan nan nan nan 0.9619 nan nan nan 0.0 nan nan nan 0.4394 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.1005 0.6928 nan nan nan nan nan nan nan 0.5405 nan nan nan 0.0 nan nan nan 0.4246 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
1.0752 30.0 120 1.8080 0.3160 0.5127 0.6638 nan 0.0408 0.9632 nan nan nan nan nan nan nan 0.9590 nan nan nan 0.0 nan nan nan 0.6007 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.0407 0.6910 nan nan nan nan nan nan nan 0.6062 nan nan nan 0.0 nan nan nan 0.5580 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
1.244 32.5 130 1.7838 0.3229 0.5169 0.6652 nan 0.0652 0.9548 nan nan nan nan nan nan nan 0.9562 nan nan nan 0.0 nan nan nan 0.6081 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.0647 0.6898 nan nan nan nan nan nan nan 0.6055 nan nan nan 0.0 nan nan nan 0.5774 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
1.175 35.0 140 1.7537 0.3293 0.5150 0.6633 nan 0.0451 0.9587 nan nan nan nan nan nan nan 0.9472 nan nan nan 0.0 nan nan nan 0.6240 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.0449 0.6889 nan nan nan nan nan nan nan 0.6567 nan nan nan 0.0 nan nan nan 0.5852 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
1.1076 37.5 150 1.7566 0.3152 0.5203 0.6641 nan 0.0340 0.9596 nan nan nan nan nan nan nan 0.9655 nan nan nan 0.0 nan nan nan 0.6422 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.0340 0.6879 nan nan nan nan nan nan nan 0.5820 nan nan nan 0.0 nan nan nan 0.5873 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
1.3768 40.0 160 1.7104 0.3230 0.5184 0.6635 nan 0.0540 0.9535 nan nan nan nan nan nan nan 0.9588 nan nan nan 0.0 nan nan nan 0.6255 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.0539 0.6873 nan nan nan nan nan nan nan 0.6102 nan nan nan 0.0 nan nan nan 0.5868 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
1.0697 42.5 170 1.7058 0.3427 0.5208 0.6657 nan 0.0465 0.9583 nan nan nan nan nan nan nan 0.9457 nan nan nan 0.0 nan nan nan 0.6532 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.0465 0.6890 nan nan nan nan nan nan nan 0.6860 nan nan nan 0.0 nan nan nan 0.6348 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
1.203 45.0 180 1.6792 0.3482 0.5524 0.6828 nan 0.0737 0.9585 nan nan nan nan nan nan nan 0.9629 nan nan nan 0.0 nan nan nan 0.7670 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.0734 0.6943 nan nan nan nan nan nan nan 0.6250 nan nan nan 0.0 nan nan nan 0.6967 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
1.1764 47.5 190 1.6746 0.3250 0.5161 0.6645 nan 0.0665 0.9535 nan nan nan nan nan nan nan 0.9561 nan nan nan 0.0 nan nan nan 0.6046 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.0665 0.6899 nan nan nan nan nan nan nan 0.6087 nan nan nan 0.0 nan nan nan 0.5851 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
1.1456 50.0 200 1.6779 0.3197 0.5074 0.6616 nan 0.0468 0.9612 nan nan nan nan nan nan nan 0.9510 nan nan nan 0.0 nan nan nan 0.5782 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.0467 0.6906 nan nan nan nan nan nan nan 0.6173 nan nan nan 0.0 nan nan nan 0.5634 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
1.0412 52.5 210 1.6849 0.3303 0.5254 0.6703 nan 0.0346 0.9680 nan nan nan nan nan nan nan 0.9545 nan nan nan 0.0 nan nan nan 0.6702 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.0346 0.6929 nan nan nan nan nan nan nan 0.6229 nan nan nan 0.0 nan nan nan 0.6314 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
1.0742 55.0 220 1.6657 0.3349 0.5246 0.6687 nan 0.0593 0.9573 nan nan nan nan nan nan nan 0.9501 nan nan nan 0.0 nan nan nan 0.6561 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.0592 0.6907 nan nan nan nan nan nan nan 0.6303 nan nan nan 0.0 nan nan nan 0.6289 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
0.9584 57.5 230 1.6635 0.3401 0.5293 0.6700 nan 0.0566 0.9569 nan nan nan nan nan nan nan 0.9495 nan nan nan 0.0 nan nan nan 0.6835 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.0566 0.6900 nan nan nan nan nan nan nan 0.6410 nan nan nan 0.0 nan nan nan 0.6533 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
1.2096 60.0 240 1.6715 0.3330 0.5203 0.6667 nan 0.0664 0.9545 nan nan nan nan nan nan nan 0.9493 nan nan nan 0.0 nan nan nan 0.6316 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan 0.0 0.0663 0.6901 nan nan nan nan nan nan nan 0.6300 nan nan nan 0.0 nan nan nan 0.6113 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan

Framework versions

  • Transformers 4.54.0
  • Pytorch 2.6.0+cu124
  • Datasets 4.0.0
  • Tokenizers 0.21.2
Downloads last month
73
Safetensors
Model size
3.72M params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for apriliaserge/segformer-b0-finetuned-segments-sidewalk-aug-5

Base model

nvidia/mit-b0
Finetuned
(454)
this model

Dataset used to train apriliaserge/segformer-b0-finetuned-segments-sidewalk-aug-5