SMIRK Dataset

Specifikationer dataset

Syntetiska bilder insamlade från en framåtvänd kamera tillsammans med bounding box och segmenteringskartor för de rörliga objekten. Bilderna motsvarar scenarier simulerade i ESI Pro-SiVIC av enskilda fotgängare och grundläggande geometriska former som korsar en landsväg. Datasetet motsvarar SMIRK:s medvetet begränsade operationella designområde, dvs. en rak landsväg, i ett öppet landskap, i klart väder, utan andra trafikagenter.

Åtta olika fotgängarmodeller och fem gråa grundläggande former representeras.

• P1 Casual female pedestrian
• P2 Casual male pedestrian
• P3 Business casual female pedestrian
• P4 Business casual male pedestrian
• P5 Business female pedestrian
• P6 Business male pedestrian
• P7 Child
• P8 Male construction worker
• N1 Sphere
• N2 Cube
• N3 Cone
• N4 Pyramid
• N5 Cylinder

Varje fotgängarscenario representeras av 616 konfigurationer organiserade i fyra grupper

• A. Korsar vägen från vänster till höger (280 scenario konfigurationer)
• B. Korsar vägen från höger till vänster (280 scenario konfigurationer)
• C. Rörelse parallellt med vägen mot ego bilen (28 scenario konfigurationer)
• D. Rörelse parallellt med vägen bort från ego bilen (28 scenario konfigurationer)

För grupper A och B, kombinationer av följande parameter värden representerar ett scenario:

• Hastighet (m/s): [1, 2, 3, 4]
• Vinkel (grader): [30, 50, 70, 90, 110, 130, 150]
• Longitudinellt avstånd (m): [10, 20, 30, 40, 50, 60, 70, 80, 90, 100]

För grupper C och D, kombinationer av följande parameter värden representerar ett scenario:

• Hastighet (m/s): [1, 2, 3, 4]
• Sidoförskjutning (m): [-3, -2, -1, 0, 1, 2, 3]

Mer specifikationer kan hittas här

Användningsfall hittills

1. SMIRK, ett ML-baserat fotgängarautomatiskt nödbromssystem

Utmaning
Datasetet har använts i utvecklingen av det experimentella fotgängarautomatiska nödbromssystemet SMIRK som leds av [RISE](https://www.ri.se/). ML-komponenter integreras allt mer i cyber-fysiska system som bilar. Tyvärr finns det få helt öppna ML-baserade demonstrations system för forskningssamhället att studera. Även om system som OpenPilot och Baidu Apollo finns tillgängliga under open-source mjukvarulicenser, är deras underliggande ML-modeller och deras [dataset](https://www.ai.se/en/data-factory/datasets) inte tillgängliga för studier. Eftersom ML-baserade system sammanflätar data och källkod är detta ett forskningshinder.

Tillvägagångssätt
Datasetet syntetiserar scenarier (fotgängare och geometriska former) som rör sig mot och bort från en mono-kamera. Dessa scenarier användes för att träna modeller för objektigenkänning/-detektering och anomalidetektering i SMIRK-systemet. Systemet implementeras för simulatorn ESI Pro-SiVIC med kärnkomponenter inklusive en radarsensor, en mono-kamera, en YOLOv5-modell, och en ML-baserad anomalidetektor.

Resultat
Teamet utvecklade framgångsrikt SMIRK-systemet och dess kompletta utvecklingsdokumentation finns tillgänglig på GitHub under en GPL-licens. Som ett helt transparent förarassistanssystem kan SMIRK stödja framtida forskning om pålitliga AI-system, såsom verifiering och validering, kravhantering och AI-testning.

Vidare läsning
→ SMIRK GitHub repository
→ Ursprunglig programvarupublication (OSP) har accepterats av Elsevier Software Impacts

2. Säkerhetsgaranti för ML-komponenten i SMIRK

Utmaning
Hur man bäst integrerar ML-komponenter i säkerhetskritiska system är en öppen utmaning inom både forskning och praktik. ML-baserad datorseende anses vara en nyckelaktiverare för cyber-fysiska system som förlitar sig på miljöuppfattning. Men steget från att visa imponerande resultat på datorseende-benchmarks till att distribuera system som förlitar sig på ML för säkerhetskritiska funktionaliteter är betydande. En ML-modell kan betraktas som en opålitlig funktion som ibland kommer att misslyckas med att generalisera ny input till dess inlärda representationer. Hur bör säkerhetsgaranti för ML-baserade komponenter närmas?

Tillvägagångssätt
Det beslutades att utveckla säkerhetsfallet i enlighet med den framväxande standarden ISO 21448 SOTIF och metoden Assurance of Machine Learning for use in Autonomous Systems (AMLAS).

Resultat
Baserat på ett starkt begränsat operationellt designområde för SMIRK, presenterar vi ett komplett säkerhetsfall för dess ML-komponent, dvs. en strukturerad säkerhetsargumentation stödd av bevis. En säkerhetsargumentation med hjälp av målstrukturering notation finns tillgänglig i [SMIRK GitHub-repository](https://github.com/RI-SE/smirk/). Tillsammans med 34 individuella artefakter, föreskrivna av AMLAS, utgör detta bevis på att SMIRK:s ML-komponent har uppnått sina säkerhetsmål.

Vidare läsning
→ SMIRK GitHub repository
→ arXiv förtryck av papperet som beskriver säkerhetsfallet