HoloGraphic: att ta kontrollrummet till maskinerna

Storyboardets titelbild: ordet HoloGraphic över en blyertsskiss av en industripanna — Storyboardet, 2017: idén, berättad innan den byggdes.

År 2017, under en studie på fyra månader vid Swedish Institute of Computer Science (SICS) i Västerås (i dag RISE), utforskade jag vad ett par glasögon för blandad verklighet som Microsoft HoloLens kunde ge de människor som arbetar bredvid maskinerna i fabriker.

Informationen stannar i kontrollrummet

I en industrianläggning finns allt man behöver veta om en maskin på skärmarna i kontrollrummet: temperaturen, trycket, larmen. Men operatörernas arbete sker ute på golvet, bredvid de olika maskinerna. Operatörer och tekniker ute i anläggningen kan inte ta med sig den informationen, och när de kan se den i kontrollrummet är de långt borta och utanför sammanhanget där allt händer. Därför går de miste om mycket värdefull information, som ljuden i omgivningen, hur maskinerna ser ut och andra detaljer i sammanhanget som de kan uppfatta när de står framför dem.

Skiss av en operatör i varseljacka som sitter framför skärmarna i ett kontrollrum — Operatören sitter i kontrollrummet.

Ritning över en anläggning med kontrollrummet på ena sidan och fyra maskiner: huvudpanna, järntank, kvarnmotor och panna — Informationen finns i kontrollrummet, inte vid utrustningen.

Förstudien hade fyra mål:

Ta informationen i kontrollrummet till anläggningen, där utrustningen finns.
Låta operatörerna se den digitala informationen om varje process ovanpå den verkliga utrustningen.
Förbättra säkerheten med påminnelser utifrån plats, så att man vet vilka säkerhetsåtgärder som gäller där man är.
Ta reda på hur redo HoloLens-tekniken egentligen var för industrin.

En promenad genom anläggningen

Storyboardet visar möjliga användningar att bygga, utifrån tidigare intervjuer med operatörer, och följer en operatör på hens vanliga runda genom anläggningen. Först kommer glasögonen på, under skyddshjälmen (även om glasögonen och hjälmen i verkligheten inte gick att kombinera).

Två skisser av samma operatör: först sätter han på sig HoloLens, sedan skyddshjälmen ovanpå — Operatören bär HoloLens, med hjälmen ovanpå.

Sedan lämnar operatören kontrollrummet och går till den första maskinen, järntanken. När hen kommer nära visas ett virtuellt lager av information ovanpå den, som hen kan interagera med genom gester för att se fler detaljer.

Ritning med fotspår från kontrollrummet till järntanken — Operatören går till järntanken.

Skiss av operatören bakifrån, på väg mot en stor industripanna — Operatören går mot den.

Skiss av operatören som rör vid svävande paneler med diagram och en anteckning framför maskinen — Operatören interagerar med ett virtuellt lager av information.

Rundan fortsätter till kvarnmotorn, där informationen byts till den som hör till den maskinen. Till sist går operatören tillbaka till kontrollrummet.

Ritning med fotspår från järntanken till kvarnmotorn — Operatören går till kvarnmotorn.

Skiss av operatören framför en motor, som läser svävande paneler med diagram — Operatören ser information om kvarnmotorn.

Ritning med hela rundan av fotspår tillbaka till kontrollrummet — Operatören går tillbaka till kontrollrummet.

Skiss av operatören som sitter i kontrollrummet igen — Och sätter sig i kontrollrummet igen.

Två faser: redigera och använda

Scenariot har två faser. I redigeringsfasen går någon in i ett redigeringsläge och placerar de virtuella objekten ovanpå den verkliga utrustningen. I användningsfasen går man runt på fabriksgolvet och ser den virtuella informationen smälta samman med den verkliga utrustningen, uppdaterad i realtid från kontrollrummets servrar.

Prototypen

Prototypen visade information om maskiner som kvarnmotorn och järntanken. När användaren kom inom tre meter från någon av dem visades dess information ovanpå den som text, 2D-grafik, 3D-modeller och värmekartor. Animationer simulerade anslutningen till kontrollrummets servrar, så att man kunde se data uppdateras, och gränssnittet var utformat för att anpassa sig till omgivningen och vara lätt att läsa.

Ett röstkommando öppnade redigeringsläget. Med gester kunde användaren sedan flytta varje informationsdel dit hen ville, och den nya platsen sparades till nästa gång. Säkerhetspåminnelser visades beroende på var användaren befann sig.

Vad fabriken lärde mig

Redan vid första besöket i fabriken visste jag att förhållandena inte var idealiska: det var för bullrigt för röstkommandon, handskarna var för stora för gester, och glasögonen tog så mycket plats att hjälmen inte passade. Jag byggde prototypen ändå, för att testa den med operatörer och se hur långt den kunde nå.

HoloLens rumsliga kartläggning visade sig vara det mest intressanta. Den lät applikationen reagera på var operatören befann sig i fabriken: en påminnelse om den särskilda utrustning som behövs när någon går in i ett avspärrat område, eller en utrymningsväg som visar var andra operatörer finns, vid ett larm.

Även gester och röstkommandon uppskattades. Med en mobil eller en dator kan man inte utföra underhåll med händerna samtidigt som man håller i enheten.

Spridning

Jag presenterade konceptet för flera tillverkande företag i Sverige för att samla in synpunkter och nya idéer. Till exempel anpassade jag prototypen för ett annat företag för att utforska hur strålning kunde visualiseras (för utbildning och lärande). Frågan jag tog med till varje möte var densamma: vilka användningsfall kunde göra verklig skillnad för industriarbetares säkerhet, effektivitet och motivation?

Jag presenterade också koncepten och prototyperna som gästföreläsare för studenter i interaktionsdesign, med aktiviteter som hjälpte dem att reflektera över hur man designar applikationer för blandad verklighet.