Pocket-lint stöds av sina läsare. När du köper via länkar på vår webbplats kan vi tjäna en affiliate provision. Läs mer

Den här sidan har översatts med hjälp av AI och maskininlärning innan den har granskats av en mänsklig redaktör på ditt modersmål.

(Pocket-lint) - Apple har under minst ett decennium arbetat med teknik för förstärkt verklighet och virtuell verklighet.

Det vet vi tack vare uttalanden från företaget, prognoser från analytiker, många patentansökningar och Apples intresse för att utveckla sin ARKit-plattform för AR-appar och spel.

Företaget har också anställt AR/VR-experter och förvärvat flera AR/VR-företag. Om man lägger ihop allt detta kan ryktena visa att Apple håller på att utveckla ett headset.

Apple ska ha en hemlig forskningsenhet med hundratals anställda som arbetar med flera prototyper av headset för virtuell och förstärkt verklighet. Här är allt du behöver veta.

POCKET-LINT VIDEO OF THE DAY
USPTO äppleglasögon och headset vad som är historien hittills bild 1

När kommer Apple Glasses?

  • WWDC 2022 avslöjar realityOS?
  • Lansering 2023?

Det är svårt att säga exakt när Apple Glasses kommer att lanseras på grund av motstridiga rapporter. Många förutsägelser hittills pekar fortfarande på 2022 eller början av 2023. I början av 2021 föreslog rapporter att företaget skulle gå in i "den andra utvecklingsfasen". Ungefär samtidigt framkom det - via en detaljerad Bloomberg-rapport - att Apple sannolikt kommer att lansera ett nischat VR-headset innan ett par AR-glasögon dyker upp. Detta skulle kunna ske så tidigt som 2022.

Källan som Bloomberg talade med säger att VR-headsetetet har kodnamnet N301, medan AR-glasögonen har kodnamnet N421. Glasögonen är enligt källan en "arkitektur", vilket enligt Bloomberg innebär att Apple fortfarande tittar på underliggande teknik och att de därför skulle finnas hos oss tidigast 2023. Bloomberg säger också att utvecklingen saktat in under 2020 på grund av oförmågan för alla ingenjörer att kunna vara på kontoret samtidigt.

I juli 2019 hävdade DigiTimes att Apple stoppade utvecklingen av alla sina headsets. Teamet som utvecklade prototyperna upplöstes tydligen och omplacerades till andra produkter. Samtidigt påstås det att Apple flyttade över Kim Vorrath, en mjukvaruchef, till divisionen för headset för förstärkt verklighet för att bringa "ordning" i teamet.

Vorraths anställning tyder på att Apple inte har dödat sitt AR-headset-team, vilket man tidigare trodde. Hänvisningar till ett AR-headset har ocksåhittats i iOS 13- med det förmodade kodnamnet Garta. Kod i den senaste versionen av Xcodetyder ytterligare på att Apple utvecklar ett AR-headset. Det finns till och med referenser till test-enheter med kodnamn.

Efter att tidigare ha hävdat att headsetet kommer att börja massproduceras i slutet av 2019 och lanseras i början av 2020, föreslog Apple-analytikern Ming-Chi Kuo i maj 2020 att de inte kommer att lanseras förrän tidigast 2022. Senast reviderade han den förväntan till ett mer exakt datum - mitten av 2022. Rapporter i april 2022 indikerade dock att 2023 nu är ett mer troligt fönster.

I maj 2022 rapporterade Bloomberg att Apples styrelse fick se headsetet, som nu sägs kunna hantera både AR och VR, och att företaget nu arbetar på ett operativsystem som kallas realityOS. Det sägs att ett tillkännagivande är på gång men fler detaljer gavs inte.

Om du känner dig förvirrad är du inte ensam - i dagsläget är det ingen som vet när Apple kommer att lansera headsetet.

Hur kommer Apple Glasses eller ett VR-headset att fungera?

Här är allt vi hittills har hört om Apple Glasses och vad de kommer att kunna göra om de någonsin kommer ut på marknaden...

Skärmar

Enligt Bloombergs källa i början av 2021 kommer headsetet att använda skärmar med högre upplösning än de som för närvarande används i konkurrerande headset. Headsetet kan också ha en 8K-skärm för varje öga (dessa rykten dök återigen upp i en rapport från The Information i februari). Det är obundet från en dator eller smartphone och ska fungera med både VR- och AR-appar.

Detta headset kan anslutas till en "dedikerad box" via en trådlös teknik med hög hastighet och kort räckvidd som kallas 60 GHz WiGig. Den har en Apple-processor med 5 nanometer och liknar ett PC-torn.

AR-stereo

9to5Mac säger att Apple arbetar på stereo AR i iOS som stöder en AR-upplevelse med ansiktsmontering. Den har testats internt med två Apple-enheter (kodnamn Luck och Franc) och en tredjepartsenhet, kallad HoloKit, som är ett AR-headset-kit i kartong. Stereo AR-appar kan enligt uppgift fungera i "hållet läge" (normal AR) eller ett "buret läge" när de används med en extern enhet, till exempel ett headset.

Enligtden tidiga Bloomberg-källan från 2021 är den processor som används tydligen kraftfullare än Apples M1-chip som används i nya Macs. Processorn och grafikprocessorn kommer att finnas i headsetet snarare än att avlastas till en annan enhet (som en Mac), vilket också är den modell som Oculus har följt i allt större utsträckning. Och de kommer också att ha en fläkt för kylning. Det har också påståtts att headsetet drivs av M1-chipet.

Nya rykten tyder på att Apple kan komma att använda sitt U1-chip för sitt headset. Detta chip finns i Apples iPhone 11 och 12 och skulle kunna spela en roll i headsetet för blandad verklighet. Det skulle kunna innebära korsstöd för ultrabredbandsenheter samt allt viktigt stöd för exakt rumslig medvetenhet.

ARKit har också uppdaterats i iOS 16 med stöd för 4K HDR-video och avancerad rumsavläsning, vilket kommer att vara en viktig funktion i alla AR/VR-headset.

Endast AR eller AR/VR?

Det låter som om det är två olika projekt som pågår här. Den respekterade Apple-analytikern Ming-Chi Kuo förväntar sig att AR-glasögonen kommer att lanseras som ett iPhone-tillbehör som överför beräkning, nätverk etc. till iPhone - som Nreal Air.

Enligt Bloomberg utvecklar Apple 2020 en AR-produkt med en skärm, processor och ett nytt "rOS" (operativsystem). Enligt uppgift är rOS baserat på iOS. Apple uppges också utveckla ett "system-on-a-package"-chip för detta AR-headset. Företaget överväger att använda pekpaneler, röstaktivering och huvudgester för inmatningskontroll. Virtuella rum och 360-graders videouppspelning övervägs också.

Andra rapporter tyder på att projektet kan erbjuda stöd för både AR- och VR-appar och kommer att ha stöd för ögonspårning, vilket man kan förvänta sig. Apple-analytikern Ming-Chi Kuo säger: "Apples eyetracking-system innehåller en sändare och en mottagare. Sändaren tillhandahåller en eller flera olika våglängder av osynligt ljus, och mottagaren känner av förändringen av det osynliga ljuset som reflekteras av ögongloben och bedömer ögonglobens rörelse utifrån förändringen."

Design

Enligt Bloombergs källa från början av 2021 kommer det första headsetet att vara en proffsnivå med tygöverdrag. Det var också en tyngd under de första testerna, men tydligen är det nu samma storlek som enOculus Quest. Målet med headsetet kommer att vara att få utvecklare med på tåget i tid för lanseringen av konsumentvänliga AR-glasögon.

I mitten av 2019 rapporterade The Information om företagets AR-glasögon och berättade om designen: "Linserna använder ett polariserat system, som liknar tekniken i 3D-filmglasögon, som skapar illusionen av djup med hjälp av stereoskopiska bilder, sade personen. Tekniken liknar den i andra AR- och VR-apparater som redan finns på marknaden från Microsoft, Magic Leap och Facebook....

Fler tidiga detaljer från2021 från The Information avslöjar ytterligare detaljer om headsetdesignen för mixed reality-enheten. Det ska finnas ett utbytbart huvudband, ungefär som AirPods Max.

I mars 2022 fick vi några modeller av hur headsetet skulle kunna se ut från LetsGoDigital, som ger en bra smak av vad du kan förvänta dig.

USPTO äppleglasögon och headset, vad är historien hittills foto 4

Intelligent utformning av displayen

Enligt en patentansökan verkar det som om Apple arbetar på en adaptiv skärm för sitt AR-headset som tar hänsyn till användarens omgivning och anpassar sig till ögat. Målet här är dubbelt. För det första att minska "bländningen och obehaget" som en användare annars skulle uppleva när han eller hon övergår från en virtuell verklighetsupplevelse. För det andra att göra headsetet bekvämare att bära genom att göra det lättare för ögat, både under användning och när man tar av det också.

Den föreslagna tekniken kommer inte bara att mäta det omgivande ljuset i den omgivande miljön utan även saker som "blinkfrekvens, pupillstorlek och ögonöppning" för att justera headsetets ljusstyrka i enlighet med detta.

Förutom att göra den bekvämare kommer den föreslagna tekniken att bidra till att "... öka det upplevda dynamiska omfånget på skärmen." Detta bör göra upplevelsen mer tillfredsställande, förbättra komforten och förhoppningsvis spara batteri också.

Haptisk återkoppling

Ett patent som upptäcktes i februari 2021 visade att Apple också tittar på hur man kan använda haptisk feedback i headsetet. Patentet tillämpas i stor utsträckning på alla potentiella enheter, men med tanke på att de viktigaste andra alternativen är iPhones, surfplattor och datorer, skulle det vara mycket mer logiskt att se det potentiella systemet matchat med ett headset.

Det låter också som en mycket komplicerad idé, i klassisk Apple-stil. Tanken är att en rörelsesensor ska övervaka momentet och kraften i användarens rörelser i förhållande till virtuella objekt som förmodligen visas genom headsetet. Detta skulle kombineras med ett haptiskt återkopplingssystem som skulle kunna ge återkoppling beroende på hur de virtuella objekten rör sig.

Apple påpekar att systemet kan vara för skrymmande för att fungera, och det låter mer som ett tillbehör än som en central del av headsetplanerna, men det är en intressant möjlighet för företaget att utforska.

Om linserna

Den person som The Information talade med sade att det är särskilt svårt att tillverka AR-linser eftersom de består av flera extremt tunna lager av olika syntetiska material, som alla är känsliga för bubblor, repor och andra märken. För att minska defekter måste linserna tillverkas i dammfria zoner, så kallade renrum."

Enligt Bloombergs rapport från 2021 har headsetet inte plats för receptbelagda glasögon - istället kan anpassade linser sättas in i headsetet. Apple testar också de inbyggda kamerorna för handspårning och sägs också arbeta på ett system för att mata in text genom att "skriva" i luften.

USPTO Apple Glasses Ar Headset Vad är berättelsen hittills image 3

Har Apple någonsin talat om Apple Glasses?

Apples vd Tim Cook har sagt att tekniken inte finns för att skapa AR-glasögon av hög kvalitet. "Men i dag kan jag säga att tekniken i sig inte existerar för att göra det på ett kvalitativt sätt", förklarade han. "Skärmtekniken som krävs, liksom att sätta tillräckligt med saker runt ansiktet - det finns enorma utmaningar med det. Synfältet, kvaliteten på själva displayen - det finns inte ännu."

Tänk på atthan också sa 2016: "AR kan vara riktigt bra... Vi har investerat och fortsätter att investera mycket i detta. Vi tror mycket på AR på lång sikt... Jag tror att AR är stort och djupgående. Det här är en av de stora sakerna som vi kommer att se tillbaka på och förundras över starten av den."

Vem ingår i teamet för Apple Glasses?

Apple har anställt flera anställda med expertis inom AR/VR-teknik, bland annat datavetenskapsprofessorn Doug Bowman, som ledde Virginia Tech's Center for Human-Computer Interaction. Han fokuserar på tredimensionell design av användargränssnitt. Apple har också anställt anställda som har arbetat i Microsofts HoloLens-team och på Lytro, ett företag som arbetar med en VR-kamera.

Apple anställde också Zeyu Li, som var huvudingenjör för datorseende på Magic Leap, som "Senior Computer Vision Algorithm Engineer". En annan anställning är Yury Petrov, tidigare forskare på Facebook-ägda Oculus, som nu tjänstgör som "research scientist" på Apple. Experten för förstärkt verklighet Jeff Norrisbörjade ocksåhos Apple i april 2017 som senior manager. Han har arbetat på NASA.

I maj 2018 anställde Apple Sterling Crispin, som utvecklat en måleriapp för mobila VR-headsets som heter Cyber Paint. I december 2018 anställde Apple den tidigare ledande Tesla- och Microsoft HoloLens-designern Andrew Kim. Det finns också Jaunt VR-grundaren Arthur van Hoff, som började arbeta för Apple som senior arkitekt i april 2019. Tänk på att Apples team för AR-glasögon/headet har hundratals andra anställda.

I slutet av juni 2020 kom det fram att Apple anställer många av Magic Leaps anställda efter misslyckandet med AR-headsetetet. Och enligt Bloomberg har Apple nu över 1 000 anställda som arbetar med projektet.

Vilka AR/VR-företag har Apple köpt?

Apple har inte bara anställt AR/VR-experter utan även förvärvat företag som specialiserat sig på detta område. År 2017köpte AppleVrvana, ett företag som utvecklade ett headset för blandad verklighet kallat Totem. Vid samma tidpunkt köpte företaget också Akonia Holographics, ett företag som tillverkar linser för AR-smarta glasögon. Apple köpte också det israeliska 3D-kroppssensorföretaget PrimeSense redan 2013.

Och 2020 köpte Apple NextVR, ett företag som gav sport och konserter en VR-plattform. Företaget hade samarbetat med bland annat Fox Sports, Wimbledon och NBA.

Andra företag som företaget har köpt är Metaio, Faceshift, Emotient, Flyby Media och RealFace.

Skriva av Maggie Tillman. Redigering av Adrian Willings.
Avsnitt Apple AR & VR