Pocket-lint stöds av sina läsare. När du köper via länkar på vår webbplats kan vi tjäna en affiliate provision. Läs mer

Denna sida har översatts med AI och maskininlärning.

(Pocket-lint) - I minst ett decennium har Apple arbetat med förstärkt verklighet och virtual reality-teknik.

Vi vet detta tack vare uttalanden från företaget, förutsägelser från analytiker, många patentansökningar och Apples intresse för att växa sin ARKit-plattform för AR-appar och spel.

Det har också anställt AR / VR-experter och förvärvat flera AR / VR-företag. Lägg till allt, och ryktfabriken antyder att Apple kan utveckla ett headset. Faktum är att de senaste rapporterna tyder på att det kommer att finnas ett VR-headset för att göra vår aptit innan det följs upp med ett AR-headset.

Apple har förmodligen en hemlig forskningsenhet som består av hundratals anställda som arbetar med flera prototyper för virtuella och förstärkta headset. Här är allt du behöver veta.

USPTOäppleglasögon och headset vad som är historien hittills bild 1

När kommer Apple Glasses?

Detta är svårt att fastställa exakt när Apple Glasses kommer fram på grund av motstridiga rapporter förra året. Förutsägelser pekade på 2022. I början av 2021 föreslog rapporter att företaget är inställt på att gå in i "andra utvecklingsfasen". Och igen i början av 2021 framkom det via en detaljerad Bloomberg-rapport att Apple sannolikt kommer att införa ett nisch VR-headset innan ett par AR-glasögon dyker upp. Detta kan vara så tidigt som 2022 .

Källan som Bloomberg pratade med säger att VR-headsetet har kodnamnet N301, med AR-glasögonen N421. Glasögonen är enligt källan en "arkitektur" som Bloomberg säger betyder att Apple fortfarande tittar på underliggande tekniker och så skulle vara med oss tidigast 2023. Bloomberg säger också att utvecklingen avtog under 2020 på grund av oförmågan för alla ingenjörer att kunna vara på kontoret samtidigt.

Omvänt, tillbaka i juli 2019 hävdade DigiTimes att Apple stoppade utvecklingen på alla sina headset. Teamet som utvecklade prototyperna löstes uppenbarligen och omfördelades till andra produkter. Samtidigt har det hävdats att Apple flyttade Kim Vorrath, en programledare, över tillheadset-divisionen för förstärkt verklighet för att få "ordning" till laget.

Vorraths anställning tyder på att Apple inte har dödat sitt AR-headset-team, som man tidigare trodde. Hänvisningar till ett AR-headset hittades också i iOS 13 - förmodligen kodnamnet Garta. Kod i den senaste versionen av Xcode indikerar vidare att Apple utvecklar ett AR-headset. Det finns till och med referenser till kodnamn testanordningar.

Och efter att ha tidigare också hävdat att headsetet enligt uppgift kommer att gå in i massproduktion i slutet av 2019 och kanske lanseras i början av 2020, föreslog Apples analytiker Ming-Chi Kuo i maj 2020 att de inte kommer att starta tidigast 2022. Senast reviderade han förväntningarna till ett mer exakt datum - mitten av 2022 .

Hur fungerar Apple Glasses eller ett VR-headset?

Här är allt vi hittills har hört om Apple Glasses och vad de kommer att kunna göra om de någonsin kommer till marknaden ...

Visar

Enligt tidigt 2021 Bloomberg-källan kommer headsetet att använda skärmar med högre upplösning än de som för närvarande används i rivaliserande headset som Oculus. Headsetet kan också ha en 8K-skärm för varje öga (dessa rykten återuppstod igen i en februarirapport från The Information). Det är ouppkopplat från en dator eller smartphone och ska fungera med både VR- och AR-appar.

Detta headset kan anslutas till en "dedikerad låda" via en höghastighets, kortdistans trådlös teknik som kallas 60 GHz WiGig. Den har en 5-nanometer Apple-processor och liknar ett PC-torn.

AR stereo

9to5Mac sa att Apple arbetar med stereo AR i iOS som stöder en ansiktsmonterad AR-upplevelse. Det har varit i intern testning med två Apple-enheter (kodnamnet Luck och Franc) och en tredjepartsenhet, kallad HoloKit, som är ett AR-headset för kartong. Stereo AR-appar kan enligt uppgift fungera i "hållläge" (normal AR) eller "slitat läge" när de används med en extern enhet som ett headset.

Enligt tidiga 2021 Bloomberg-källor är den CPU som används uppenbarligen kraftfullare än Apples M1-chips som används i nya Mac-datorer, så det kan vara A15 som kommer till 2021: s iPhones eller en M2 som sannolikt kommer att komma till kraftfullare Pro Mac-datorer i år. CPU och GPU kommer att finnas inuti headsetet snarare än att laddas ner till en annan enhet (som en Mac), vilket också är modellen som Oculus alltmer har följt. Och de kommer också att ha en fläkt för kylning.

Endast AR eller AR / VR?

Det låter som om det finns två olika projekt här. Den respekterade Apple-analytikern Ming-Chi Kuo förväntar sig att AR-glasögonen ska släppas som ett iPhone-tillbehör - för att ladda ner datorer, nätverk osv. Till iPhone - som Googles Daydream.

År 2020 sa Bloomberg att Apple utvecklar en AR-produkt med en skärm, processor och ett nytt "rOS" eller operativsystem. Förmodligen baseras rOS på iOS. Apple utvecklar enligt uppgift också ett "system-on-a-package" -chip för detta AR-headset. Det överväger att använda pekskärmar, röstaktivering och huvudgester för ingångskontroll. Virtuella rum och 360-graders videouppspelning övervägs också.

Andra rapporter tyder på att projektet kan erbjuda både stöd för både AR- och VR-appar och kommer att stödja ögonspårning som du förväntar dig. Apples analytiker Ming-Chi Kuo säger : "Apples ögonspårningssystem inkluderar en sändare och en mottagare. Den sändande änden ger en eller flera olika våglängder av osynligt ljus och den mottagande änden detekterar förändringen av det osynliga ljuset som reflekteras av ögongloben, och bedömer ögonbollsrörelsen baserat på förändringen. "

Design

Enligt tidiga 2021-källor från Bloomberg kommer det första headsetet att vara en tygklädd enhet på pro-nivå. Det var också ett viktigt under inledande testning, men tydligen är det nu samma storlek som en Oculus Quest . Målet med headsetet är att få utvecklare ombord i tid för lanseringen av konsumentvänliga AR-glasögon.

I mitten av 2019 rapporterade informationen om företagets AR-glasögon och noterade information om designen: "Linserna använder ett polariserat system, som liknar tekniken i 3D-filmglasögon, som skapar en illusion av djup med stereoskopiska bilder, person sa. Tekniken liknar den i andra AR- och VR-enheter som redan finns på marknaden från Microsoft, Magic Leap och Facebook ...

Mer tidiga 2021-detaljer från The Information avslöjar extra detaljer om headsetets design för mixed reality-enheten. Det borde finnas ett utbytbart huvudband, ungefär som AirPods Max.

USPTOäppleglasögon och headset, vad är historien hittills foto 4

Intelligent displaydesign

Enligt en patentansökan verkar det som om Apple arbetar med en adaptiv skärm för sitt AR-headset som kommer att ta hänsyn till användarens omgivning och anpassa sig till deras öga också. Målet här är dubbelt. För det första för att minska den "bländning och obehag" som en användare annars skulle uppleva vid övergång från en virtuell verklighetsupplevelse. För det andra att göra headsetet bekvämare att bära genom att göra det lättare för ögat, både under användning och när du tar av det också.

Den föreslagna tekniken mäter inte bara omgivningsljuset i den omgivande miljön utan mäter också saker som "blinkhastighet, pupillstorlek och öppenhet" för att justera headsetets ljusstyrka därefter.

Förutom att göra det bekvämare, kommer den föreslagna tekniken att hjälpa till att "... öka skärmens upplevda dynamiska omfång." Detta bör göra upplevelsen mer tillfredsställande, förbättra komforten och förhoppningsvis spara batteri också.

Haptisk återkoppling

Ett patent som upptäcktes i februari 2021 har visat att Apple också undersöker hur de kan använda haptisk feedback som en del av sitt headset. Patenten tillämpas i stor utsträckning på alla potentiella enheter, men med tanke på att dess viktigaste andra alternativ är iPhones, surfplattor och datorer, skulle det vara mycket mer meningsfullt att se det potentiella systemet matchas med ett headset.

Det låter som en väldigt komplicerad idé också i klassisk Apple-stil. Tanken är att ha en rörelsesensor som övervakar hur användaren rör sig i kraft och kraft i förhållande till virtuella objekt, antagligen genom headsetet. Detta skulle paras ihop med ett slitet haptiskt återkopplingssystem som kan ge feedback enligt hur de virtuella objekten rör sig.

Apple noterar att systemet kan vara för skrymmande för att fungera, och det låter verkligen som ett tillbehör mer än en viktig del av dess headsetplaner, men det är en intressant potentiell väg för företaget att utforska.

På linserna

Personen som Informationen talade med sa att det är särskilt utmanande att göra AR-linserna eftersom de består av flera extremt tunna lager av olika syntetiska material, som var och en är mottaglig för bubblor, repor och andra märken. För att minska defekterna måste linserna tillverkas i dammfria zoner som kallas renrum. "

Uppenbarligen har headsetet inte plats för receptbelagda glasögon enligt tidiga 2021 Bloomberg-rapporten - istället kan anpassade linser sättas in i headsetet. Apple testar också de inbyggda kamerorna för handspårning och sägs också arbeta på ett system för att mata in text genom att "skriva" i luften.

USPTOApple Glasses Ar Headset Vad är berättelsen hittills image 3

Har Apple någonsin pratat om Apple Glasses?

Apples VD Tim Cook har sagt att tekniken inte finns för att skapa AR-glasögon på ett kvalitetssätt. "Men idag kan jag säga att själva tekniken inte finns för att göra det på ett kvalitetssätt", förklarade han. "Skärmteknologin krävs, liksom att lägga tillräckligt med saker runt ditt ansikte - det finns stora utmaningar med det. Synfältet, kvaliteten på själva skärmen, den är inte där ännu."

Tänk på, 2016 sa han också : "AR kan vara riktigt bra ... Vi har varit och fortsätter att investera mycket i detta. Vi har hög AR på lång sikt ... Jag tycker att AR är stort och djupgående. Detta är en av de enorma sakerna som vi kommer att se tillbaka på och förundras över starten. "

Vem är en del av Apple Glasses-teamet?

Apple har anställt flera anställda med expertis inom AR / VR-teknik, inklusive datavetenskapsprofessor Doug Bowman , som ledde Virginia Techs Center for Human-Computer Interaction. Han fokuserar på tredimensionell design av användargränssnitt. Apple anställde också anställda som har arbetat på Microsofts HoloLens-team och på Lytro, ett företag som arbetar med en VR-kamera.

Apple anställde också Zeyu Li , som tjänstgjorde som en huvudsaklig datorvisionsingenjör på Magic Leap, som "Senior Computer Vision Algorithm Engineer." En annan anställd är Yury Petrov , en tidigare forskare på Facebook-ägda Oculus, som nu tjänar som "forskare" på Apple. Augmented reality-experten Jeff Norris anslöt sig också till Apple i april 2017 som senior manager. Han arbetade på NASA.

I maj 2018 anställde Apple Sterling Crispin , som utvecklade en målningsapp för mobila VR-headset som heter Cyber Paint. I december 2018 anställde den tidigare senior Tesla och Microsoft HoloLens designer Andrew Kim. Det finns också Jaunt VR-grundare Arthur van Hoff, som gick med i Apple som seniorarkitekt i april 2019. Tänk på Apples AR-glasögon / headset-team har hundratals andra anställda.

I slutet av juni 2020 kom det fram att Apple anställer många Magic Leap-anställda efter att AR-headsetet misslyckades. Och enligt Bloomberg har Apple nu över 1000 anställda som arbetar med projektet.

Vilka AR / VR-företag har Apple köpt?

Apple har inte bara anställt AR / VR-experter, men det har också förvärvat företag som är specialiserade på detta område. År 2017 köpte företaget Vrvana , ett företag som utvecklade ett headset med blandad verklighet som heter Totem. Runt den tiden köpte det också Akonia Holographics , ett företag som tillverkar linser för smarta AR-glasögon. Apple köpte också israeliskt baserade 3D-kroppsavkännande företag PrimeSense redan 2013.

Och 2020 köpte Apple NextVR , ett företag som gav sport och konserter en VR-plattform. Företaget hade samarbetat med bland annat Fox Sports, Wimbledon och NBA.

Andra företag som köpts är Metaio, Faceshift, Emotient , Flyby Media och RealFace.

Skriva av Maggie Tillman. Redigering av Adrian Willings. Ursprungligen publicerad den 27 Januari 2016.