Esittelyssä Aria-projekti
Lisätyn todellisuuden ja tekoälyn vauhdittaminen inhimillisestä näkökulmasta käsin
Aria-projekti
Tutkimusohjelma vastuullisen tulevaisuuden rakentamiseen
Aria-projekti avaa meille aivan uusia mahdollisuuksia muodostaa yhteyksiä ja kokea ympäröivää maailmaa.
Aria-projektin älylasit hyödyntävät uraauurtavaa tekniikkaa, jonka avulla tutkijat voivat kerätä tietoa käyttäjän näkökulmasta käsin ja siten edistää egosentrisiä havaintotutkimuksia konehavainnoinnin ja lisätyn todellisuuden osalta.
Aria-projektin avulla tutkijat voivat edistää konehavainnointi- ja tekoälytutkimusta.
Metan tutkijat sekä ulkoiset ja akateemiset kumppanit vauhdittavat tutkimusta tutkimuspakkauksen avulla.
Aria-tutkimuspakkaus − hae nytAria-projektissa käytettävän tutkimuslaitteen anturit tallentavat videota ja ääntä käyttäjän luota samoin kuin käyttäjän silmäseuranta- ja sijaintitietoja.
Laitteen suoritin auttaa tutkijoita selvittämään, miten lisätty todellisuus voi parantaa käsitystämme ympäröivästä maailmastamme.
Parempi käsitys ympäröivästä maailmasta − yhdessä
AR-lasit on tarkoitettu kokopäiväiseen käyttöön. Koska käytämme päivittäisessä elämässämme laseja usein ajaessamme autolla tai matkustaessamme liikkuvassa ajoneuvossa, valitsimme yhdeksi yhteistyökumppaniksemme BMW:n. Pyrimme saamaan selville, miten kyseistä teknologiaa voitaisiin hyödyntää tulevaisuudessa ajoneuvoissa tarjotaksemme kuluttajille ainutlaatuisia ja arvokkaita kokemuksia.
”Seuranta ajoneuvossa tuntui melko vakaalta ja loi saumattoman ja mukaansatempaavan kokemuksen.”
Käynnistimme pilottiohjelman vuonna 2020 Carnegie Mellon -yliopiston kanssa tutkiaksemme esteettömyyttä lisätyn todellisuuden teknologiassa ja ymmärtääksemme paremmin, miten lisätyn todellisuuden teknologia voisi tulevaisuudessa olla hyödyksi henkilöille, joilla on erilaiset fyysiset kyvyt. NavCog rakennetaan 3D-karttoja museoista ja lentoasemista. Carnegie Mellon -yliopiston kehittämä NavCog on ääniopastussovellus, joka on suunniteltu auttamaan näkörajoitteisia liikkumaan paremmin sisätiloissa, joihin GPS-signaalit monesti eivät yllä. Carnegie Mellon -yliopisto on työskennellyt NavCog-projektin parissa vuodesta 2014 lähtien.
Avoimen lähdekoodin projektilla on monia yhteistyökumppaneita ympäri maailman. Ennen Metan kanssa yhteistyöhön ryhtymistä Carnegie Mellon -yliopisto hyödynsi sisätilaan asetettuja Bluetooth-lähettimiä, jotta se pysty paikantamaan NavCog-käyttäjän kyseisessä tilassa tarkasti. Aria-projektin laitteella yliopiston tutkijat rakensivat 3D-kartan Pittsburghin kansainvälisestä lentoasemasta ja muista paikoista. Sitten he saattoivat kartan avulla kouluttaa matkapuhelimilla toimivia tekoälyyn perustuvia paikannusmalleja. Tämä voisi vähentää NavCogin riippuvuutta ulkoisista Bluetooth-lähettimistä ja viedä meidät lähemmäs jo saavutettavissa olevaa tulevaisuutta, jossa NavCog voidaan ottaa käyttöön laajemminkin.
”NavCog on auttanut näkö- ja kuulorajoitteisia henkilöitä toimimaan jälleen itsenäisesti jokapäiväisessä elämässään.”
Vuonna 2021 laajensimme kumppaniohjelmaa ja toimme älylasit Singaporen kansallisen yliopiston saataville. Aiomme tuoda ne tulevaisuudessa myös muiden yliopistokumppanien saataville, jotta ne voivat kehittää omia egosentrisiä havaintotutkimuksiaan.
Kumppanimme käyttävät Aria-projektia tutkiakseen monia eri käyttötapauksia ja toimiviksi osoitettuja konsepteja lisätyn todellisuuden ja tekoälytutkimuksen saralla.
Käyttötapauksia
- Livekartat ja reittien etsiminen sisä- ja ulkotiloissa
- Päivittäisen elämän ymmärtäminen ensimmäisen persoonan näkökulmasta käsin
- Vaikutukset koulutukseen, kehitykseen ja opetukseen
- Vastuullisen innovoinnin edistäminen koskien tietosuojaa ja tietojen keräystä
- Vaikutukset viihteeseen ja pelaamiseen
- Tutkimukset lisätyn todellisuuden käyttämisestä liikuttaessa sekä ajoneuvoissa
Aria-projektin tietojoukko
Konehavainnointi- ja tekoälykehityksen vauhdittaminen
Aria-projektin pilottitietojoukko on 159 sekvenssin kokoelma, joka on tallennettu Aria-projektin älylaseja käytettäessä. Sekvenssien tarkoituksena on vauhdittaa konehavainnointia ja tekoälyä koskevaa kehitystä.
Lue lisää Aria-projektin pilottitietojoukostaEgo4D ja Aria-projekti
Pyrimme luomaan maailmanlaajuisesti kontekstitietoista egosentristä tekoälyä
Ego4D on hanke, jonka tarkoituksena on luoda ja jakaa tietoa, jota tarvitaan tietokonenäön kehittämiseen egosentrisestä videosta.
Lue lisää Ego4D-hankkeestaVuonna 2022 FAIR toi koolle 15 yliopiston kansainvälisen yhteenliittymän keräämään ja julkaisemaan maailman suurimman julkisen tietojoukon, joka on koottu arkielämän toimia kuvaavista ensimmäisen persoonan egosentrisistä videoista.
Tekoälyn opettaminen näkemään maailman ihmisten tavoin edellyttää muutakin kuin pelkkää videodataa. Tietyt Ego4D-yhteenliittymän yliopistot laajentavat työtään egosentristen videoiden tutkimisen parissa sisällyttämällä mukaan Aria-projektin antureilla kerättyä tietoa. Antureihin kuuluu muun muassa stereokameroita, kaksi inertiamittausyksikköä, tilamikrofoneja ja silmäseurantakameroita. Tämän hankkeen kautta viemme Aria-projektia innolla yhä useampien tutkijoiden käyttöön ympäri maailmaa ja autamme Ego4D-projektia saamaan entistäkin syvempää tietoa ihmiselämästä.
Vastuullinen innovointi
Tuotesuunnittelussa yksityisyys on meille ensisijaisen tärkeää
Olemme sitoutuneet kertomaan avoimesti Aria-projektin osallistujille, mitä tietoa nauhoitetaan ja ilmoittamaan heille selkeästi, milloin kyseisiä tietoja nauhoitetaan. Olemme myös luoneet selkeitä prosesseja nauhoitettujen tietojen suojaamiseksi. Osallistujat nauhoittavat tietoa vain Facebook-toimistossaan, omassa kodissaan kotitalouden kaikkien jäsenten suostumuksella tai julkisissa tiloissa, emmekä nauhoita tietoja yksityistiloissa ilman kyseisten paikkojen kirjallista suostumusta. Kun laite kerää tietoa, siinä palaa valkoinen valo, joka kertoo nauhoituksen olevan meneillään. Ennen kuin julkisesta tilasta kerättyä tietoa annetaan tutkijoidemme käyttöön, siitä sumennetaan automaattisesti kasvot ja ajoneuvojen rekisterikilvet.
Lisätyn todellisuuden laitteet ja kokemukset mahdollistavat ajan myötä syvempiä yhteyksiä ihmisten ja heille tärkeimpien asioiden välillä, sillä ne lisäävät niiden käyttöarvoa, tarjoavat niistä enemmän tietoa ja vähentävät samalla erilaisten laitteiden katseluun käytettävää aikaa. Rakentaessamme lisätyn todellisuuden ympäristöä asetamme aina ihmiset mahdollisuuksien edelle. Tutustumalla vastuullisen innovoinnin periaatteisiimme saat lisätietoja tuotekehityksestämme, jossa yksityisyys on etusijalla.
Aria-tutkimuspakkaus
Tarjoamme laajemmalle tutkimusyhteisölle pakkausta, joka sisältää itsenäiseen tutkimiseen tarvittavat työkalut, palvelut ja dokumentit lisätyn todellisuuden tulevaisuuden muovaamiseksi.
Aria-tutkimuspakkaus − hae nytAria-projektin uutiset
Pysy ajan tasalla
Usein kysyttyjä kysymyksiä
Haluamme, että Aria-projektiin osallistuvan julkisessa paikassa kohtaavat henkilöt ymmärtävät osallistujan keräävän tietoa. Siksi tutkimusosallistujat käyttävät ensinnäkin tietynlaisia vaatteita, joista heidät tunnistaa tutkimusprojektin jäseniksi. Yhdistyneessä kuningaskunnassa esimerkiksi käytetään valkoista liiviä ja muissa maissa valkoista t-paitaa. Lisäksi heillä on kaulanauha ja esite, jossa olevat QR-koodit ja URL-osoitteet ohjaavat kiinnostuneet lisätietoja sisältävälle sivustolle. Kun laite kerää tietoa, siinä palaa valkoinen valo, joka kertoo nauhoituksen olevan meneillään. Jatkamme käytäntöjemme ja tarjoamiemme ilmaisinten arviointia sen varmistamiseksi, että kunnioitamme kaikkien yksityisyyttä ja kerromme avoimesti, mikä Aria-projekti on ja mitä tutkimuslaite tekee.
Aria-projekti käynnistettiin vuoden 2020 syyskuussa, minkä jälkeen olemme laajentaneet julkista tietojenkeruuta hiljalleen Yhdysvaltojen ulkopuolelle.
Kuten ilmoitimme vuoden 2021 syyskuussa, jotkut Facebook-työntekijät ja -alihankkijat ovat aloittaneet julkisen tiedonkeruun muutaman julkisen maamerkin luona Singaporessa.
Lisäksi vuonna 2021 jotkut työntekijät ja alihankkijat Yhdistyneessä kuningaskunnassa, EU:ssa, Sveitsissä, Singaporessa, Kanadassa ja Israelissa keräsivät tietoa omassa kodissaan kotitalouden kaikkien jäsenten suostumuksella.
Englannissa ja Irlannissa Metan työntekijät alkoivat kerätä tietoa julkisilla paikoilla, myös Metan toimipisteissä, joissa he saivat luvan tehdä niin.
Päivitetty viimeksi: huhtikuu 2022.
Julkisissa paikoissa kerätty tieto käsitellään siten, että kasvot ja ajoneuvojen rekisterikilvet sumennetaan. Osallistujat käyttävät selvästi erottuvia ja kuvaamisesta ilmoittavia liivejä tai t-paitoja. Heillä on kaulanauhat ja esitteet, joissa kerrotaan, että nauhoitus on käynnissä. Niissä on myös QR-koodit ja URL-osoitteet, joiden kautta lähistöllä olevat saavat lisätietoa tutkimusprojektista ja tietosuojakäytännöistä. Ohjeistamme myös kaikkia Aria-projektin tutkimusosallistujia noudattamaan lähistöllä olevien pyyntöjä lopettaa nauhoitus tai poistaa heihin liittyvät tiedot. Osallistujat voivat keskeyttää tietojen nauhoituksen milloin tahansa napin painalluksella. Lisäksi he voivat raakatietoja katselematta tunnistaa ja poistaa nauhoitettuja tietosegmenttejä valitsemalla aikaleiman älypuhelimelleen asennetusta kumppanisovelluksesta. Lisäksi kaikki tutkimusosallistujat suorittavat ensin koulutuksen, jossa heille kerrotaan, missä ja milloin heidän tulee kerätä tietoa ja missä ei ole sopivaa nauhoittaa. Tällaisia paikkoja ovat esimerkiksi WC-tilat, rukoushuoneet, pukuhuoneet, arkaluontoiset tapaamiset ja muut yksityistilanteet.
Älylaseissa ei ole näyttöä, eivätkä tutkimusosallistujat voi katsella tai kuunnella laitteen tallentamaa videota ja ääntä suoraan. Osallistujat voivat kuitenkin katsella matalan resoluution pikkukuvia puhelimelleen asennettavan kumppanisovelluksen kautta, kun he haluavat poistaa datasegmenttejä. Aria-laitteen keräämä tieto tallennetaan päästä päähän salatussa muodossa, ja käytämme suojattua syöttöjärjestelmää tietojen lähettämiseen tutkimuslaitteilta Metan erilliseen, siihen tarkoitettuun taustatallennustilaan.
Nauhoitettu tieto tallennetaan väliaikaisesti Aria-projektin laitteelle ja lähetetään aika ajoin Facebookin palvelimille, joissa ne pidetään eristettyinä kolme vuorokautta ennen kuin ne siirretään erilliseen taustatallennustilaan. Tämä eristysaika ei kuitenkaan koske tietoja, joiden keräysympäristössä on vain tiedonkeruuseen täyden suostumuksensa antaneita Metan työntekijöitä ja alihankkijoita.
Suojaamme keräämiämme tietoja myös muilla lisätoimilla. Laitteella oleva tieto salataan, eikä kukaan pääse siihen käsiksi. Tiedot lähetetään suojatun syöttöjärjestelmän kautta Aria-projektin laitteelta erilliseen, siihen tarkoitettuun taustatallennusjärjestelmään.
Päivitetty viimeksi: vuoden 2022 toukokuussa.
Laite ei käytä kasvojentunnistusteknologiaa, emmekä yhdistä tutkimuslaitteen anturien sivullisista keräämää tietoa heidän Facebook-tileihinsä. Joka tapauksessa älylasit eivät näytä mitään tietoja linssien sisäpuolella, eivätkä tutkimusosallistujat pääse katsomaan laitteen keräämiä raakatietoja.
Emme. Aria-projekti on tutkimusprojekti, jonka tarkoituksena on auttaa meitä ymmärtämään, mitä laitteistoja ja ohjelmistoja tarvitaan lisätyn todellisuuden älylasien rakentamiseen.
Toivomme, että saamme kerättyä riittävästi ja riittävän korkealaatuista egosentristä tietoa, joka auttaa meitä ymmärtämään, mitä laitteistoja ja ohjelmistoja tarvitaan aitojen, toimivien lisätyn todellisuuden älylasien rakentamiseen.
Tässä tutkimusvaiheessa kaikki keräämämme tieto tallennetaan erillisille taustapalvelimille. Varmistamme hallintatoimintojen avulla, että tietoja voivat tarkastella vain valtuutetut tutkijat, jotka tarvitsevat tietoja velvollisuuksiensa täyttämiseen. Olemme sitoutuneet pitämään tiedot turvassa.
Aria-projektin älylasit eivät ole kuluttajatuote eivätkä prototyyppi, ja niitä ei tuoda myyntiin. Ne eivät näytä mitään tietoja linssien sisäpuolella, eivätkä tutkimusosallistujat voi katsella tai kuunnella laitteen keräämiä raakatietoja. Tutkimuslaitteena tutkimusälylasien tarkoitus on auttaa meitä ymmärtämään, mitä laitteistoja ja ohjelmistoja tarvitaan lisätyn todellisuuden älylasien rakentamiseen.
Alustava tutkimusosallistujien määrä rajattiin noin sataan Facebook-työntekijään ja -alihankkijaan pääosin San Franciscon lahden alueella ja Seattlessa.
Kuten ilmoitimme vuoden 2021 syyskuussa, jotkut Facebook-työntekijät ja -alihankkijat ovat aloittaneet julkisen tiedonkeruun muualla Yhdysvalloissa ja tiettyjen julkisten maamerkkien luona Singaporessa.
Lisäksi vuonna 2021 jotkut työntekijät ja alihankkijat Yhdistyneessä kuningaskunnassa, EU:ssa, Sveitsissä, Singaporessa, Kanadassa ja Israelissa keräsivät tietoa omassa kodissaan kotitalouden kaikkien jäsenten suostumuksella.
Vuoden 2021 marraskuussa avasimme osallistumismahdollisuuden laajemmalle Facebook-työntekijöiden ja -alihankkijoiden, ulkopuolisten, maksettujen tutkimusosallistujien ja kumppaneiden joukolle maissa, joissa keräsimme jo tietoja. Yhteensä laitteita tulee käyttöön noin 4 000 kappaletta maailmanlaajuisesti.
Lisäksi vuonna 2022 kymmenkunta Meta-työntekijää Englannissa ja Irlannissa alkoi kerätä tietoa julkisilla paikoilla.
Päivitetty viimeksi: vuoden 2022 toukokuussa.
Facebook-työntekijät voivat päättää, osallistuvatko he halutessaan ohjelmaan. Kuten aina, ohjelman ulkopuoliset henkilöt voivat pyytää keskeyttämään nauhoituksen, mikäli se ei sovi heille, ja he voivat myös pyytää heihin liittyvän tiedon poistamista. Kaikille tutkimusosallistujille annetaan perusteellinen koulutus, jotta he osaavat huomioida nauhoittamisen rajoitukset.
Myös teollisuusalan ja tutkimusyhteisön kumppanien täytyy noudattaa Aria-projektin tutkimusyhteisösääntöjä. Säännöt sisältävät vaatimuksia ja parhaita käytäntöjä, jotka vastaavat Facebookin omia Aria-projektin yksityisyysvaatimuksia. Niihin kuuluu muun muassa kasvojen, rekisterikilpien ja muiden henkilökohtaisten tunnistustietojen sumentaminen sekä sen varmistaminen, että sivulliset ymmärtävät nauhoituksen olevan käynnissä. Sääntöjen noudattaminen on pakollista, sillä niillä varmistetaan, että Aria-projektin tutkimus täyttää projektin yksityisyys- ja turvallisuusvaatimukset.
Yhteisösääntöjen noudattamisen lisäksi jokaisen yliopistokumppanin vastuulla on noudattaa institutionaalisten tutkimuseettisten toimikuntien tai tarkastuslautakuntien normeja.
Tarkoituksemme on, että kumppanit säilyttävät ja hallinnoivat tietoja itse. Kumppaneilla on kuitenkin mahdollisuus käyttää Metan infrastruktuuria sumentamiseen ja muuhun tiedonkäsittelyyn ennen tietojen käyttämistä. Meta ei käytä tietoja, ellei kumppani anna Metalle lupaa niiden käyttämiseen.