Konepellin alla: Octo.ai:n tekniset ihmeet

Jatkaessamme retrospektiivistä matkaamme Octo.ai:n kehityksessä on aika sukeltaa syvälle teknisiin innovaatioihin, jotka ovat tehneet analytiikkahypervisoristamme mullistavan koneoppimisen maailmassa. Vuosina 2013-2016 tiimimme venytti analytiikan ja koneoppimisen mahdollisuuksien rajoja luoden alustan, joka on sekä tehokas että helppokäyttöinen.

Analytiikkahypervisori: Uusi paradigma #

Octo.ai:n ytimessä on “analytiikkahypervisorin” käsite. Mutta mitä tämä tarkalleen tarkoittaa ja miten se mullistaa yritysten lähestymistavan koneoppimiseen?

1. Abstraktiokerros: Kuten perinteinen hypervisori virtualisoinnissa, Octo.ai tarjoaa abstraktiokerroksen alla olevan laitteiston/infrastruktuurin ja analytiikka-/koneoppimistyökuormien välille.

2. Resurssien optimointi: Se jakaa älykkäästi laskentaresursseja eri analytiikkatehtäville varmistaen optimaalisen suorituskyvyn ja tehokkuuden.

3. Työnkulun hallinta: Octo.ai hallinnoi monimutkaisia koneoppimistyönkulkuja datan sisäänotosta ja esikäsittelystä mallien koulutukseen ja käyttöönottoon.

4. Alustariippumaton: Riippumatta siitä, käytätkö sitä paikallisesti vai pilvessä, Octo.ai tarjoaa yhtenäisen käyttöliittymän ja kokemuksen.

Keskeiset tekniset ominaisuudet #

1. Hajautettu laskenta-arkkitehtuuri #

Octo.ai on rakennettu hajautetun laskennan arkkitehtuurille, mikä mahdollistaa valtavien tietoaineistojen ja monimutkaisten laskelmien tehokkaan käsittelyn. Keskeisiä komponentteja ovat:

• Hajautettu tietojen tallennus käyttäen teknologioita kuten Apache Hadoop
• Hajautettu käsittely Apache Sparkilla
• Viestijono asynkroniseen käsittelyyn

2. Automatisoitu koneoppiminen (AutoML) #

Yksi jännittävimmistä innovaatioistamme on AutoML-kykymme:

• Automatisoitu piirteiden valinta ja suunnittelu
• Mallin valinta ja hyperparametrien viritys
• Yhdistelmämenetelmät paremman tarkkuuden saavuttamiseksi

3. Reaaliaikainen analytiikkamoottori #

Octo.ai ei ole vain eräkäsittelyä varten; se loistaa reaaliaikaisessa analytiikassa:

• Virtakäsittelyominaisuudet reaaliaikaiseen data-analyysiin
• Matalan viiveen mallien tarjoaminen reaaliaikaisiin ennusteisiin
• Dynaamiset mallipäivitykset saapuvan datan perusteella

4. Joustava datan integrointi #

Olemme rakentaneet Octo.ai:n mahdollisimman joustavaksi datalähteiden suhteen:

• Tuki strukturoidulle, puolistrukturoidulle ja strukturoimattomalle datalle
• Liittimet suosituille tietokannoille, tietovarastoille ja pilvitallennuspalveluille
• API-pohjainen datan sisäänotto mukautetuille datalähteille

5. Edistynyt visualisointi ja raportointi #

Data-oivallukset ovat arvokkaita vain, jos ne ovat ymmärrettäviä. Siksi olemme panostaneet vahvasti visualisointiin:

• Interaktiiviset kojelaudat datan ja mallitulosten tutkimiseen
• Mukautettavat raportointityökalut
• Tuki muistikirjoille (esim. Jupyter) datatieteilijöille

Pilvinatiivi ja pilviriippumaton #

Yksi Octo.ai:n keskeisistä suunnitteluperiaatteista on sen pilvinatiivi arkkitehtuuri yhdistettynä pilviriippumattomuuteen:

• Kontitettu käyttöönotto Dockerilla johdonmukaisuuden varmistamiseksi eri ympäristöissä
• Kubernetes-orkestrointi skaalautuvuutta ja vikasietoisuutta varten
• Tuki suurimmille pilvipalveluntarjoajille (AWS, Google Cloud, Azure) sekä paikalliselle käyttöönotolle

Avoimen lähdekoodin ytimessä #

Sitoutumisemme avoimeen lähdekoodiin ulottuu pelkkää koodin saataville asettamista pidemmälle. Olemme suunnitelleet Octo.ai:n hyödyntämään ja edistämään avoimen lähdekoodin ekosysteemiä:

• Integraatio suosittujen avoimen lähdekoodin koneoppimiskirjastojen kuten TensorFlow ja PyTorch kanssa
• Modulaarinen suunnittelu mahdollistaa yhteisön kehittämät liitännäiset ja laajennukset
• Kattava dokumentaatio ja opetusohjelmat yhteisön osallistumisen kannustamiseksi

Turvallisuus ja vaatimustenmukaisuus #

Ottaen huomioon data-analytiikan arkaluontoisuuden, olemme rakentaneet vankat turvallisuusominaisuudet Octo.ai:hin:

• Päästä päähän -salaus datalle siirron aikana ja levossa
• Hienojakoiset pääsynhallinta ja auditointiloki
• Vaatimustenmukaisuusapuvälineet säädöksille kuten GDPR ja CCPA

Jatkuva innovointi #

Yksi jännittävimmistä puolista Octo.ai:n rakentamisessa on ollut koneoppimisen alan nopea innovaatiotahti. Olemme strukturoineet kehitysprosessimme ketteräksi ja reagoivaksi uusille edistysaskelille:

• Säännölliset julkaisusyklit uusilla ominaisuuksilla ja parannuksilla
• Beta-ohjelma varhaiseen pääsyyn huippuluokan ominaisuuksiin
• Tiivis yhteistyö akateemisten instituutioiden kanssa pysyäksemme koneoppimistutkimuksen eturintamassa

Katse tulevaisuuteen #

Siirtyessämme eteenpäin vuonna 2017 olemme innostuneita uusista ominaisuuksista ja parannuksista tiekartassamme:

• Parannetut NLP-kyvyt tekstianalytiikkaa varten
• Parannettu tuki syväoppimismalleille
• AutoML-kykyjemme laajentaminen kattamaan useampia käyttötapauksia

Octo.ai:n tekninen matka vuodesta 2013 tähän päivään on ollut jatkuvaa oppimista, innovointia ja jännitystä. Olemme rakentaneet alustan, josta olemme uskomattoman ylpeitä, alustan joka tekee edistyneestä koneoppimisesta saavutettavaa kaikenkokoisille yrityksille.

Seuraavassa kirjoituksessani käsittelen Octo.ai:n vaikutusta koneoppimisyhteisöön, saamaamme tunnustusta ja visiotamme analytiikan ja koneoppimisen tulevaisuudesta. Pysy kuulolla!