Pod kapotou: Technické zázraky Octo.ai

Obsah

Jak pokračujeme v naší retrospektivní cestě vývojem Octo.ai, je čas ponořit se hluboko do technických inovací, které udělaly z našeho analytického hypervizoru průlomovou technologii ve světě strojového učení. Od roku 2013 do roku 2016 náš tým posouval hranice toho, co bylo možné v analytice a ML, a vytvořil platformu, která je jak výkonná, tak přístupná.

Analytický hypervizor: Nové paradigma #

Jádrem Octo.ai je koncept “analytického hypervizoru”. Ale co to přesně znamená a jak to revolucionizuje způsob, jakým firmy přistupují ke strojovému učení?

Abstrakční vrstva: Podobně jako tradiční hypervizor ve virtualizaci, Octo.ai poskytuje abstrakční vrstvu mezi základním hardwarem/infrastrukturou a analytickými/ML úlohami.
Optimalizace zdrojů: Inteligentně přiděluje výpočetní zdroje různým analytickým úlohám, zajišťuje optimální výkon a efektivitu.
Správa pracovních postupů: Octo.ai spravuje komplexní ML pracovní postupy, od příjmu dat a předzpracování až po trénink modelů a nasazení.
Platformově nezávislý: Ať už běžíte on-premises nebo v cloudu, Octo.ai poskytuje konzistentní rozhraní a zkušenost.

Klíčové technické funkce #

1. Architektura distribuovaného výpočetního prostředí #

Octo.ai je postaveno na architektuře distribuovaného výpočetního prostředí, což mu umožňuje efektivně zpracovávat obrovské datové sady a komplexní výpočty. Klíčové komponenty zahrnují:

Distribuované ukládání dat pomocí technologií jako Apache Hadoop
Distribuované zpracování s Apache Spark
Fronta zpráv pro asynchronní zpracování

2. Automatizované strojové učení (AutoML) #

Jednou z našich nejzajímavějších inovací je naše schopnost AutoML:

Automatizovaný výběr a inženýrství funkcí
Výběr modelu a ladění hyperparametrů
Metody ensemblů pro zlepšení přesnosti

3. Engine pro analýzu v reálném čase #

Octo.ai není jen pro dávkové zpracování; vyniká v analýze v reálném čase:

Schopnosti zpracování streamů pro analýzu živých dat
Nízkolatentní poskytování modelů pro predikce v reálném čase
Dynamické aktualizace modelů na základě příchozích dat

4. Flexibilní integrace dat #

Octo.ai jsme vybudovali tak, aby byl co nejflexibilnější, pokud jde o zdroje dat:

Podpora pro strukturovaná, semi-strukturovaná a nestrukturovaná data
Konektory pro populární databáze, datové sklady a cloudová úložiště
Příjem dat založený na API pro vlastní zdroje dat

5. Pokročilá vizualizace a reportování #

Datové poznatky jsou cenné pouze tehdy, jsou-li srozumitelné. Proto jsme hodně investovali do vizualizace:

Interaktivní dashboardy pro zkoumání dat a výsledků modelů
Přizpůsobitelné nástroje pro reportování
Podpora pro notebooky (např. Jupyter) pro datové vědce

Cloud-nativní a cloud-agnostický #

Jedním z klíčových principů návrhu Octo.ai je jeho cloud-nativní architektura spojená s cloud-agnostickým přístupem:

Kontejnerizované nasazení pomocí Dockeru pro konzistenci napříč prostředími
Orchestrace Kubernetes pro škálovatelnost a odolnost
Podpora pro hlavní poskytovatele cloudu (AWS, Google Cloud, Azure) i nasazení on-premises

Otevřený zdrojový kód v jádru #

Náš závazek k otevřenému zdrojovému kódu jde nad rámec pouhého zpřístupnění našeho kódu. Navrhli jsme Octo.ai tak, aby využíval a přispíval do ekosystému open-source:

Integrace s populárními open-source ML knihovnami jako TensorFlow a PyTorch
Modulární design umožňující pluginy a rozšíření přispívané komunitou
Komplexní dokumentace a tutoriály pro podporu zapojení komunity

Bezpečnost a soulad s předpisy #

Vzhledem k citlivé povaze datové analytiky jsme do Octo.ai zabudovali robustní bezpečnostní funkce:

End-to-end šifrování pro data v přenosu a v klidu
Jemně odstupňované kontroly přístupu a auditní logování
Pomocníci pro dodržování předpisů jako GDPR a CCPA

Kontinuální inovace #

Jedním z nejzajímavějších aspektů budování Octo.ai bylo rychlé tempo inovací v oblasti ML. Strukturovali jsme náš vývojový proces tak, aby byl agilní a reagoval na nové pokroky:

Pravidelné cykly vydávání s novými funkcemi a vylepšeními
Beta program pro včasný přístup k nejmodernějším funkcím
Úzká spolupráce s akademickými institucemi pro udržení se na špici ML výzkumu

Pohled do budoucnosti #

Jak postupujeme do roku 2017, jsme nadšeni z nových funkcí a vylepšení na našem plánu:

Vylepšené NLP schopnosti pro textovou analytiku
Zlepšená podpora pro modely hlubokého učení
Rozšíření našich schopností AutoML pro pokrytí více případů použití

Technická cesta Octo.ai od roku 2013 až do současnosti byla cestou neustálého učení, inovací a vzrušení. Vybudovali jsme platformu, na kterou jsme nesmírně hrdí, platformu, která zpřístupňuje pokročilé strojové učení firmám všech velikostí.

V mém příštím příspěvku budu diskutovat o dopadu, který Octo.ai mělo na ML komunitu, o uznání, kterého se nám dostalo, a o naší vizi budoucnosti analytiky a strojového učení. Zůstaňte naladěni!