Под капака: Техническите чудеса на Octo.ai

Съдържание

Докато продължаваме нашето ретроспективно пътуване през разработката на Octo.ai, е време да се потопим дълбоко в техническите иновации, които направиха нашия аналитичен хипервайзор революционен в света на машинното обучение. От 2013 до 2016 г. нашият екип разшири границите на възможното в аналитиката и МО, създавайки платформа, която е едновременно мощна и достъпна.

Аналитичният хипервайзор: Нова парадигма #

В основата на Octo.ai е концепцията за “аналитичен хипервайзор”. Но какво точно означава това и как революционизира начина, по който бизнесите подхождат към машинното обучение?

Абстрактен слой: Подобно на традиционния хипервайзор във виртуализацията, Octo.ai осигурява абстрактен слой между основния хардуер/инфраструктура и аналитичните/МО работни натоварвания.
Оптимизация на ресурсите: Той интелигентно разпределя изчислителните ресурси за различни аналитични задачи, осигурявайки оптимална производителност и ефективност.
Управление на работния процес: Octo.ai управлява сложни МО работни процеси, от въвеждане и предварителна обработка на данни до обучение и внедряване на модели.
Платформено независим: Независимо дали работите локално или в облака, Octo.ai осигурява последователен интерфейс и опит.

Ключови технически характеристики #

1. Архитектура за разпределени изчисления #

Octo.ai е изграден върху архитектура за разпределени изчисления, позволяваща му ефективно да обработва огромни набори от данни и сложни изчисления. Ключовите компоненти включват:

Разпределено съхранение на данни с използване на технологии като Apache Hadoop
Разпределена обработка с Apache Spark
Опашки за съобщения за асинхронна обработка

2. Автоматизирано машинно обучение (AutoML) #

Една от най-вълнуващите ни иновации е нашата AutoML способност:

Автоматизиран избор и инженеринг на характеристики
Избор на модел и настройка на хиперпараметри
Ансамблови методи за подобрена точност

3. Двигател за анализ в реално време #

Octo.ai не е само за пакетна обработка; той се отличава с анализ в реално време:

Възможности за поточна обработка за анализ на живи данни
Обслужване на модели с ниска латентност за прогнози в реално време
Динамични актуализации на модела въз основа на входящите данни

4. Гъвкава интеграция на данни #

Изградили сме Octo.ai да бъде възможно най-гъвкав по отношение на източниците на данни:

Поддръжка за структурирани, полуструктурирани и неструктурирани данни
Конектори за популярни бази данни, складове за данни и облачни услуги за съхранение
Въвеждане на данни базирано на API за персонализирани източници на данни

5. Разширена визуализация и отчитане #

Прозренията от данните са ценни само ако са разбираеми. Затова инвестирахме много във визуализацията:

Интерактивни табла за изследване на данни и резултати от модели
Персонализируеми инструменти за отчитане
Поддръжка за бележници (напр. Jupyter) за учени по данни

Облачно-нативен и облачно-агностичен #

Един от ключовите принципи на дизайна на Octo.ai е неговата облачно-нативна архитектура, съчетана с облачна агностичност:

Контейнеризирано внедряване с помощта на Docker за последователност в различните среди
Оркестрация с Kubernetes за мащабируемост и устойчивост
Поддръжка за основни облачни доставчици (AWS, Google Cloud, Azure), както и локално внедряване

Отворен код в основата #

Нашият ангажимент към отворения код надхвърля просто предоставянето на нашия код. Проектирали сме Octo.ai да използва и да допринася за екосистемата с отворен код:

Интеграция с популярни библиотеки за МО с отворен код като TensorFlow и PyTorch
Модулен дизайн, позволяващ плъгини и разширения, създадени от общността
Изчерпателна документация и уроци за насърчаване на участието на общността

Сигурност и съответствие #

Предвид чувствителния характер на анализа на данни, вградихме солидни функции за сигурност в Octo.ai:

Криптиране от край до край за данни в движение и в покой
Фин контрол на достъпа и регистриране на одити
Помощници за съответствие с регулации като GDPR и CCPA

Непрекъснати иновации #

Един от най-вълнуващите аспекти на изграждането на Octo.ai беше бързият темп на иновации в областта на МО. Структурирахме нашия процес на разработка да бъде гъвкав и отзивчив към нови постижения:

Редовни цикли на издаване с нови функции и подобрения
Бета програма за ранен достъп до най-съвременни възможности
Тясно сътрудничество с академични институции за да останем на върха на МО изследванията

Поглед напред #

С напредването на 2017 г., сме развълнувани от новите функции и подобрения в нашата пътна карта:

Подобрени възможности за NLP за текстов анализ
Подобрена поддръжка за модели за дълбоко обучение
Разширяване на нашите AutoML възможности за покриване на повече случаи на употреба

Техническото пътуване на Octo.ai от 2013 г. до сега беше изпълнено с постоянно учене, иновации и вълнение. Изградихме платформа, с която сме изключително горди, която прави напредналото машинно обучение достъпно за бизнеси от всякакъв мащаб.

В следващата ми публикация ще обсъдя влиянието, което Octo.ai оказа върху МО общността, признанието, което получихме, и нашата визия за бъдещето на аналитиката и машинното обучение. Очаквайте!