FreqAI: обобщение адаптивного моделирования для рыночных прогнозов хаотичных временных рядов

Заявление о потребности

Прогнозирование хаотичных систем, основанных на временных рядах, таких как рынки акций и криптовалют, требует широкого набора инструментов, направленных на проверку широкого спектра гипотез. К счастью, недавнее развитие надёжных библиотек машинного обучения (например, scikit-learn) открыло широкий спектр исследовательских возможностей. Учёные из самых разных областей теперь могут легко прототипировать свои исследования на основе множества устоявшихся алгоритмов машинного обучения. Точно так же эти удобные библиотеки позволяют «гражданским учёным» использовать свои базовые навыки работы с Python для исследования данных.

Однако использование этих библиотек машинного обучения на исторических и динамических хаотичных источниках данных может быть сложным и дорогостоящим с точки зрения логистики. Кроме того, надёжный сбор, хранение и обработка данных представляют собой несоизмеримую задачу. FreqAI предоставляет обобщенную и расширяемую среду с открытым исходным кодом, ориентированной на развёртывание адаптивного моделирования для прогнозирования рынка в реальном времени. Фреймворк FreqAI фактически представляет собой песочницу для богатого мира библиотек машинного обучения с открытым исходным кодом. Внутри песочницы FreqAI пользователи обнаруживают, что они могут комбинировать широкий спектр сторонних библиотек для проверки творческих гипотез на бесплатном живом хаотичном источнике данных 24/7 — данные обмена криптовалют.

Краткое содержание

FreqAI развился из желания тестировать и сравнивать ряд адаптивных методов прогнозирования временных рядов на хаотичных данных. Криптовалютные рынки предоставляют уникальный источник данных, поскольку они работают 24 часа в сутки 7 дней в неделю, и данные находятся в свободном доступе через различные API бирж с открытым исходным кодом. К счастью, существующее программное обеспечение с открытым исходным кодом, такое как Freqtrade, уже созрело под руководством ряда талантливых разработчиков для поддержки надёжного сбора и хранения данных, а также надёжного взаимодействия с окружающей средой в реальном времени для стандартной алгоритмической торговли. Freqtrade также предоставляет набор инструментов анализа/визуализации данных для оценки исторических показателей, а также обратной связи с окружающей средой в реальном времени. FreqAI основан на Freqtrade и включает в себя удобный, хорошо протестированный интерфейс для интеграции внешних библиотек машинного обучения для адаптивного прогнозирования временных рядов. Помимо интеграции существующих библиотек, FreqAI содержит ряд пользовательских алгоритмов и методологий, направленных на повышение вычислительной и прогнозной производительности. Таким образом, FreqAI содержит ряд уникальных функций, которые могут быть легко протестированы в сочетании со всеми существующими библиотеками машинного обучения, доступными для Python, для создания новых исследований на основе текущих и исторических данных.

Общий обзор алгоритма FreqAI показан на рисунке:

Подключение библиотек машинного обучения

Несмотря на то, что фреймворк FreqAI предназначен для размещения любой библиотеки Python в разделах программного обеспечения «Обучение модели» и «Проектирование набора функций» (Рисунок), он уже может похвастаться широким спектром хорошо документированных примеров, основанных на различных комбинациях:

scikit-learn (Pedregosa et al., 2011), Catboost (Prokhorenkova et al., 2018), LightGBM (Ke et al., 2017), XGBoost (Chen & Guestrin, 2016), stable_baselines3 (Raffin et al., 2021), openai gym (Brockman et al., 2016), tensorflow (Abadi et al., 2015), pytorch (Paszke et al., 2019), Scipy (Virtanen et al., 2020), Numpy (Harris et al., 2020), and pandas (McKinney & others, 2010).

Эти зрелые проекты содержат широкий спектр рецензируемых и стандартных отраслевых методов, в том числе:

Регрессия, классификация, нейронные сети, обучение с подкреплением, методы опорных векторов, анализ главных компонент, кластеризация точек и многое другое.

которые используются во FreqAI пользователями в качестве шаблонов или расширяются с помощью собственных методов.

Предоставление новых методов и функций

Помимо стандартных отраслевых методов, доступных через внешние библиотеки — FreqAI включает в себя новые методы, которые недоступны больше нигде в мире открытого кода (или научного) мира.

Особый интерес для исследователей представляет то, что FreqAI предоставляет возможность крупномасштабных экспериментов с помощью оптимизированного интерфейса связи через веб-сокеты.

Оптимизация серверной части

FreqAI стремится упростить пользователям объединение всех вышеперечисленных инструментов для проведения исследований на основе двух отдельных модулей:

живое развёртывание
исследования на истории

Оба этих модуля и соответствующие им системы управления данными построены на основе Freqtrade, зрелого и активно разрабатываемого программного обеспечения для торговли криптовалютой. Это означает, что FreqAI извлекает выгоду из широкого спектра косвенных/разрозненных разработок функций, таких как:

FreqUI, графический интерфейс для тестирования на истории и мониторинга в реальном времени
управление через Telegram
надёжная обработка базы данных
торговля фьючерсами/кредитным плечом
усреднение долларовой стоимости
работа с торговой стратегией
множество бесплатных источников данных через CCXT (OKX, Binance, Bybit и т. д.)

Эти функции созданы сильным внешним сообществом разработчиков, которое разделяет преимущества и стабильность общей системы CI (непрерывной интеграции). Помимо сообщества разработчиков, FreqAI получает большую выгоду от пользовательской базы Freqtrade, откуда родом большинство бета-тестеров/разработчиков FreqAI. Эти симбиотические отношения между Freqtrade и FreqAI положили начало тщательно протестированной бета-версии, которая потребовала четырехмесячной бета-версии и подробной документации, содержащей:

многочисленные примеры сценариев
полная таблица параметров
методологические описания
диаграммы/рисунки высокого разрешения
подробные рекомендации по настройке параметров

Обеспечение воспроизводимой основы для исследователей

FreqAI предоставляет расширяемую и надежную платформу для исследователей и специалистов по обработке данных. Песочница FreqAI позволяет быстро разрабатывать и тестировать экзотические гипотезы. С точки зрения исследований, FreqAI выполняет множество логистических операций, связанных с реальным развертыванием, историческим тестированием и разработкой функций. С помощью FreqAI исследователи могут сосредоточиться на своих основных интересах — разработке функций и проверке гипотез, а не на выяснении того, как
для сбора и обработки данных. Дальше — Ухоженная и легко устанавливаемая среда FreqAI с открытым исходным кодом обеспечивает воспроизводимые научные исследования. Этот компонент воспроизводимости важен для общего научного прогресса в прогнозировании временных рядов хаотических систем.