← Вернуться к руководству
Примеры внешних данных

Начните с бесплатных открытых данных

Подключили свою БД, но нечего в неё загрузить? Начните с одного из трёх вариантов ниже. Все бесплатны и не требуют API-ключа — просто повторите скрипт загрузки и значения для выбора на экране (таблица · столбцы). Скрипт устроен как набор парсеров: чтобы добавить свой источник, достаточно дописать одну запись.

Перед началом — Сначала подключите БД и создайте учётную запись только для чтения — Руководство по подключению Supabase

Получить сборщики

Клонируйте репозиторий сборщиков на VPS (сервер, где работает агент). Единственная зависимость — pg. ★ DATABASE_URL в .env должен указывать на учётную запись с правом записи. Учётная запись только для чтения и должна отклонять INSERT — она предназначена только для интеграции с SoriTrading.

git clone https://github.com/Value-Connect-Global-Inc/soritrading-fetchers ~/soritrading-fetchers
cd ~/soritrading-fetchers && npm install
cp .env.example .env    # DATABASE_URL

https://github.com/Value-Connect-Global-Inc/soritrading-fetchers · Открытый исходный код · одна папка = один сборщик · cron регистрируется автоматически

Три варианта ниже — **примеры для старта**. В репозитории есть ещё VIX, подразумеваемая волатильность криптовалют (DVOL), спред доходностей длинных и коротких облигаций, индекс доллара, капитализация стейблкоинов, DeFi TVL и другое — всё бесплатно и без ключа. Полный список: `node run.mjs list`. Рыночные ряды не имеют значений в праздники США (значение отсутствует, а не равно 0), а DVOL доступен с марта 2021 года.

Как читать экран настроек данных

Управление агентами → выберите агента → вкладка «Настройки данных». Добавлять и удалять наборы данных можете только вы, на этом экране — AI их только читает, а строки подключения никогда не вставляются в чат. Сверху вниз экран состоит из следующих частей.

  1. Внешняя БД — Введите имя подключения (например, main) и строку подключения. Она хранится в зашифрованном виде только на устройстве агента и не передаётся на сервер. При открытии экрана агент автоматически считывает список таблиц ([Проверить подключение] — чтобы перечитать).
  2. Таблицы и наборы данных — Одна строка на каждую таблицу БД: имя таблицы · примерное число строк · комментарий к таблице, а под ней — наборы данных, которые читают эту таблицу.
  3. Уровень доступа AI (справа в строке таблицы) — Закрыто (по умолчанию — AI даже не знает о существовании таблицы) · только имя · со столбцами · с образцами · с запросами. Выберите и нажмите [Сохранить доступ]. На уровнях столбцов, образцов и запросов реальные данные уходят в AI, поэтому не открывайте таблицы с персональными данными. Открыть можно только таблицы схемы public.
  4. Имена наборов данных (под строкой таблицы) — Это значения, которые стратегия вызывает через ctx.data(имя). [+ Добавить набор данных из этой таблицы] → выберите имя, столбец времени и столбец значения; описание заполнится из комментария к таблице, а [Сохранить] станет доступно только после успешного [Тест]. Одной таблице можно дать несколько имён (когда фильтром делятся ряды по биржам или инструментам, или когда старая стратегия использует другое имя). Значки состояния: доступно · не проверено · нет подключения. Нажмите значок реального времени рядом, чтобы открыть настройки пробуждения (poll · notify · redis) — в большинстве случаев подходят значения по умолчанию.
  5. Вычисляемые наборы данных (SQL) — Значения, требующие вычислений: скользящие средние, запаздывающие значения, сочетание нескольких таблиц. SQL может читать несколько таблиц, поэтому такие наборы собраны отдельно, а не под конкретной таблицей. Большинство вычислений можно сделать в коде стратегии двумя вызовами ctx.data, поэтому используйте SQL, только если нужна вся история (скользящие средние, ранги). Здесь же находится SQL, зарегистрированный старым способом: [SQL проверен] · [Удалить], либо простые случаи можно массово перевести на выбор таблицы.
  6. Наборы данных, чья таблица не найдена — Если объявленной таблицы сейчас нет в списке, набор данных не исчезает — он остаётся здесь с указанием причины: список таблиц ещё не получен (это не значит, что таблицы нет) · в этой БД нет такой таблицы (переименована или удалена) · на этом устройстве нет такого имени подключения.
  7. Два уровня действия — Уровень доступа AI сохраняется только на устройстве, открытом сейчас. Наборы данных применяются ко всем устройствам с тем же именем подключения. Если устройств несколько, уровень доступа выбирается на каждом отдельно.

1. Индекс страха и жадности

alternative.me

От 0 (крайний страх) до 100 (крайняя жадность), раз в день. Вся история с февраля 2018 года. Это ось настроений, которую не видно по одной цене, — лучший вариант для первого теста.

node run.mjs fear-greed
Значения для выбора на экране настроек данных ([+ Добавить набор данных из этой таблицы] в строке таблицы)
Подключение: main   ·   Таблица: fear_greed
Имя: fg   ·   Столбец времени: ts   ·   Столбец значения: v
После регистрации скажите ИИ так
«На моём наборе данных fg сделай бэктест стратегии binance BTC 1d: покупка при индексе страха и жадности ниже 20, продажа выше 60»

2. Хешрейт биткоина

blockchain.com

Собственный показатель блокчейна (TH/s). Это ось, отличная от цены, поэтому подходит как фильтр режима. Значения большие и меняются плавно, так что лучше брать отношение к скользящему среднему, а не сырое значение.

node run.mjs btc-hashrate
Значения для выбора на экране настроек данных ([+ Добавить набор данных из этой таблицы] в строке таблицы)
Подключение: main   ·   Таблица: btc_hashrate
Имя: hashrate   ·   Столбец времени: ts   ·   Столбец значения: v
После регистрации скажите ИИ так
«Добавь к моей стратегии фильтр: покупать, только когда набор данных hashrate выше своего 90-дневного среднего»

3. Ставка ФРС США (для практики)

FRED (DFF)

Ежедневная эффективная ставка по федеральным фондам. Типичный фильтр макрорежима. ★ Внимание: то же значение уже поступает как базовый индикатор base_fedfunds (ctx.data('base_fedfunds') — его собирает агент из FRED). Если подавать одно значение двумя путями, по результату нельзя будет понять, какое из них использовалось, — поэтому используйте это только для практики подключения.

node run.mjs fed-funds
Значения для выбора на экране настроек данных ([+ Добавить набор данных из этой таблицы] в строке таблицы)
Подключение: main   ·   Таблица: macro_fed_funds
Имя: dff   ·   Столбец времени: ts   ·   Столбец значения: v
После регистрации скажите ИИ так
«Покажи список моих наборов данных и проверь, доступен ли dff (только чтобы убедиться, что подключение работает)»

Периодический сбор (cron)

Добавляет в crontab каждый фетчер с его объявленной периодичностью. Повторный запуск не накапливает строки, а ваши собственные записи cron не затрагиваются. Логи пишутся в отдельный файл для каждого фетчера в папке logs.

node run.mjs --install-cron
Полезно знать
  • Для столбца времени рекомендуется epoch в секундах (миллисекунды и ISO тоже распознаются автоматически, а как было прочитано, указано в поле tsUnit отчёта проверки).
  • Скрипт безопасно запускать повторно — без дубликатов обновляются только новые значения (upsert). Для свежих данных просто запускайте его периодически.
  • В результатах бэктеста сохраняется отпечаток данных (число строк · хэш) — если содержимое БД меняется, меняется и отпечаток, а два результата с разными отпечатками получены не в одинаковых условиях.
  • Бэктесты с внешними данными тоже выполняются на агенте — все бэктесты выполняются только на агенте (моё хранилище).
  • Таблицы, которым задан уровень доступа, становятся видны ИИ (на уровнях столбцов, образца и запросов передаются реальные данные) — не открывайте таблицы с персональными данными.
Другие руководства
Создать сервер ↗Пошаговое руководство со скриншотами: сервер (VPS) для стратегий за 5–10 минут — 10 языковВнешняя БД SupabaseСоздайте бесплатный Postgres и подключите его через учётную запись только для чтенияЗагрузить открытые данныеЗагрузите в свою БД бесплатные данные — индекс страха и жадности, хешрейт, ставки и другие — и используйте их в стратегияхПробуждение в реальном времени через RedisСтратегия реагирует в момент поступления нового значения — своя установка, несколько серверов или бесплатный управляемый сервисНачало работы с форекс (MT5)Бэктест на счёте MT5 вашего брокера и запуск: бумажная торговля → демо → реальный счётРегистрация устройств для защиты кодаКак выбрать и подтвердить устройства, которые могут открывать защищённый код стратегииWhen your agent goes offlineMove to a new server and reconnect keys and runs after the server stops or is reclaimedP2P WebSocket API (на английском) ↗Подключите своего бота или скрипт к P2P-демону и получайте подтверждённые сигналы WATCH TOGETHER — клиенты на JavaScript и Python

Вся документация здесь — Руководство