Начните с бесплатных открытых данных
Подключили свою БД, но нечего в неё загрузить? Начните с одного из трёх вариантов ниже. Все бесплатны и не требуют API-ключа — просто повторите скрипт загрузки и значения для выбора на экране (таблица · столбцы). Скрипт устроен как набор парсеров: чтобы добавить свой источник, достаточно дописать одну запись.
Получить сборщики
Клонируйте репозиторий сборщиков на VPS (сервер, где работает агент). Единственная зависимость — pg. ★ DATABASE_URL в .env должен указывать на учётную запись с правом записи. Учётная запись только для чтения и должна отклонять INSERT — она предназначена только для интеграции с SoriTrading.
git clone https://github.com/Value-Connect-Global-Inc/soritrading-fetchers ~/soritrading-fetchers cd ~/soritrading-fetchers && npm install cp .env.example .env # DATABASE_URL
https://github.com/Value-Connect-Global-Inc/soritrading-fetchers · Открытый исходный код · одна папка = один сборщик · cron регистрируется автоматически
Три варианта ниже — **примеры для старта**. В репозитории есть ещё VIX, подразумеваемая волатильность криптовалют (DVOL), спред доходностей длинных и коротких облигаций, индекс доллара, капитализация стейблкоинов, DeFi TVL и другое — всё бесплатно и без ключа. Полный список: `node run.mjs list`. Рыночные ряды не имеют значений в праздники США (значение отсутствует, а не равно 0), а DVOL доступен с марта 2021 года.
Как читать экран настроек данных
Управление агентами → выберите агента → вкладка «Настройки данных». Добавлять и удалять наборы данных можете только вы, на этом экране — AI их только читает, а строки подключения никогда не вставляются в чат. Сверху вниз экран состоит из следующих частей.
- Внешняя БД — Введите имя подключения (например, main) и строку подключения. Она хранится в зашифрованном виде только на устройстве агента и не передаётся на сервер. При открытии экрана агент автоматически считывает список таблиц ([Проверить подключение] — чтобы перечитать).
- Таблицы и наборы данных — Одна строка на каждую таблицу БД: имя таблицы · примерное число строк · комментарий к таблице, а под ней — наборы данных, которые читают эту таблицу.
- Уровень доступа AI (справа в строке таблицы) — Закрыто (по умолчанию — AI даже не знает о существовании таблицы) · только имя · со столбцами · с образцами · с запросами. Выберите и нажмите [Сохранить доступ]. На уровнях столбцов, образцов и запросов реальные данные уходят в AI, поэтому не открывайте таблицы с персональными данными. Открыть можно только таблицы схемы public.
- Имена наборов данных (под строкой таблицы) — Это значения, которые стратегия вызывает через ctx.data(имя). [+ Добавить набор данных из этой таблицы] → выберите имя, столбец времени и столбец значения; описание заполнится из комментария к таблице, а [Сохранить] станет доступно только после успешного [Тест]. Одной таблице можно дать несколько имён (когда фильтром делятся ряды по биржам или инструментам, или когда старая стратегия использует другое имя). Значки состояния: доступно · не проверено · нет подключения. Нажмите значок реального времени рядом, чтобы открыть настройки пробуждения (poll · notify · redis) — в большинстве случаев подходят значения по умолчанию.
- Вычисляемые наборы данных (SQL) — Значения, требующие вычислений: скользящие средние, запаздывающие значения, сочетание нескольких таблиц. SQL может читать несколько таблиц, поэтому такие наборы собраны отдельно, а не под конкретной таблицей. Большинство вычислений можно сделать в коде стратегии двумя вызовами ctx.data, поэтому используйте SQL, только если нужна вся история (скользящие средние, ранги). Здесь же находится SQL, зарегистрированный старым способом: [SQL проверен] · [Удалить], либо простые случаи можно массово перевести на выбор таблицы.
- Наборы данных, чья таблица не найдена — Если объявленной таблицы сейчас нет в списке, набор данных не исчезает — он остаётся здесь с указанием причины: список таблиц ещё не получен (это не значит, что таблицы нет) · в этой БД нет такой таблицы (переименована или удалена) · на этом устройстве нет такого имени подключения.
- Два уровня действия — Уровень доступа AI сохраняется только на устройстве, открытом сейчас. Наборы данных применяются ко всем устройствам с тем же именем подключения. Если устройств несколько, уровень доступа выбирается на каждом отдельно.
1. Индекс страха и жадности
alternative.meОт 0 (крайний страх) до 100 (крайняя жадность), раз в день. Вся история с февраля 2018 года. Это ось настроений, которую не видно по одной цене, — лучший вариант для первого теста.
node run.mjs fear-greed
Подключение: main · Таблица: fear_greed Имя: fg · Столбец времени: ts · Столбец значения: v
2. Хешрейт биткоина
blockchain.comСобственный показатель блокчейна (TH/s). Это ось, отличная от цены, поэтому подходит как фильтр режима. Значения большие и меняются плавно, так что лучше брать отношение к скользящему среднему, а не сырое значение.
node run.mjs btc-hashrate
Подключение: main · Таблица: btc_hashrate Имя: hashrate · Столбец времени: ts · Столбец значения: v
3. Ставка ФРС США (для практики)
FRED (DFF)Ежедневная эффективная ставка по федеральным фондам. Типичный фильтр макрорежима. ★ Внимание: то же значение уже поступает как базовый индикатор base_fedfunds (ctx.data('base_fedfunds') — его собирает агент из FRED). Если подавать одно значение двумя путями, по результату нельзя будет понять, какое из них использовалось, — поэтому используйте это только для практики подключения.
node run.mjs fed-funds
Подключение: main · Таблица: macro_fed_funds Имя: dff · Столбец времени: ts · Столбец значения: v
Периодический сбор (cron)
Добавляет в crontab каждый фетчер с его объявленной периодичностью. Повторный запуск не накапливает строки, а ваши собственные записи cron не затрагиваются. Логи пишутся в отдельный файл для каждого фетчера в папке logs.
node run.mjs --install-cron
- Для столбца времени рекомендуется epoch в секундах (миллисекунды и ISO тоже распознаются автоматически, а как было прочитано, указано в поле tsUnit отчёта проверки).
- Скрипт безопасно запускать повторно — без дубликатов обновляются только новые значения (upsert). Для свежих данных просто запускайте его периодически.
- В результатах бэктеста сохраняется отпечаток данных (число строк · хэш) — если содержимое БД меняется, меняется и отпечаток, а два результата с разными отпечатками получены не в одинаковых условиях.
- Бэктесты с внешними данными тоже выполняются на агенте — все бэктесты выполняются только на агенте (моё хранилище).
- Таблицы, которым задан уровень доступа, становятся видны ИИ (на уровнях столбцов, образца и запросов передаются реальные данные) — не открывайте таблицы с персональными данными.
Вся документация здесь — Руководство