← 返回使用說明
外部資料範例

從測試用公開資料開始

已連結自己的資料庫卻沒有資料可放?請從下面三個中選一個開始。全部免費、不需 API 金鑰即可取得,照著匯入腳本和畫面上要選的值(資料表、欄位)一步步做即可。 腳本採用新增解析器的結構,若有想要的資料來源,只要再寫一個項目。

開始之前 — 需要先連接 DB 並建立唯讀帳戶 — Supabase 串接指南

取得擷取器

將擷取器儲存庫複製(clone)到 VPS(執行代理程式的伺服器)上。唯一的相依套件是 pg。 ★ .env 中的 DATABASE_URL 請使用具寫入權限的帳戶。唯讀帳戶拒絕 INSERT 是正常的,該帳戶專供 SoriTrading 連結使用。

git clone https://github.com/Value-Connect-Global-Inc/soritrading-fetchers ~/soritrading-fetchers
cd ~/soritrading-fetchers && npm install
cp .env.example .env    # DATABASE_URL

https://github.com/Value-Connect-Global-Inc/soritrading-fetchers · 開源 · 一個資料夾 = 一個擷取器 · 自動註冊 cron

下面三個是**入門範例**。儲存庫中還有 VIX、加密貨幣隱含波動率(DVOL)、長短期利差、美元指數、穩定幣市值、DeFi TVL 等,全部免費、不需金鑰 — 用 `node run.mjs list` 查看完整清單。市場資料在美國休市日沒有值(是缺漏而不是 0),DVOL 從 2021 年 3 月開始。

如何看懂資料設定畫面

代理程式管理 → 選擇代理程式 → 資料設定分頁。註冊與刪除只能由您本人在此畫面進行 — AI 只會讀取資料集,連線字串絕對不能貼到聊天中。畫面由上而下依序如下。

  1. 外部資料庫連結 — 輸入連線名稱(例:main)和連線字串。它只會加密儲存在代理程式所在的裝置上,不會傳送到伺服器。開啟畫面時代理程式會自動讀取資料表清單([檢查連線] 用於重新讀取)。
  2. 資料表與資料集 — 資料庫中每張資料表一列:資料表名稱 · 約略列數 · 資料表註解,讀取該資料表的資料集列在其下方。
  3. AI 公開等級(資料表列右側) — 不公開(預設 — AI 連資料表是否存在都不知道)· 僅名稱 · 含欄位 · 含樣本 · 允許查詢。選擇後按 [儲存公開設定]。欄位、樣本、查詢等級會把實際資料傳給 AI,因此含個人資料的資料表請勿開放。只有 public 結構描述中的資料表可以開放。
  4. 資料集名稱(資料表列下方) — 策略以 ctx.data(名稱) 呼叫的值。[+ 用此資料表新增資料集] → 選擇名稱、時間欄和數值欄後,說明會自動填入資料表註解,[測試] 通過後 [儲存] 才能使用。一張資料表可以有多個名稱(用篩選依交易所或標的拆分序列時,或舊策略使用其他名稱時)。狀態徽章:可用 · 未確認 · 未連線。點擊徽章旁的即時徽章可展開喚醒設定(poll·notify·redis)— 大多數情況使用預設值即可。
  5. 計算資料集(SQL) — 需要計算的值,如移動平均、落後值、多張資料表組合。SQL 可以讀取多張資料表,因此不放在某張資料表底下,而是另外歸類。大多數計算在策略程式碼中用兩個 ctx.data 也能完成,只有在需要整段歷史區間的計算(移動平均、排名)時才使用 SQL。以舊方式註冊的 SQL 可在此 [已確認 SQL] · [刪除],或形式簡單者可批次轉換為選擇資料表的方式。
  6. 找不到資料表的資料集 — 宣告的資料表不在目前清單中時,資料集不會消失,而是連同原因留在這裡 — 尚未收到資料表清單(不代表不存在)· 該資料庫沒有此資料表(已改名或刪除)· 這台裝置上沒有該連線名稱。
  7. 範圍有兩種 — AI 公開等級只儲存在目前開啟的那台裝置上。資料集適用於所有具有相同連線名稱的裝置。有多台裝置時,公開等級需在每台裝置上分別選擇。

1. 恐懼貪婪指數

alternative.me

0(極度恐懼)~100(極度貪婪),每日一次。自 2018-02 起的全部歷史。這是光看價格看不到的情緒維度,最適合作為第一個測試。

node run.mjs fear-greed
在資料設定畫面選擇的值(表格列上的 [+ 以此表新增資料集])
連線: main   ·   資料表: fear_greed
名稱: fg   ·   時間欄: ts   ·   數值欄: v
註冊後,這樣對 AI 說即可
「用我的資料集 fg,在 binance BTC 1d 上回測恐懼貪婪指數低於 20 買進、高於 60 賣出的策略」

2. 比特幣算力

blockchain.com

鏈上原生指標(TH/s)。與價格是不同的維度,適合作為環境篩選。數值大且趨勢平緩,與其用原始值,不如用相對移動平均的比率。

node run.mjs btc-hashrate
在資料設定畫面選擇的值(表格列上的 [+ 以此表新增資料集])
連線: main   ·   資料表: btc_hashrate
名稱: hashrate   ·   時間欄: ts   ·   數值欄: v
註冊後,這樣對 AI 說即可
「幫現有策略加一個篩選條件:只在資料集 hashrate 高於其 90 日均值時買進」

3. 美國基準利率(練習用)

FRED (DFF)

每日有效聯邦基金利率。總體經濟環境篩選的代表性指標。 ★ 注意: 同樣的值已作為基本指標 base_fedfunds 提供(ctx.data('base_fedfunds') — 由代理程式從 FRED 收集)。同一個值透過兩條路徑輸入,結果中將無法區分用了哪一個,所以這個僅用於串接練習。

node run.mjs fed-funds
在資料設定畫面選擇的值(表格列上的 [+ 以此表新增資料集])
連線: main   ·   資料表: macro_fed_funds
名稱: dff   ·   時間欄: ts   ·   數值欄: v
註冊後,這樣對 AI 說即可
「列出我的資料集,並確認 dff 是否處於可用狀態(用於確認串接)」

定期收集(cron)

依每個擷取器宣告的週期註冊到 crontab。重複執行也不會堆積行,也不會動到你自行加入的 cron。日誌保存在 logs/ 資料夾中依擷取器區分的日誌檔裡。

node run.mjs --install-cron
須知
  • 時間欄位建議使用秒級 epoch(毫秒·ISO 也會自動辨識,以哪種方式讀取會記錄在驗證報告的 tsUnit 中)。
  • 重複執行腳本是安全的 — 不會重複,只更新較新的值(upsert)。定期重新執行即可取得新資料。
  • 回測結果會記錄資料指紋(列數·雜湊) — DB 內容改變時指紋也會改變,指紋不同的兩個結果不是在相同條件下得出的。
  • 使用外部資料的回測也在代理程式上執行 — 所有回測都只在代理程式(我的儲存庫)上執行。
  • 設定了公開層級的表格會暴露給 AI(欄位·樣本·查詢層級會傳送真實資料) — 請勿公開含有個人資料的表格。