336 lines
14 KiB
Markdown
336 lines
14 KiB
Markdown
## 盘前数据量化流程
|
||
|
||
C:\Users\86188\miniconda3\Scripts\activate
|
||
|
||
1. **数据清洗与特征工程**
|
||
- 读取 `premarket_bars.csv`，筛选 session=pre 的数据。
|
||
- 计算盘前涨跌幅（change_ratio）、与前收盘价对比（pre_return_vs_prev_close）、流动性 proxy（如 pre_volume）。
|
||
- 生成 `premarket_features.csv`，为后续量化模型和大模型推理提供输入。
|
||
|
||
2. **信号生成与策略设计**
|
||
- 规则法：如盘前涨幅 >3% 生成 BUY 信号，<-3% 生成 SELL 信号。
|
||
- 多因子法：结合盘前特征、历史表现、异动分布等，设计量化打分模型。
|
||
- 大模型法：将盘前特征、历史数据、市场新闻等输入 LLM，生成多维度信号与解读。
|
||
- 信号写入 `premarket_signals.csv`，记录来源、置信度、推理摘要。
|
||
|
||
3. **回测与绩效评估**
|
||
- 用盘前信号与历史行情进行回测，评估策略收益、风险、胜率。
|
||
- 对比规则法、多因子法与大模型法的表现，优化信号生成逻辑。
|
||
- 结果归档于回测报告，可用大模型自动生成策略总结。
|
||
|
||
4. **自动化交易与风控**
|
||
- 盘前信号可自动推送至交易系统，支持模拟盘与实盘。
|
||
- 结合大模型生成的风险提示，动态调整仓位与风控参数。
|
||
- 失败样本与异常信号自动归档，便于后续诊断与模型迭代。
|
||
|
||
5. **大模型协同分析**
|
||
- 盘前数据、信号、回测结果可作为 prompt，自动生成策略文档、异动解读、风险提示。
|
||
- 支持多轮问答与因子解释，提升量化工程师与大模型协作效率。
|
||
|
||
6. **监控与持续优化**
|
||
- 盘前数据与信号归档，定期分析成功率、异常分布、策略表现。
|
||
- 结合大模型自动诊断与修复建议，持续优化量化流程。
|
||
|
||
---
|
||
|
||
# 盘前操作说明
|
||
|
||
**下一步建议：结合大模型与量化工程最佳实践**
|
||
|
||
1. **数据质量与多源融合**
|
||
- 富途/东方财富/Yahoo 多源融合，自动回退与异常检测。
|
||
- 失败样本自动归档，便于大模型后续异常分析与数据增强。
|
||
|
||
2. **盘前特征工程与大模型输入**
|
||
- 盘前特征扩展：如 pre_return_vs_prev_close、流动性 proxy、spread、异动分布等。
|
||
- 直接生成 `premarket_features.csv`，为大模型训练/推理提供结构化输入。
|
||
|
||
3. **信号生成与大模型辅助决策**
|
||
- 传统规则（±3%）与大模型（如 LLM/LLM+因子融合）并行生成信号，支持模型版本号与推理参数落地。
|
||
- 盘前信号可通过 prompt/embedding 送入 LLM，生成更丰富的“解读”与“风险提示”。
|
||
|
||
4. **冷却与去重治理**
|
||
- 复用 signal_filter.py，支持大模型信号冷却窗口与多因子去重。
|
||
- 信号写入时记录模型来源、置信度、推理摘要。
|
||
|
||
5. **自动化回测与监控**
|
||
- 盘前数据与信号自动归档，定期触发回测脚本，评估大模型与传统规则的表现。
|
||
- ETL_RUNS/health 文件记录成功率、耗时、异常分布，便于大模型诊断。
|
||
|
||
6. **大模型集成与推理链路**
|
||
- 盘前数据可直接作为 LLM 输入（如“请分析今日盘前异动并生成交易建议”），支持 prompt 工程与多轮推理。
|
||
- 结合历史数据，自动生成 prompt，支持多模型对比（如 GPT-4/Claude/自研模型）。
|
||
|
||
7. **告警与智能解释**
|
||
- 盘前信号异常/异动自动推送至 Slack/邮件，并由大模型生成“解读”与“操作建议”。
|
||
- 失败样本自动归档，定期由大模型分析原因并给出修复建议。
|
||
|
||
8. **数据库与高性能存储**
|
||
- 逐步迁移 CSV → SQLite/PostgreSQL，支持高频查询与大模型批量推理。
|
||
- 盘前数据表结构可直接映射为大模型训练/推理数据集。
|
||
|
||
9. **可扩展 prompt 工程**
|
||
- 设计 prompt 模板，自动填充盘前特征、信号、历史表现，提升大模型推理效果。
|
||
- 支持“多轮问答”与“因子解释”，便于策略迭代。
|
||
|
||
10. **量化工程师与大模型协作流程**
|
||
- 盘前数据自动归档，量化工程师可随时调用大模型分析盘前异动、生成策略建议。
|
||
- 结合大模型自动生成的“策略文档”，实现人机协同决策。
|
||
|
||
**推荐大模型应用场景**
|
||
- 盘前异动解读与自动生成交易建议
|
||
- 盘前信号置信度评估与风险提示
|
||
- 失败样本自动诊断与修复建议
|
||
- prompt 工程与多轮推理链路设计
|
||
- 量化策略文档自动生成与归档
|
||
|
||
---
|
||
- 保持时间字段可跨时区比对：以 UTC 为主存、同时记录 ET（美东）用于展示
|
||
- 生成可控的预警信号并记录信号来源与冷却策略
|
||
|
||
---
|
||
|
||
**总体架构**
|
||
- 抓取层：`premarket_watch.py`（实时/交互）、`monitor.py`（批量/生产）负责触发抓取
|
||
- 解析层：`futu.py` 中 `FutuStockParser.parse_javascript_data` / `parse_price_data`，并增加健壮性与回退（见下节）
|
||
- 持久化层：`data_writer.py` 将快照写入 `bars_1m.csv`（新增 `session` 字段），并支持 `append_bars_session` 写 `session=pre`
|
||
- 信号层：`market_analyzer.py` / `signal_filter.py` 负责信号生成与冷却规则
|
||
- 监控/告警：日志 + ETL 统计 (`etl_runs.csv`) + 失败 HTML dump
|
||
|
||
---
|
||
|
||
**抓取策略（要点）**
|
||
- 优先抓取来源：富途（`futu`）中 `before_open_stock_info`；若富途失败，再使用东方财富 / Yahoo Finance 回退
|
||
- 抓取并发：`premarket_watch.py` 支持 `--max-workers`，建议初期将并发数限制在 4-8，避免被风控
|
||
- 重试与降级：每个 symbol 最多 2 次重试（指数退避 0.5s -> 1s）；失败时保存 HTML: `data/failed_{symbol}_{ts}.html`
|
||
- 验证：抓到的 HTML/JSON 做基本校验（长度、是否包含 `__INITIAL_STATE__`、是否包含价格正则），否则视为失败
|
||
|
||
---
|
||
|
||
**时间与时区约定**
|
||
- 存储（CSV / DB）均以 UTC 为主（字段名以 `_utc` 结尾），便于跨时区一致性回测
|
||
- 对外展示与终端打印使用 ET（美东，`America/New_York`），代码中使用 `utils_time.py` 的 `fmt_et()` / `fmt_et_hm()`
|
||
- 在每条记录中同时保留 `ts_utc` 与 `ts_et`（后者可选），或只保留 `ts_utc` 并在查询/展示层动态格式化为 ET
|
||
|
||
---
|
||
|
||
**文件/表 设计（CSV 优先，后续可迁移到 PostgreSQL）**
|
||
|
||
- 文件命名（data/ 目录）
|
||
- `premarket_bars.csv` （盘前快照）
|
||
- `premarket_signals.csv` （盘前生成的信号/预警）
|
||
- `premarket_features.csv` （若需盘前特征）
|
||
- `failed_html/` 存放抓取失败的 HTML，便于人工排查
|
||
|
||
- `premarket_bars.csv` 列（CSV）
|
||
- symbol_id (int)
|
||
- symbol (text)
|
||
- ts_utc (ISO UTC)
|
||
- ts_et (ISO ET) -- 可选，便于人工查看
|
||
- price (float)
|
||
- change (float)
|
||
- change_ratio (float) -- 小数表示，例如 -0.038 表示 -3.8%
|
||
- volume (int/empty)
|
||
- source (text) -- 'futu' / 'eastmoney' / 'yahoo'
|
||
- session (text) -- 'pre' / 'regular' / 'post'
|
||
- raw_file (text) -- 若保存了原始 HTML/JSON 的文件名
|
||
|
||
- `premarket_signals.csv` 列
|
||
- id (text) -- 如 symbolid-生成时间
|
||
- symbol_id, symbol
|
||
- generated_at_utc
|
||
- signal_type ('premarket_alert')
|
||
- direction ('BUY'/'SELL')
|
||
- score (float)
|
||
- reason (text)
|
||
- params_json (text) -- 包含触发字段（例如 pre_price, pre_change_ratio）
|
||
- model_name, version
|
||
- expires_at_utc
|
||
|
||
- PostgreSQL 示例 DDL（简化）
|
||
```sql
|
||
CREATE TABLE premarket_bars (
|
||
id BIGSERIAL PRIMARY KEY,
|
||
symbol TEXT NOT NULL,
|
||
symbol_id BIGINT,
|
||
ts_utc TIMESTAMPTZ NOT NULL,
|
||
price NUMERIC,
|
||
change NUMERIC,
|
||
change_ratio NUMERIC,
|
||
source TEXT,
|
||
session TEXT,
|
||
raw_file TEXT
|
||
);
|
||
|
||
CREATE INDEX idx_premarket_bars_symbol_ts ON premarket_bars(symbol, ts_utc DESC);
|
||
|
||
CREATE TABLE premarket_signals (
|
||
id TEXT PRIMARY KEY,
|
||
symbol TEXT,
|
||
symbol_id BIGINT,
|
||
generated_at_utc TIMESTAMPTZ,
|
||
direction TEXT,
|
||
score NUMERIC,
|
||
reason TEXT,
|
||
params JSONB
|
||
);
|
||
```
|
||
|
||
---
|
||
|
||
**ETL 流程建议（每轮）**
|
||
1. Fetch: 按配置的 symbol 列表并发抓取 `futu` 页面/JS 数据
|
||
2. Validate: 校验数据字段完整性（price 非空、change_ratio 可解析）
|
||
3. Persist raw: 抓到的原始 HTML/JSON（仅失败或配置为保存）写 `failed_html/` 或 `raw/`
|
||
4. Normalize: 将涨跌幅转换为小数、将价格转浮点
|
||
5. Persist bar: 写 `premarket_bars.csv` 或入库 `premarket_bars`
|
||
6. Feature/Signal: 基于规则或模型生成预警信号，写 `premarket_signals.csv`
|
||
7. Stats/ETL: 写一条 `etl_runs.csv`（fetched_count, signal_count, duration）
|
||
|
||
---
|
||
|
||
**推荐盘前特征（可在 `premarket_features.csv` 存储）**
|
||
- pre_return_vs_prev_close = (pre_price / prev_close) - 1
|
||
- pre_vs_open = (pre_price / open_price) - 1
|
||
- liquidity_proxy: pre_volume（若可获得）或估计成交强度
|
||
- spread_estimate: 若能获取买卖价则计算
|
||
|
||
---
|
||
|
||
**信号治理与安全策略**
|
||
- 冷却窗口：相同(symbol, direction) 最小冷却 30 分钟（`signal_filter.py` 已实现）
|
||
- 过度并发保护：对富途页面调用施加 `--max-workers` 限制，建议生产值 4~8
|
||
- 失败与告警：当连续 N 次（例如 5 次）抓取某个 symbol 失败，发出报警並暫停该 symbol 的抓取
|
||
- 可选阈值：盘前涨幅 > +3% 发出 BUY 预警，<-3% 发 SELL 预警（可配置）
|
||
|
||
---
|
||
|
||
**监控与告警**
|
||
- ETL 日志（`etl_runs.csv`）用于監控采集稳定性（fetched_count 与 error rate）
|
||
- 将 `failed_html/` 的数量作为健康指标；若短时间内增多，说明被风控/结构变化
|
||
- 可集成邮件/Slack 通知：当出现大盘前信号或连续抓取失败时通知運維/策略人员
|
||
|
||
---
|
||
|
||
**存储/归档与保留策略**
|
||
- 快照保存期：`premarket_bars.csv` 按天轮换或周期归档；建议保留 90 天的高频数据在线上，长期数据归入冷存（S3）
|
||
- raw HTML：仅保存失败样本，或每 N 次保存一次示例，避免占满磁盘
|
||
|
||
---
|
||
|
||
**工具链与代码位置**
|
||
- 抓取/解析：`futu.py`（`FutuStockParser.parse_javascript_data` / `parse_price_data`）
|
||
- 实时监控：`premarket_watch.py`（已支持多线程、ET 时间显示、失败回存）
|
||
- 持久化：`data_writer.py`（新增 `session` 字段与 `append_bars_session`）
|
||
- 时间工具：`utils_time.py`（ET/UTC 格式化）
|
||
|
||
---
|
||
|
||
**示例命令**
|
||
- 单次 10 只并发抓取并显示（用于检查）：
|
||
```bash
|
||
python premarket_watch.py --limit 10 --once --force --max-workers 8
|
||
```
|
||
- 持续运行（每 30s 刷新）：
|
||
```bash
|
||
python premarket_watch.py --limit 20 --interval 30 --max-workers 6
|
||
```
|
||
|
||
- 保存盘前快照和信号（写入 `data/premarket_bars.csv` / `data/premarket_signals.csv`）：
|
||
```bash
|
||
python premarket_watch.py --limit 25 --interval 60 --save --max-workers 6 --force
|
||
```
|
||
|
||
运行后可在 `data/` 目录看到：
|
||
- `premarket_bars.csv` 新增行（session=pre, change_ratio 为小数）
|
||
- `premarket_signals.csv` BUY/SELL 阈值信号（±3%）
|
||
- `symbols.csv` 自动补充缺失的 symbol 基础信息
|
||
|
||
---
|
||
|
||
### 盘前数据清洗与特征工程详细操作
|
||
|
||
1. **读取与筛选盘前数据**
|
||
- 使用 pandas 或 csv 库读取 `data/premarket_bars.csv`。
|
||
- 仅保留 `session=pre` 的行。
|
||
- 示例代码（pandas）：
|
||
```python
|
||
import pandas as pd
|
||
df = pd.read_csv('data/premarket_bars.csv')
|
||
pre_df = df[df['session'] == 'pre']
|
||
```
|
||
|
||
2. **计算盘前特征**
|
||
- 盘前涨跌幅：直接使用 `change_ratio` 列。
|
||
- 与前收盘价对比（pre_return_vs_prev_close）：需关联前一天收盘价（可从历史 bars 或 eastmoney/yahoo 数据获取），公式：
|
||
```python
|
||
# 假设 pre_df 有 prev_close 列
|
||
pre_df['pre_return_vs_prev_close'] = pre_df['price'] / pre_df['prev_close'] - 1
|
||
```
|
||
- 流动性 proxy（如 pre_volume）：如有 volume 字段直接用，否则可用成交额/市值等近似。
|
||
|
||
3. **生成特征文件**
|
||
- 选取需要的特征列，如 symbol, ts_utc, price, change_ratio, pre_return_vs_prev_close, pre_volume。
|
||
- 保存为 `data/premarket_features.csv`。
|
||
- 示例代码：
|
||
```python
|
||
feature_cols = ['symbol', 'ts_utc', 'price', 'change_ratio', 'pre_return_vs_prev_close', 'volume']
|
||
pre_df[feature_cols].to_csv('data/premarket_features.csv', index=False)
|
||
```
|
||
|
||
4. **数据源补充说明**
|
||
- 若 `prev_close` 或 `volume` 缺失，可用 `eastmoney` 或 `yahoo` 的历史行情接口补齐。
|
||
- 推荐先用 pandas 合并历史收盘价，再批量计算特征。
|
||
|
||
5. **自动化脚本建议**
|
||
- 可将上述流程封装为 `etl_premarket_features.py`，每日盘前自动运行。
|
||
- 支持异常处理与日志输出，便于后续大模型分析。
|
||
|
||
---
|
||
|
||
### 前收盘价获取方法
|
||
|
||
1. **数据来源**
|
||
- 东方财富（EastMoneyAPI）：在 `futu.py` 的 `parse_stock_data` 方法中，已解析 `prev_close` 字段（f18），可用于美股主流标的。
|
||
- 富途：部分页面可解析前收盘价，但稳定性略低，建议优先用东方财富。
|
||
- Yahoo Finance：如需补充，可用 yfinance 或 requests 获取历史收盘价。
|
||
|
||
2. **自动补齐流程**
|
||
- 在盘前特征工程脚本中，先读取 `premarket_bars.csv`，如无 prev_close 字段，则批量用 symbol 列调用东方财富 API 获取。
|
||
- 示例代码（pandas + requests）：
|
||
```python
|
||
import pandas as pd
|
||
from futu import EastMoneyAPI
|
||
df = pd.read_csv('data/premarket_bars.csv')
|
||
api = EastMoneyAPI()
|
||
def get_prev_close(symbol):
|
||
stocks, _ = api.get_us_stocks(page_size=1)
|
||
for item in stocks:
|
||
data = api.parse_stock_data(item)
|
||
if data and data['symbol'] == symbol:
|
||
return data['prev_close']
|
||
return None
|
||
df['prev_close'] = df['symbol'].apply(get_prev_close)
|
||
```
|
||
- 若需高效批量补齐，可提前缓存 symbol→prev_close 映射。
|
||
|
||
3. **补充说明**
|
||
- 若已在 `premarket_bars.csv` 生成时写入 prev_close 字段，则无需后处理。
|
||
- 若需用 Yahoo Finance，可用 yfinance 库：
|
||
```python
|
||
import yfinance as yf
|
||
def get_prev_close_yahoo(symbol):
|
||
ticker = yf.Ticker(symbol)
|
||
hist = ticker.history(period='2d')
|
||
if len(hist) >= 2:
|
||
return hist['Close'].iloc[-2]
|
||
return None
|
||
```
|
||
- 推荐在 ETL/特征工程脚本中自动补齐，保证后续量化分析一致性。
|
||
|
||
---
|
||
|
||
文档作者: AI 量化工程师（为当前代码库改造）
|
||
|
||
END
|