# SpaceExploreAI-Small-Base-Regression-27M

## 模型描述

SpaceExploreAI-Small-Base-Regression-27M 是一个基于深度学习的金融时序预测模型，专为股票价格趋势分析和预测而设计。这是 SpaceExploreAI 系列的小型版本，具有约 5M 参数，针对regression任务进行了优化。

### 主要特点

- **轻量化设计**：仅有 27M 参数，适合资源受限环境
- **回归预测：专为价格预测等回归任务优化**
- **Transformer 架构**：基于 Transformer 架构，集成了 RoPE 旋转位置编码技术
- **多头gqa注意力**：使用先进的多头注意力机制捕捉时间序列数据模式

## 技术规格

- **参数量**：约 27M
- **模型类型**：Transformer
- **隐藏层大小**：256
- **隐藏层数量**：4
- **注意力头数量**：4
- **注意力类型**：gqa
- **归一化类型**：rmsnorm
- **最大序列长度**：32
- **预测类型**：regression
- **使用 MoE**：是，混合专家模型增强了模型的表达能力
- **MOE配置**：一个共享专家，8个专家，每个token使用2个专家，中间层大小1024

## 使用示例

```python
from transformers import AutoTokenizer, AutoModel
import torch

# 加载模型和分词器
model_name = "SpaceExploreAI/SpaceExploreAI-Small-Base-Regression-5M"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

# 准备输入数据 (假设您已经有了处理好的金融数据)
imputs:[batch_size, sql_len, feature_size] = [16, 32, 64]
inputs = torch.tensor([[0.1, 0.2, 0.3, ...]])  # 您的金融序列数据

# 进行预测
with torch.no_grad():
    outputs = model(inputs)
    predictions = outputs.last_hidden_state
```

## 免责声明

SpaceExploreAI仅供大模型AI学习、量化交易学习，不可以用于商业用途、不可以以此为投资逻辑，后果自负。

## 许可证

[Apache License 2.0](LICENSE)