这是我的第402篇原创文章。

一、引言

时间序列预测通常需要捕获时间依赖性，而LSTM（长短时记忆网络）是处理时间序列数据的经典深度学习方法之一。结合长短时注意力机制（Long-Short Attention Mechanism）可以增强LSTM的性能，从而实现更精确的预测。本文结合LSTM与长短时注意力机制结合进行时间序列预测。

二、实现过程

2.1 读取数据

核心代码：

df = pd.DataFrame(pd.read_csv('data.csv'))
df['Month'] = pd.to_datetime(df['Month'])
print(df.head())

结果：

可视化：

# 数据可视化
sns.set(font_scale=1.2)
plt.rc('font', family=['Times New Roman', 'Simsun'], size=12)
plt.figure(figsize=(10, 5))
plt.plot(df['Month'], df['Passengers'], label='Time Series')
plt.xlabel('Month')
plt.ylabel('Passengers')
plt.legend()
plt.title('Time Series Data')
plt.show()

结果：

2.2 数据预处理

核心代码：

# 数据预处理
df['lag1'] = df['Passengers'].shift(1)
df['lag2'] = df['Passengers'].shift(2)
df = df.dropna()
# 数据准备
X = df[['lag1', 'lag2']].values
y = df['Passengers'].values
X = torch.tensor(X, dtype=torch.float32)
y = torch.tensor(y, dtype=torch.float32).view(-1, 1)
# 数据加载
dataset = TensorDataset(X, y)
train_loader = DataLoader(dataset, batch_size=32, shuffle=True)

在代码中，df['lag1'] = df['value'].shift(1)和df['lag2'] = df['value'].shift(2)是用来创建滞后变量（lagged variables）的。滞后变量是指同一时间序列在不同时间点的值。这里其实就是用前两天的预测后一天，滑动窗口的另一种实现方式。

2.3 模型定义

核心代码：

class LSTMAttention(nn.Module):
    def __init__(self, input_dim, hidden_dim, output_dim):
        super(LSTMAttention, self).__init__()
        self.lstm = nn.LSTM(input_dim, hidden_dim, batch_first=True)
        self.attention = nn.Linear(hidden_dim, 1)
        self.fc = nn.Linear(hidden_dim, output_dim)
    
    def forward(self, x):
        lstm_out, _ = self.lstm(x)
        # 计算注意力权重
        attn_weights = torch.softmax(self.attention(lstm_out), dim=1)
        context = torch.sum(attn_weights * lstm_out, dim=1)
        out = self.fc(context)
        return out
model = LSTMAttention(input_dim=2, hidden_dim=64, output_dim=1)
criterion = nn.MSELoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)

结合长短时注意力机制后，模型结构包括以下组件：

（1）LSTM层：提取时间序列的初步特征。（2）注意力层：计算全局和局部的时间步重要性。（3）全连接层：进行最终预测。

2.3 模型训练

核心代码：

num_epochs = 10000
model.train()
for epoch in range(num_epochs):
    epoch_loss = 0
    for X_batch, y_batch in train_loader:
        X_batch = X_batch.unsqueeze(1)  # 添加时间步维度
        y_pred = model(X_batch)
        loss = criterion(y_pred, y_batch)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        epoch_loss += loss.item()
    print(f'Epoch {epoch+1}/{num_epochs}, Loss: {epoch_loss:.4f}')

结果：

2.4 预测

核心代码：

model.eval()
X_test = X.unsqueeze(1)
y_pred = model(X_test).detach().numpy()

LSTM 模型期望的输入是一个三维张量，形状为 (batch_size, sequence_length, input_dim)。unsqueeze(1) 在 X 的第二个位置（即 sequence_length 的位置）添加了一个新的维度，使得 X 的形状从 (n_samples, 2) 变为 (n_samples, 1, 2)，其中 1 表示时间序列的长度为1，2 表示每个时间步有两个特征（即 lag1 和 lag2）。

2.5 结果可视化

核心代码：

plt.figure(figsize=(12,6))
plt.plot(df['Month'], df['Passengers'], label='True Values', color='blue')
plt.plot(df['Month'], y_pred, label='Predicted Values', color='red', linestyle='--')
plt.xlabel('Month')
plt.ylabel('Passengers')
plt.legend()
plt.title('Model Prediction vs. True Values')
plt.show()

结果：

作者简介： 读研期间发表6篇SCI数据算法相关论文，目前在某研究院从事数据算法相关研究工作，结合自身科研实践经历持续分享关于Python、数据分析、特征工程、机器学习、深度学习、人工智能系列基础知识与案例。关注gzh：数据杂坛，获取数据和源码学习更多内容。

原文链接：

「链接」