郑州友网站建设,做网站运营这工作怎么样,最新网站开发软件,建设私人网站前言 系列专栏#xff1a;机器学习#xff1a;高级应用与实践【项目实战100】【2024】✨︎ 在本专栏中不仅包含一些适合初学者的最新机器学习项目#xff0c;每个项目都处理一组不同的问题#xff0c;包括监督和无监督学习、分类、回归和聚类#xff0c;而且涉及创建深度学…
前言 系列专栏机器学习高级应用与实践【项目实战100】【2024】✨︎ 在本专栏中不仅包含一些适合初学者的最新机器学习项目每个项目都处理一组不同的问题包括监督和无监督学习、分类、回归和聚类而且涉及创建深度学习模型、处理非结构化数据以及指导复杂的模型如卷积神经网络、门控循环单元、大型语言模型和强化学习模型 在本文中我们将使用机器学习技术实现 Microsoft 股价预测。我们将使用 TensorFlow这是一个由 Google 开发的开源 Python 机器学习框架。借助 TensorFlow您可以轻松实现时间序列预测数据。由于股价预测是时间序列预测问题之一我们将使用机器学习技术构建端到端的 Microsoft 股价预测。 目录 1. 相关库和数据集1.1 相关库介绍1.2 数据集介绍1.3 描述性统计1.4数据的信息 2. 数据清洗与处理3. 探索性数据分析3.1 股票的开盘、收盘价3.2 股票的交易量3.3 股票不同特征之间的相关性 4. 数据建模循环神经网络模型4.1 数据准备拆分为训练集和测试集4.2 模型构建LSTM4.3 编译和拟合4.4 模型评估 1. 相关库和数据集
1.1 相关库介绍
Python 库使我们能够非常轻松地处理数据并使用一行代码执行典型和复杂的任务。
Pandas – 该库有助于以 2D 数组格式加载数据框并具有多种功能可一次性执行分析任务。Numpy – Numpy 数组速度非常快可以在很短的时间内执行大型计算。Matplotlib/Seaborn – 此库用于绘制可视化效果用于展现数据之间的相互关系。Sklearn – 包含多个库这些库具有预实现的功能用于执行从数据预处理到模型开发和评估的任务。Tensorflow – TensorFlow 是由 Google Developers 开发的机器学习框架旨在使机器学习算法的实现变得轻而易举。
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as snsfrom datetime import datetime
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import metrics
from keras.metrics import RootMeanSquaredError
from sklearn.preprocessing import StandardScalerimport warnings
warnings.filterwarnings(ignore) 1.2 数据集介绍
现在让我们加载包含可交易天数的 Microsoft 股票的 OHLC 数据的数据集。
df pd.read_csv(Microsoft_Stock.csv) .head()函数根据位置返回对象的前 n 行。该函数可用于快速测试对象中的数据类型是否正确。
df.head()1.3 描述性统计
.describe()生成描述性统计信息。描述性统计包括总结数据集分布的中心倾向、分散性和形状的统计不包括 NaN 值。
可分析数值序列和对象序列以及混合数据类型的 DataFrame 列集。输出结果将根据所提供的数据而有所不同。
df.describe()1.4数据的信息
.info()方法打印有关DataFrame的信息包括索引dtype和列、非null值以及内存使用情况。
df.info()2. 数据清洗与处理
更改 Date 的数据类型将object的对象转化为datetime类型
df[Date] df[Date].apply(lambda x: datetime.strptime(x, %m/%d/%Y %H:%M:%S))
df[Date]3. 探索性数据分析
EDA是一种使用视觉技术分析数据的方法。它用于发现趋势和模式或借助统计摘要和图形表示来检查假设。
3.1 股票的开盘、收盘价
plt.style.use(fivethirtyeight)
plt.plot(df[Date], df[Open], colorblue, labelopen)
plt.plot(df[Date], df[Close], colorgreen, labelclose)
plt.title(Microsoft Open-Close Stock)
plt.legend() 3.2 股票的交易量
交易量是指一段时间内通常是一天内易手的资产或证券的数量。例如股票交易量是指每天开盘和收盘之间交易的证券股票数量。交易量以及交易量随时间的变化是技术交易者的重要输入。
plt.plot(df[Date], df[Volume])
plt.show()3.3 股票不同特征之间的相关性
相关性是一种衡量两个变量相对于彼此移动程度的统计数据其值必须介于-1.0和1.0之间。相关性衡量关联但不显示 x 是否导致 y反之亦然或者关联是否由第三个因素引起。
sns.heatmap(df.corr(), annotTrue, cbarFalse)
plt.show() 现在让我们绘制 2015 年至 2021 年期间 Microsoft 股票的收盘价即 6 年的时间跨度。
4. 数据建模循环神经网络模型
4.1 数据准备拆分为训练集和测试集
# prepare the training set samples
msft_close df.filter([Close])
dataset msft_close.values
training int(np.ceil(len(dataset) *.95)) # scale the data
ss StandardScaler()
ss ss.fit_transform(dataset) train_data ss[0:int(training), :] x_train []
y_train [] # considering 60 as the batch size,
# create the X_train and y_train
for i in range(60, len(train_data)): x_train.append(train_data[i-60:i, 0]) y_train.append(train_data[i, 0]) x_train, y_train np.array(x_train), np.array(y_train)
X_train np.reshape(x_train, (x_train.shape[0], x_train.shape[1], 1)) 4.2 模型构建LSTM
为了解决时间序列或股价预测问题我们建立了一个循环神经网络模型该模型可以利用单元状态和记忆状态记忆之前的状态非常方便。由于 RNN 难以训练和修剪消失梯度我们使用了 LSTM它是 RNN 的门控单元LSTM 可以减少消失梯度问题。
model keras.models.Sequential()
model.add(keras.layers.LSTM(units64, return_sequencesTrue, input_shape (X_train.shape[1], 1)))
model.add(keras.layers.LSTM(units64))
model.add(keras.layers.Dense(128))
model.add(keras.layers.Dropout(0.5))
model.add(keras.layers.Dense(1)) print(model.summary()) 4.3 编译和拟合
在编译模型时我们需要提供以下三个基本参数
optimizer - 通过梯度下降法优化成本函数的方法。 loss - 损失函数我们通过它来监控模型是否在训练中不断改进。 metrics - 通过预测训练数据和验证数据来评估模型。
model.compile(optimizeradam, lossmae, metrics [metrics.MeanSquaredError(), metrics.AUC()]) history model.fit(X_train, y_train, epochs20) 我们得到的平均绝对误差为 0.0661接近完美误差分值。
4.4 模型评估
现在我们已经准备好了模型让我们用不同的指标来评估它在验证数据上的性能。为此我们将首先使用该模型预测验证数据的类别然后将输出结果与真实标签进行比较。
testing ss[training - 60:, :]
x_test []
y_test dataset[training:, :]
for i in range(60, len(testing)): x_test.append(testing[i-60:i, 0]) x_test np.array(x_test)
X_test np.reshape(x_test, (x_test.shape[0], x_test.shape[1], 1)) pred model.predict(X_test) 现在让我们绘制微软股票价格的已知数据和预测价格趋势图看看它们是与之前的趋势一致还是完全不同。
train df[:training]
test df[training:]
test[Predictions] pred plt.figure(figsize(10, 8))
plt.plot(train[Close], cb)
plt.plot(test[[Close, Predictions]])
plt.title(Microsoft Stock Close Price)
plt.ylabel(Close)
plt.legend([Train, Test, Predictions])
