最近刚刚接触到商品期货交易，虽然本想着能够偶尔投机赚点小钱，但很显然凭我个人的能力反向操作才是我应有的水准。然后想到是否可以使用深度强化学习的方法来帮助我进行交易呢，因此有了本文的内容。

首先简单介绍一下什么是深度强化学习。从字面上就可以看出，这是一种结合深度学习和强化学习的模型，在模型中主要采纳了深度学习对于无限数据处理以及处理连续数据的能力，同时吸收了强化学习无模型训练的特点。 那么接下来就不再说过多的废话开始模型的第一部分——下载数据

第一步下载

本文的数据是从点宽和Tushare中通过python的API下载的5分钟数据。
采坑经验
1、根据我的经验以及实际的体验后强烈建议，下载分钟或小时级别的数据时，尽可能的选择点宽或者是其他平台的数据，Tushare虽然容易下载，但不知是为何感觉总有些数据是错误的。
2、选择点宽或是其他平台的数据时一定要注意每一次能够下载的限制，否则很可能会最终只能得到少部分。
3、强烈建议返回数据形式为DataFrame，但是同时也注意在后续部分使用时需要将数据转化为List形式。

存入数据库

本文使用的是Mysql数据库。在建库时建议时间的格式使用DateTime，这样就可以不用改变形式直接入库了。
其次点宽的数据的时间戳用API下载后是TimeStrap的格式，要改为Str才能入库。

绘制Kline

本文使用的是pyecharts绘制的图，不要问我为什么，就两个词简单、好看。
具体代码可以看我的GitHub

还未完成的内容

• 建立环境(这个会使用OpenAI Gym来搭建环境)
• 建立模型(目前的想法是使用PPO)
• 模型训练和测试
• 优化模型