32(fp32)168

目前，商用的深度学习应用大多使用32位单精度浮点数(fp32)进行训练和推断。已有不同的研究显示在训练或推断中使用更低精度表示（训练16位，推断8位或更低；由于反向传播中的梯度表示，训练需要相对较高精度）仍能保持基本相同的准确度。低精度表示在未来数年内很可能成为业界标准做法，尤其是针对卷积网络应用。低精度表示至少带来了两个好处。一是极大减少了模型的存储量，提高了缓存效率，数据可以更快地在内存、缓存、寄存器间搬移从而避免内存访问成为瓶颈；二是硬件可能提供更高的计算能力（每秒运算次数）。这里我们将回顾低精度表示用于深度学习训练或推断的历史，并展示英特尔是如何在志强可扩展处理器上利用低精度表示进行深度学习计算的（例如如何进行数值量化）。