虽然二进制神经网络(BNNs)推理例程的硬件实现很多，但目前适合物联网(IoT)边缘设备的高效BNN硬件训练加速器的实现还有很多不足之处。传统的BNN硬件训练加速器执行前向和后向传播，参数采用二进制表示，优化采用浮点或定点实值表示的参数--需要两套不同的网络参数。在本文中，我们提出了一种对硬件友好的训练方法，与传统的方法不同，这种方法可以逐步将一组奇异的定点网络参数二值化，从而显著降低功耗和资源利用率。我们使用英特尔FPGA SDK for OpenCL开发环境在OpenVINO FPGA上训练我们的渐进二值化DNNs。我们使用CIFAR-10在GPU和FPGA上对我们的训练方法进行了基准测试，并与传统的BNNs进行了比较。

https://arxiv.org/abs/2001.02390

Training Progressively Binarizing Deep Networks.pdf