认识达内从这里开始

认真做教育专心促就业

深度学习中对数据库的思考

发布：青岛达内
来源：互联网
时间：2018-03-17 16:50

非关系数据库在促进机器学习和深度学习技术的最新进展中起着不可或缺的作用。收集和存储大量结构化和非结构化的数据的能力为提升深度学习预测提供的必要的原材料。在构建深度学习应用程序时，选择用于管理底层数据的数据库时要牢记一些注意事项。

<a style='color:blue' href='http://qd.tedu.cn/'>青岛达内</a>培训

    灵活的数据模型。在深度学习中，数据需要经历三个阶段--输入数据、训练数据和结果数据。深度学习是一个动态的过程，通常涉及大量的实验，比如，实验过程中参数调整是很正常的事情，加上非结构化数据的输入、输出结果的修改是自然而然地发生。随着新的信息和见解被发现，重要的是在灵活数据模型上选择一个合适的数据库，避免在数据结构需要改变时需要执行昂贵的模式迁移。
    规模。深度学习面临的挑战之一是模型训练耗费的时间比较长，有些模型可能需要几个星期的训练时间，这是由于梯度下降等算法需要通过多次迭代来调整模型的数十亿个参数。为了减少训练次数，深度学习框架尝试并行运算，将训练负荷分布到多个高性能的服务器上。
    并行化训练主要有两种方式：数据并行性和模型并行性。
    数据并行性。通过分布式系统将数据分割成多个节点进行处理并存储，比如Apache Spark、MongoDB和Apache Hadoop.
    模型并行性。通过相关软件库和框架在多个节点上分割模型及其相关层，如TensorFlow、Caffe和Theano.分裂提供并行性，但是在协调不同节点之间的输出时会产生性能代价。
    除了模型训练阶段耗费时间长外，深度学习的另一个大挑战是输入数据集不断增长，这增加了训练参数的数量。这不仅意味着输入数据集可能超过可用的服务器内存，而且还意味着涉及梯度下降的矩阵也能超过节点的内存。因此，缩放比扩展更加重要，这使得工作负载和相关的数据集在多个节点上分布，允许并行执行计算。
    容错。许多深度学习算法使用检验点作为故障发生时恢复训练数据的一种方法。然而，频繁设置的检查点需要大量的系统开销。另一种方法是利用驻留在分割节点上的多个数据副本，这些副本提供冗余和数据可用性，而无需消耗系统主节点上的资源。

一致性。对于大多数深度学习算法而言，建议使用强数据一致性模型，具有强一致性的分布式数据库集群中每个节点都运行在最新的数据副本上。虽然有些算法可以容忍一定程度的不一致性，比如随机梯度下降算法（SGD），但强一致性能够提供最精确的结果。然而，在某些情况下，算法更加看重训练时间而不是精度，那么最终的一致性是可以接受的。为了优化精度和性能，数据库应该提供可调的一致性。

本篇文章是有青岛达内培训为您呈现,希望给您带来更多更好的文章

更多青岛IT培训相关资讯,请扫描下方二维码