由 dawei
CMU 机器人研究所张昊（Hao Zhang）博士论文新鲜出炉，主要围绕着机器学习并行化的自适应、可组合与自动化问题展开。
随着近年来，机器学习领域的创新不断加速，SysML 的研究者已经创建了在多个设备或计算节点上并行机器学习训练的算法和系统。机器学习模型在结构上变得越来越复杂，许多系统都试图提供全面的性能。尤其是，机器学习扩展通常会低估从一个适当的分布策略映射到模型所需要的知识与时间。此外，将并行训练系统应用于复杂模型更是增加了非常规的开发成本，且性能通常低于预期。
近日，CMU 机器人研究所博士张昊公布了自己的博士学位论文《机器学习并行化的自适应、可组合与自动化》，旨在找出并解决并行 ML 技术和系统实现在可用性和性能方面的研究挑战。
具体而言，该论文从可编程性、并行化表示、性能优化、系统架构和自动并行化技术等几方面对分布式并行 ML 展开了研究，并认为分布式并行机器学习可以同时实现简洁性和高效性。此外，该论文表明，并行 ML 的性能可以通过生成自适应 ML 模型结构和集群资源范式的策略实现大幅度提升，同时通过将「如何并行化」这一核心问题形式化为端到端优化目标以及构建可组合分布式 ML 系统来自动优化这类自适应、自定义策略，进而可以解决可用性挑战。
机器之心对该论文的核心内容进行了简要介绍，感兴趣的读者可以阅读原论文。