5分钟在Linux超算启动16,384个Windows应用：MIT突破性跨平台并行技术
- MIT研究者开发模型，在Linux超算上5分钟内同时运行16,384个Windows应用。
- 采用林肯实验室LLMapReduce技术配合Wine Windows兼容层实现。
摩尔定律放缓使并行处理成提升应用性能必要手段。神经网络、物理仿真、数据分析应用快速演进，利用并行算力达性能目标。
运行此类数据密集型应用需特定操作系统软件，如Microsoft Windows，其在并行计算实现有长期经验。
但全球前500超算运行Linux，能秒级在数千核心执行交互应用。通常用虚拟机(VM)在Linux跑Windows程序，给应用带来巨大开销。
超算上执行多个VM每个需数秒甚至数分钟。扩展至现有超算数千核心引发效率性能问题，难同时运行大量Windows应用。
MIT研究团队新技术可在现代超算上快速启动执行Windows应用于数千处理器。演示在5分钟内启动16,000 Windows应用（每应用占一核心）。
工作原理
为在Linux超算快速启动Windows应用，研究者用林肯实验室LLMapReduce（多层Map-Reduce）技术配合Wine Windows兼容层。高性能计算中，多层调度微调分析代码，单次作业启动处理多数据集。
MIT SuperCloud软件栈提供易用接口接入LLMapReduce，高效将数千任务跑到集群，将复杂并行调度、依赖解析、任务提交简化为单行代码，同时最小化每任务延迟提升性能。
LLMapReduce不依赖特定语言，适配任何可执行文件，理想支持大量Wine实例并发启动。
SLURM调度器组件 | 研究者提供
用开源作业调度器Slurm Workload Manager快速识别资源、分配任务、调度执行、启动、监控运行、任务终止时执行清理。
参考：arXiv:1808.04345
结果
Windows实例启动时间与启动率
系统部署在含648计算节点超算（每节点≥64 Xeon Phi核心，共41,472核心）。执行单Windows实例于1,2,4,8…256节点，继而每256节点跑2,4,8…64实例，共16,384并发实例。
阅读：内存处理单元高效实现AI算法
所有实例近5分钟执行完毕，让超算运行广泛可执行Windows应用。团队计划扩展至更多处理器执行更多样化程序。
工业技术