高性能计算系统栈的推倒和重建(一)

作者: 微软HPC中国研发团队博客, 　出处:博客,
我从事HPC工作已有二十一年，见证了一个完整的并行系统棧被推倒和重建。 旧棧的机器造价高，只有国家实验室可以支付，性价比很差。
后来HPC世界有一个大的变更，由微处理器来代替定制的向量机。 现在的各行业成为这个变革的受惠者，变革的结果，使得每一个科学家和工程师，可以付担得起原来只有获取优厚研究经费的国家实验室才能使用的高性能计算机。

这个变革经过二十多年，共三个时期：（1） 专有机时期 （2） 微处理器初期 （3）微处理器盛期。

专有机时期，活跃在市场上的超级计算机公司开发定制化的硬件、软件及开发工具。 微处理器初期，计算机主流公司用精简指令芯片代替了定制化芯片，自开发的定制化网络竞争。到微处理器盛期， 商品化的芯片、标准网络再次把成本降低。 回头看着二十年， 显见有一只看不见的手，要把高性能计算机从国家实验室里推到各个行业、企业。  

在这变更中，我也曾多次更换主攻方向。或者说是从原来的棧上端一直“跌”到下面，如下图所示。


然后，我一级一级的帮助重建并行系统棧.   从这棧“跌”落的原因，是因底层的支持无法能够满足高层的需要，而从底层往高层去的原因，是为了能够使系统能够支持主流的应用和程序员编程的需要。

我记得C++ 的发明者Bjarne Stroustrup 曾说过：“如果某件事值得做，那么这件事值得做两次”。 他曾把这句话用在他撰写的C++ 一书上。 这也是我从事HPC的经历。 到现在为止，我已经重复做了两件事情 （1） 作业调度系统 （2） 面向服务的运行时系统。 将来或许还会再次回到应用层。



作者简介
徐明强博士现任微软中国研发集团服务器与开发工具事业部高性能计算资深架构师，领导HPC产品中的并行编程模型和运行时系统的设计与架构。
徐明强博士拥有21年高性能计算领域专业经历，包括8年学术政府实验室的研究和13年的业界经验。
2004年徐明强博士加入当时成立不久的微软HPC团队，带领了一个跨国团队（雷德蒙和上海）完成Windows Compute Cluster 2003和Window HPC Server 2008地开发工作。
加盟微软之前，徐明强博士在1996年之2004年间担任Platform Computing公司（HPC中间件的领导者）的首席架构师，负责其旗舰产品LSF和Symphony产品的设计和技术战略规划。
1993年至1995年，徐明强博士专注于并行语言的编译和运行是系统的研究，并在阿冈国家实验室完成博士后研究。在此之前，徐明强博士先后在英国埃克塞特大学取得计算机博士学位，在曼切斯特大学担任研究助理员。