高性能计算系统栈的推倒和重建（四）

逃匿MPI进程

1993年我加入阿冈国家实验室数学和计算机科学部做Ian Foster 的博士后。

Ian 告诉我，现在科研经费的要求和实际实用应用相结合。为此，我们不能再搞什么logic / functional 语言了。必须和Fortran/C有关。 此时他发明了一个新的语言Fortran-M (M- 代表message passing)。 这个语言实在太像Occam了。Occam 里有Channel， Fortran-M 叫port. Occam的Channel 是强类型的，Fortran-M Port 也是强类型的。Occam 里有Process，Fortran也有，并且，Process可以动态产生！


Source:

我为这个语言写了编译器。Steve Tuecke (后来的globus 架构师)和Bob Olsen写了运行时系统。我倒是非常享受这个项目。那时的我，就是喜欢往系统栈的底层钻。当时的我，觉得世界上没有任何其他的研究比创建并行语言的编译和运行时系统更有吸引力。我当时觉得，并行计算的栈MPI 已经差不多完善了。而并行语言和运行时系统将是把并行计算推向主流的关键技术。

不过，一件事情改变了我的看法。

一次，我正在做MPI 和Fortran-M 的性能比较实验。结果Rusty Lusk来到我的办公室。满脸不悦。他说我在他的机器上运行了一个MPI 程序，使他的机器非常慢。问我是否可以杀掉它。我觉得很奇怪，我是用了他的机器跑了mpirun. 不过我已经Ctrl-C停掉了我的mpirun。怎么还会在他的机器上跑呢？ 后来才知道，他写的MPIRUN是使用rsh 在远程机器上启动MPI 进程。Rsh可以将远程进程的stdout, stderr 转到客户端，使用户有个透明的感觉。但是，当用户键入Ctrl-C 的时候，只是把mpirun 进程杀掉，而远程的进程就逃匿了。 不光没有被杀掉，而且在背景里跑得非常欢。 结论是，Rusty是“自食其果”。

我搜索了网络，发现这种逃匿MPI进程（Runaway MPI Processes）是许多超级计算机中心中造成极大的破坏。用户总是抱怨，怎么超级计算机越用越慢！其实都是因为每次mpirun 非正常中断后，在远程节点就会有逃匿进程出现。管理员最头痛地就是要时不时地登陆到几十个甚至上百个节点上去清除这些逃匿进程。

后来当我加入Platform Computing时候，周松年问我能为MPI做什么？我就说我要解决逃匿进程问题。在１９９６年我花了半年写了一个Parallel Application Support Software. 能够完全解决逃匿进程，并且还能精确地采集计算资源使用数据。后来成为公司LSF Parallel产品。

今天您使用HPC服务器的MSMPI，您也不会发现逃匿进程。这就是投入生产使用的运行时系统和学术界软件的区别。 这点，我们必须归功于那次Rusty Lusk和我的小小的不愉快。这点小不愉快，让我开始关注到许多用户因受MPICH的启动方式而导致的逃匿进程之苦。