<div dir="ltr"><div>Hi Karel, I've just updated the openmpi slackbuild. <br></div><div><br></div><div>The option --with-pmi=pmi2  was giving me the following errors:</div><div> <br></div><div>checking if user requested PMI support... yes<br>checking for pmi.h in pmi2... not found<br>checking for pmi.h in pmi2/include... not found<br>checking for pmi.h in pmi2/include/slurm... not found<br>checking for libpmi in pmi2/lib... checking for libpmi in pmi2/lib64... not found<br>checking for pmi2.h in pmi2... not found<br>checking for pmi2.h in pmi2/include... not found<br>checking for pmi2.h in pmi2/include/slurm... not found<br>checking for libpmi2 in pmi2/lib... checking for libpmi2 in pmi2/lib64... not found<br>checking for pmix.h in pmi2... not found<br>checking for pmix.h in pmi2/include... not found<br>checking can PMI support be built... no<br>configure: WARNING: PMI support requested (via --with-pmi) but neither pmi.h,<br>configure: WARNING: pmi2.h or pmix.h were found under locations:<br>configure: WARNING:     pmi2<br>configure: WARNING:     pmi2/slurm<br>configure: WARNING: Specified path: pmi2<br>configure: WARNING: OR neither libpmi, libpmi2, or libpmix were found under:<br>configure: WARNING:     /lib<br>configure: WARNING:     /lib64<br>configure: WARNING: Specified path:<br>configure: error: Aborting<br></div><div><br></div><div>What version of slurm are you using?<br></div><div>I've added --with-slurm --with-pmix as optional dependencies to openmpi and also updated slurm to the latest version. <br></div><div><br></div><div>Let me know if you find any more problems :-) <br></div><div><br></div><div>Best regards. <br></div><div><br></div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Jul 25, 2019 at 12:54 PM Karel Venken <<a href="mailto:k.venken@online.be" target="_blank">k.venken@online.be</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Emmanuel wrote:<br>
><br>
><br>
> On Thu, Jul 25, 2019 at 5:04 AM Robby Workman <br>
> <<a href="mailto:rworkman@slackbuilds.org" target="_blank">rworkman@slackbuilds.org</a> <mailto:<a href="mailto:rworkman@slackbuilds.org" target="_blank">rworkman@slackbuilds.org</a>>> wrote:<br>
><br>
>     On Thu, 25 Jul 2019 09:58:03 +0200<br>
>     Karel Venken <<a href="mailto:kava0418@online.be" target="_blank">kava0418@online.be</a> <mailto:<a href="mailto:kava0418@online.be" target="_blank">kava0418@online.be</a>>> wrote:<br>
><br>
>     > Hi,<br>
>     ><br>
>     > For installing our cluster we need to add to the<br>
>     openmpi.Slackbuilds<br>
>     > with --with-pmi=pmi2 configure option. So it becomes:<br>
>     ><br>
>     > ./configure \<br>
>     >    --prefix=/usr \<br>
>     >    --sysconfdir=/etc \<br>
>     >    --localstatedir=/var/lib \<br>
>     >    --mandir=/usr/man/ \<br>
>     >    --enable-mpi1-compability \<br>
>     >    --docdir=/usr/doc/$PRGNAM-$VERSION \<br>
>     >    --disable-static \<br>
>     >    --libdir=/usr/lib${LIBDIRSUFFIX} \<br>
>     >    --build=$ARCH-slackware-linux \<br>
>     >    --with-pmi=pmi2<br>
>     ><br>
>     ><br>
>     > The background is to use mpi with slurm and a NUMA kernel - we build<br>
>     > it ourself. Without this parameter openmpi crashes. Would this be an<br>
>     > option?<br>
><br>
><br>
>     CCing SBo maintainer of openmpi; if there's no response and/or an<br>
>     update with that fixed within a few weeks, follow up with us and<br>
>     we'll handle it directly.<br>
><br>
>     -RW<br>
><br>
><br>
> Hi Karel,<br>
><br>
> I'm the maintainer of openmpi and slurm, let me try this parameter in <br>
> my cluster because we haven't had issues with the current package and <br>
> slurm (and also with several versions of openmpi, 1.8.x, 1.10.x, <br>
> 2.1.1). Can you send me the exact error? Have you modified the slurm <br>
> build script to add --with-pmi?  are you running mpirun in the slurm <br>
> submit job script or srun?<br>
><br>
> In any case, I will submit a new version of the script in the next few <br>
> days.<br>
><br>
<br>
Hi Emmanuel,<br>
<br>
Thanks for answering so soon. I added optional dependencies numactl <br>
hwloc and rrdtool to slurm and of course for building I set the <br>
environment with HWLOC=yes RRDTOOL=yes<br>
<br>
(We also integrate slurm with ganglia, but that's besides the point <br>
here, just to mention we activated rrdtool there as well)<br>
<br>
The error was produced by one of our applications warning about numa and <br>
then crashing/hanging at the mpi request. Everything then worked fine <br>
when we changed this compilation. (I have had a discussion in the <br>
slackware newsgroup about NUMA)<br>
<br>
I am sorry that I didn't keep the log of the application.<br>
<br>
FWW, to allow this application to use memory shared over different nodes <br>
we also had to recompile the kernel with NUMA option enabled (the stock <br>
kernel has it turned off, but, if I am correct, the current version has <br>
it activated)<br>
<br>
If this goes beyond what you can/want to investigate, that's OK. I am <br>
already thankful you want to give it a look. Anf, of course, if it is a <br>
problem in version 14.2, we 'll pick it up again if needed when a new <br>
version arrives.<br>
<br>
kind regards,<br>
<br>
Karel.<br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
</blockquote></div><br clear="all"><br>-- <br><div dir="ltr" class="gmail-m_-6676739467656017735gmail_signature">*****************<br>   Emmanuel</div>