解：$(1) $由$ x+2y=5，$得$ x=-2y+5$
当$ y=1 $时，$x=3；$当$ y=2 $时，$x=1$
∴方程$ x+2 y=5 $的所有正整数解为$\{\begin{array}{l}x=3\\y=1\end{array}，$$\{\begin{array}{l}x=1\\y=2\end{array}$
$(2) $联立方程组$ \{\begin{array}{l}x+2y=5\\x+y=0\end{array}，$解得$ \{\begin{array}{l}x=-5\\y=5\end{array} $
把$ \{\begin{array}{l}x=-5\\y=5\end{array} $代入$ x-2y+mx+9=0，$得$ -5-10-5m+9=0，$解得$m=-\frac 65$
$(3) $解方程组$ \{\begin{array}{l}x+2y=5\\x-2y+mx+9=0\end{array}$得$ \{\begin{array}{l}x=-\frac {4}{m+2}\\y=\frac {5m+14}{2m+4}\end{array}$
当$ x=-\frac {4}{m+2} $为整数时，$m+2 $可取的值为$ \pm 1，$$\pm 2，$$\pm 4，$则
$ m $可取的值为$ -1，$$-3，$$0，$$-4，$$2，$$-6$
当$ m=-1 $时，$y=\frac {9}{2} ；$当$ m=-3 $时，$y= \frac {1}{2}；$
当$ m=0 $时，$y=\frac {7}{2} ；$当$ m=-4 $时，$y=\frac {3}{2} ；$
当$ m=2 $时，$y=3 ；$当$ m=-6 $时，$y=2. $
综上所述，该方程组有整数解时，整数$ m $的值为$ 2 $或$ -6$
