解：$(1)$甲的速度为$x$千米$/$时，乙的速度为$y$千米$/$时
由题意可得$\begin {cases}{4x+4y=36}\\{36-(4+2)x=2[36-(4+2)y]}\end {cases}，$解得$\begin {cases}{x=4}\\{y=5}\end {cases}$
答：甲每小时行$4$千米，乙每小时行$5$千米。
$(2)$相遇之前相距$6\ \mathrm {km}$：$(36-6)÷(4+5)=\frac {10}{3}($小时$)$
相遇之后相距$6\ \mathrm {km}$：$(36+6)÷(4+5)=\frac {14}{3}($小时$)$
答：在他们出发$\frac {10}{3}$小时或$\frac {14}{3}$小时后两人相距$6\ \mathrm {km}。$
