解:$(1)$设$y$与$x$之间的关系式为$xy=k$
把$x=2$,$y=300$代入,得$2×300=k$,解得$k=600$
∴$y$与$x$之间的关系式为$y=\frac {600}{x}$
$(2)$∵$y=\frac {600}{x}$
∴当$y=180$时,$x=\frac {600}{180}$,解得$x=\frac {10}{3}$
答:如果要在$180\mathrm {\mathrm {min}}$内装完货物,那么装载货物的速度至少为$\frac {10}{3}t/\mathrm {\mathrm {min}}.$