解：$(1)$由题意，把$A(3$，$1)$，$B(-1$，$n)$分别代入$y=\frac {m}{x}$中
得$\begin {cases}{ 1=\frac {m}{3}}\\{n=\frac {m}{-1}}\end {cases}$，解得$\begin {cases}{ m=3}\\{n=-3}\end {cases}$
∴点$B$的坐标为$(-1$，$-3)$，反比例函数的表达式为$y=\frac {3}{x} $
∵点$A(3$，$1)$和点$B(-1$，$-3)$都在直线$y=kx+b$上
∴$\begin {cases}{ 3k+b=1}\\{-k+b=-3}\end {cases}$，解得$\begin {cases}{k=1}\\{b=-2}\end {cases}$
∴一次函数的表达式为$y=x-2$
