$解:(1)将A(a,3)代入y=-\frac{3}{4}x,得-\frac{3}{4}a=3,解得a=-4$
$∴点A的坐标为(-4,3)$
$又∵点A在反比例函数y=\frac{k}{x}(k≠0)的图象上,∴k=-4×3=-12$
$∴反比例函数的解析式为y=-\frac{12}{x}$
$(2)∵正比例函数图象和反比例函数图象都关于坐标原点成中心对称$
$∴点C的坐标为(4,-3)$
$设点B的坐标为(b,0).由S_{△ABC}=2,得\frac{1}{2}×|b|×(3+3)=2,解得b=±\frac{2}{3}$
$∴点B的坐标为(\frac{2}{3},0)或(-\frac{2}{3},0)$
(3)m<-4或m>4