$解:(1)∵ △AOC的面积为4,AC⊥x轴,点A 的坐标为(-2,a)$
$∴AC=\frac{2×4}{2}=4,即a=4∴点A的坐标为(-2,4)$
$∵点A在反比例函数y=\frac{k}{x}的图象上,∴k=-8$
$∴反比例函数的解析式为y=-\frac{8}{x}$
$把B(b,-1)代入得b=8$
$(2)x\lt -2或0\lt x\lt 8$
$(3)设点A(-2,4)关于y轴的对称点为A',易知点A'的坐标为(2,4),则直线A'B与y轴的交点即为所求的点P$
$通过A',B坐标可求得直线A'B对应的函数为y=-\frac{5}{6}x+\frac{17}{3}$
$当x=0时,y=\frac{17}{3},∴ 直线y=-\frac{5}{6}x+\frac{17}{3}与y轴的交点坐标为(0,\frac{17}{3})$
$即点P 的坐标为(0,\frac{17}{3})$