$解:(1)∵正方形OABC的顶点C的坐标为(0,3)$
$∴OA=AB=BC=OC=3,∠OAB=∠B=∠BCO=90°$
$∵AD=2DB$
$∴AD=\frac 23AB=2$
$∴点D的坐标为(-3,2)$
$把点D(-3,2)代入y=\frac mx,得m=-6$
$∴反比例函数的表达式为y=-\frac 6x(x\lt 0)$
$∵AM=2MO$
$∴MO=\frac 13OA=1$
$∴点M的坐标为(-1,0)$
$把M(-1,0)、D(-3,2)代入y=kx+b得\begin{cases}-k+b=0\\-3k+b=2\end{cases}\ $
$解得\begin{cases}k=-1\\b=-1\end{cases}$
$∴一次函数的表达式为y=-x-1$
$把y=3代入y=-\frac 6x,得x=-2$
$∴点N的坐标为(-2,3),即NC=2$
$设点P的坐标为(x_p,y_p)$
$∵△OPM的面积与四边形OMNC的面积相等$
$∴\frac 12MO \cdot |y_P|=\frac 12(MO+NC) \cdot OC,$
$即\frac 12×1×|y_P|=\frac 12×(1+2)×3$
$∴|y_P|=9,解得y_P=±9$
$当y_P=9时,x_P=-10;$
$当y_P=-9时,x_P=8$
$∴点P的坐标为(-10,9)或(8,-9)$