解:记$\begin{cases}{3x+5y=a+4 ①} \\{2x+3y=a②} \end{cases}$
由$①×2-②×3$可得$y=-a+8$
将$y=-a+8$代入②可得$x=2a-12$
∵$|x|=|y|$
∴$x=±y$
当$x=y$时,$2a-12=-a+8,$解得$a=\frac {20}{3}$
当$x=-y$时,$2a-12=-(-a+8),$解得$a=4$
综上所述:$a$的值为$\frac {20}{3}$或$4$