$解:(1)3x²-x=0,即x(3x-1)=0,$
$解得x=\frac{1}{3}或x=0.$
$(2)(x+3)²-4x²=0,\ $
$(x+3+2x)(x+3-2x)=0,$
$(3x+3)(-x+3)=0,$
$解得x=-1或x=3.$
$(3)因为△ABC的三边长为4、x、y,$
$ 所以x+y\gt 4,x+4\gt y.$
$ 所以x+y-4\gt 0,x-y+4\gt 0.$
$ 因为y²-8y+16-x²$
$=(y-4)²-x²$
$=(y-4-x)·(y-4+x)\lt 0.$
$ 所以代数式y²-8y+16-x²的值的符号为负号.$