解：$(1)$设垂直于墙的边长为$x$米，围成的花园面积为$S$平方米，
则平行于墙的边长为$(120-3x)$米
根据题意，得$S=x(120-3x)=-3x²+120x=-3(x-20)²+1200$
∵$-3<0$
∴当$x=20$时，$S$取最大值，最大值为$1200$
∴$120-3x=120-3×20=60$
∴垂直于墙的边长为$20$米，平行于墙的边长为$60$米，花园面积最大为$1200$平方米
$ (2)$设购买牡丹$m $株，则购买芍药$1200×2-m=(2400-m)$株
∵学校计划购买费用不超过$5$万元
∴$25m+15(2400-m)≤50000$
解得$m≤1400$
∴最多可以购买$1400$株牡丹
