解:$(1)$设垂直于墙的边为$x$米,围成的矩形面积为$S $平方米
则平行于墙的边为$(120-3x)$米
根据题意,得$S=x(120-3x)=-3x^2+120x=-3(x-20)^2+1200$
∵$-3< 0$
∴当$x=20$时,$S $取最大值$1200$
∴$120-3x=120-3×20=60$
∴垂直于墙的边为$20$米,平行于墙的边为$60$米,花园面积最大为$1200$平方米
$ (2)$设购买牡丹$m $株,则购买芍药$1200×2-m=(2400-m)$株
∵学校计划购买费用不超过$5$万元
∴$25m+15(2400-m)≤50000$
解得$m≤1400$
∴最多可以购买$1400$株牡丹