解：$(1)$当$x＜40$时，设$y$与$x$的函数关系式为$y=kx+b$
由图可得，$\begin {cases}{10k+b=2000 } \\{30k+b=3000} \end {cases}$，解得$\begin {cases}{k=50}\\{b=1500}\end {cases}$
即当$x＜40$时，$y$与$x$的函数关系式为$y=50x+1500$
当$x=40$时，$y=50×40+1500=3500$
∵在第$40$天后每天的需水量比前一天增加$100$千克
∴第$41$天需水量为$3600$千克
当$x≥40$时，设$y$与$x$的函数关系式为$y=mx+n$
$\begin {cases}{40m+n=3500 } \\{41m+n=3600} \end {cases}$，解得$\begin {cases}{m=100}\\{n=-500}\end {cases}$
即当$x≥40$时，$y$与$x$的函数关系式为$y=100x-500$
$(2)$将$y=4000$代入$y=100x-500$，得$4000=100x-500$
解得$x=45$
∴应从第$45$天开始进行人工灌溉
