解：$(1)$∵$x-y=3$
∴$x=y+3$
∵$x＞2$
∴$y+3＞2$
∴$y＞-1$
∵$y＜1$
∴$-1＜y＜1，$①
同理得：$2＜x＜4，$②
由$①+②$得$-1+2＜y+x＜1+4$
∴$x+y$的取值范围是$1＜x+y＜5$
$(2)$∵$x-y=a$
∴$x=y+a$
∵$x＜-1$
∴$y+a＜-1$
∴$y＜-a-1$
∵$y＞1$
∴$1＜y＜-a-1，$①
同理得：$a+1＜x＜-1，$②
由$①+②$得$1+a+1＜y+x＜-a-1+(-1)$
∴$x+y$的取值范围是$a+2＜x+y＜-a-2$
