すみません前に一度お話した時相性が合いそうにも無かったので申し訳ありませんがお相手願えません、無言退出でいいのでスルー希望

とか言ってみれば？