初対面の人に「思ったより普通に見えるね」と言われるたび、説明に疲れます

発達障害があり、障害者雇用枠で働いています。見た目では分からないので、初対面の方にはよく「全然そう見えない」と言われます。 悪気がないのは分かります。ただ、そのたびに何が苦手なのかを一から説明することになり、だんだん疲れてきました。 説明しないと配慮が伝わらないのに、説明すると「そのくらい誰でもある」と返ってくることもあります。 何度も説明せずに済む伝え方を、工夫している方はいますか。