職場の人に毎日ランチに誘われます。断ると角が立ちそうで、昼休みに休めません

入社3か月です。職場の方はみんな親切で、毎日お昼に誘ってくれます。 ありがたいのですが、昼休みは一人で静かに過ごさないと、午後の集中が持ちません。 一度だけ断ったときに「体調悪い？」と心配されてしまい、それ以来言い出せずにいます。配慮をお願いするほどのことでもない気がして、毎日ついて行っています。 こういう小さいことは、どう伝えたらいいでしょうか。