定額支給される講師旅費の源泉徴収について

外部講師に講演や会議のたびに、1 回あたり 2,000 円程度の「旅費」を定額で支給している顧問先があります。
この旅費については実費精算を行っておらず、源泉徴収もしていません。

私としては、本来であれば定額支給の旅費部分についても源泉徴収が必要だと考えています。
ところが、これまで税理士からの指導でも、税務調査においても特に問題視されたことはないとのことです。

実務上、このように定額支給される講師旅費について、源泉徴収を行っていなくても問題とされるケースは少ないのでしょうか。