退去時に、家主から日光でクロスが変色してしまっているからそのクロスの張替費用を敷金より引いておくと言われました。仕方のないことなのでしょうか？

家主の言い分はとおりません。
退去時に家主から原状回復名目に不当な支払いを要求されたり、敷金から天引きされたりするトラブルが多くあります。
このような、トラブルを防ぐため、国土交通省は「原状回復トラブルとガイドライン」を作成しています。このガイドラインによれば、通常の使用による損耗部分や経年劣化については貸主が負担するのが原則となっています。
そうすると、日光という自然現象によるクロスの変色は通常損耗ですから、貸主負担とされるべきであり、敷金より引いておくという家主の言い分は通りません。
貸主側の対応に疑問がある場合は、一度弁護士にご相談下さい。