First of all I would like to clear that there are different type of Sufis as Mahmud Shukri al Alusi said:
فأما من كان منهم على منهج الجنيد وأضرابه فهم أهل للثناء، وأما من كان يقول منهم بوحدة الوجود ويتكلم بما يصادم الشريعة فمدحهم والثناء عليهم مما يأباه العلماء الربانيون،
Those among them (sufis) who are on the Manhaj of Junaid and his like should be praised, But those who believe in Wahdatul Wajood and say things against the Shariyah, he should not be praised according to Rabbani scholars. [Ghayat al Eemani fe radd al Nabhani 1/460]
Sheikh Muhammad Al Ameen Shanqeeti says :
فَالْحُكْمُ بِالضَّلَالِ عَلَى جَمِيعِ الصُّوفِيَّةِ لَا يَنْبَغِي، وَلَا يَصِحُّ عَلَى إِطْلَاقِهِ،
The ruling (on declaring) all the Sufis as Deviant is not required and is not correct generally.
(أضواء البيان 4/88)
Ibn al Jawzi said:
فالتصوف مذهب معروف يزيد على الزهد ويدل على الفرق بينهما أن الزهد لم يذمه أحد وقد ذموا التصوف على ما سيأتي
Sufism is a way that is well known for exceeding in abstinence of worldly luxuries (zuhd). What shows the difference between them (i.e. scholars, and the Sufis) is that no one ever condemned abstinence (zuhd), whereas Sufism was condemned because of what we will mention later. [Tilbees Iblees (1/201)]
Now whether their Tafsir is accepted or not? Jalal ud din as-Suyuti said:
وأما في كلام الصوفية في القرآن فليس بتفسير .
قال ابن الصلاح في فتاويه : وجدت عن الإمام أبي الحسن الواحدي المفسر ، أنه قال : صنف أبو عبد الرحمن السلمي ” حقائق التفسير ” فإن كان قد اعتقد أن ذلك تفسير فقد كفر .
قال ابن الصلاح : وأنا أقول : الظن بمن يوثق به منهم – إذا قال شيئا من ذلك – أنه لم يذكره تفسيرا ، ولا ذهب به مذهب الشرح للكلمة ، فإنه لو كان كذلك كانوا قد سلكوا مسلك الباطنية ، وإنما ذلك منهم لنظير ما ورد به القرآن ، فإن النظير يذكر بالنظير ، ومع ذلك فيا ليتهم لم يتساهلوا بمثل ذلك لما فيه من الإيهام والإلباس .
وقال النسفي في عقائده : النصوص على ظاهرها ، والعدول عنها إلى معان يدعيها أهل الباطن إلحاد .
قال التفتازاني في شرحه : سميت الملاحدة باطنية لادعائهم أن النصوص ليست على ظاهرها ، بل لها معان باطنية لا يعرفها إلا المعلم ،
The Kalam of Sufis on Quran is not (even) Tafsir.
Ibn al Salaah quoted Imam abi al Hasan al Wahidi The Mufassir in his Fatawa that He said: Abu Abdul Rahman as-Sulami wrote a book “Haqaiq al Tafsir”. It is disbelief If one believes it (the book) to be the Tafsir of Quran.
Ibn al Salaah said: I say we should do Husn al Dhan regarding them that they did not write it with the intention of doing tafsir. If they wrote it with the intention of tafsir then they are followers of deviant sect al Baataniyah….
Nasfi said in his Aqeeda: It is must to interpret the Nusus on their apparent meaning. And it is ILHAAD if the meaning is interpreted like the Baatini sect do.
Taftazani said in its commentary: Mulhideen are called Baatinis because they claim that Nusus have some inner meaning rather than the apparent meaning which is only known by its Muallim [al Itteqaan fe ulum al Quran 2/458]
Jalal ud din as-Suyuti said regarding the people who fabricated ahadith in his poem Al-Alfiyyah
وشرهم صوفية قد وضعوا *** محتسبين الأجر فيما يدعوا
“Among them are Sufis who fabricated, while they are seeking reward for what they claim.”
[Al-Alfiyyah al Suyuti fe Ilm al Hadith page 44 al Maktabatul Ilmiyah, translation taken from islamweb]
Ibn Kathir said:
إِذَا لَمْ تَجِدِ التَّفْسِيرَ فِي الْقُرْآنِ وَلَا فِي السُّنَّةِ وَلَا وَجَدْتَهُ عَنِ الصَّحَابَةِ، فَقَدْ رَجَعَ كَثِيرٌ مِنَ الْأَئِمَّةِ فِي ذَلِكَ إِلَى أَقْوَالِ التَّابِعِينَ، كَمُجَاهِدِ بْنِ جَبْر فَإِنَّهُ كَانَ آيَةً فِي التَّفْسِيرِ، كَمَا قَالَ مُحَمَّدُ بْنُ إِسْحَاقَ: حَدَّثَنَا أَبَانُ بْنُ صَالِحٍ، عَنْ مُجَاهِدٍ، قَالَ: عَرضْتُ الْمُصْحَفَ عَلَى ابْنِ عَبَّاسٍ ثَلَاثَ عَرَضَاتٍ، مِنْ فَاتِحَتِهِ إِلَى خَاتِمَتِهِ، أُوقِفُهُ عِنْدَ كُلِّ آيَةٍ مِنْهُ، وَأَسْأَلُهُ عَنْهَا .
وَقَالَ ابْنُ جَرِيرٍ: حَدَّثَنَا أَبُو كُرَيْب، حَدَّثَنَا طَلْق بْنُ غَنَّامٍ، عَنْ عُثْمَانَ الْمَكِّيِّ، عَنِ ابْنِ أَبِي مُلَيْكَة قَالَ: رَأَيْتُ مُجَاهِدًا سَأَلَ ابْنَ عَبَّاسٍ عَنْ تَفْسِيرِ الْقُرْآنِ، وَمَعَهُ أَلْوَاحُهُ، قَالَ: فَيَقُولُ لَهُ ابْنُ عَبَّاسٍ: اكْتُبْ، حَتَّى سَأَلَهُ عَنِ التَّفْسِيرِ كُلِّهِ . وَلِهَذَا كَانَ سُفْيَانُ الثَّوْرِيُّ يَقُولُ: إِذَا جَاءَكَ التَّفْسِيرُ عَنْ مُجَاهِدٍ فَحَسْبُكَ بِهِ .
وَكَسَعِيدِ بْنِ جُبَيْر، وعِكْرِمة مَوْلَى ابْنِ عَبَّاسٍ، وَعَطَاءِ بْنِ أَبِي رَبَاحٍ، وَالْحَسَنِ الْبَصْرِيِّ، ومسروق ابن الْأَجْدَعِ، وَسَعِيدِ بْنِ الْمُسَيَّبِ، وَأَبِي الْعَالِيَةِ، وَالرَّبِيعِ بْنِ أَنَسٍ، وَقَتَادَةَ، وَالضَّحَّاكِ بْنِ مُزاحم، وَغَيْرِهِمْ مِنَ التَّابِعِينَ وَتَابِعِيهِمْ وَمَنْ بَعْدَهُمْ،
“When the tafsir (of the verse) can not be found in Quran, Sunnah and Sahaba then Many of the scholars take the Tafsir of Tabiyeen like Mujahid bin Jubayr…..[He mentioned some quotes of ullema in praise of Mujahid] Saeed bin Jubayr, Ikrimah mawla Ibn Abbas, Ata bin Abi Ribah, Hasan Basri, Masruq bin al Ajd`a, Saeed bin Musayyab, Abul Aaliyah, Rabi bin Anas, Qatadah, Zahhak bin Mazahum and others among the Tabiyeen and their followers after them. [Tafsir Ibn Kathir 1/10]
Asma narrated that
قَالَ: دَخَلَ رَجُلَانِ مِنْ أَصْحَابِ الْأَهْوَاءِ عَلَى ابْنِ سِيرِينَ فَقَالَا: يَا أَبَا بَكْرٍ نُحَدِّثُكَ بِحَدِيثٍ؟ قَالَ: «لَا»، قَالَا: فَنَقْرَأُ عَلَيْكَ آيَةً مِنْ كِتَابِ اللَّهِ؟ قَالَ: «لَا، لِتَقُومَانِ عَنِّي أَوْ لَأَقُومَنَّ»، قَالَ: فَخَرَجَا، فَقَالَ: بَعْضُ الْقَوْمِ. يَا أَبَا بَكْرٍ، وَمَا كَانَ عَلَيْكَ أَنْ يَقْرَآ عَلَيْكَ آيَةً مِنْ كِتَابِ اللَّهِ تَعَالَى؟ قَالَ: «إِنِّي خَشِيتُ أَنْ يَقْرَآ عَلَيَّ آيَةً فَيُحَرِّفَانِهَا، فَيَقِرُّ ذَلِكَ فِي قَلْبِي»
two followers of desires came to Ibn Sireen and said: Should we narrate a hadeeth to you? He replied no, They said should we recite from the Quran? He replied no, you should go or else i am going. When they went the people said: what was harm in it if they recite a verse of Quran? He replied, I fear that if they recite something and twist (the meaning) which (will look good) to my heart. [Sunan ad-Darami no. 411 authenticated by Husayn Saleem Asad and Abdul Mannan Raasikh]
Imam ad-Darami mentioned this under the chapter
بَابُ اجْتِنَابِ أَهْلِ الْأَهْوَاءِ، وَالْبِدَعِ، وَالْخُصُومَةِ
Staying away from people of desire, innovations and those who fight (in arguments).