國民有依法繳稅的義務，然而，近年來卻不斷傳出許多因為烏龍稅單牽連而被莫名扣押財產、限制出境的稅災戶，台灣已經引入國際人權兩公約，嚴重侵害人民遷徙自由的事件竟層出不窮，甚至引起國際人權專家關注，據統計國人因財稅問題被限制出境的約有一萬八千多件。102年12月23日財政部針對稅捐稽徵法限制欠稅人出境的修法，召開一場公聽會，參與此公聽會的人士包括政府機關代表、NGO團體、以及包括會計師、律師、記帳士等職業團體公會代表。
稅捐稽徵法第24條賦與財政部一個權利：把欠稅人財產都凍結以後，假如還不夠還可以將人限制出境。然而當一個人的財產不足以償付欠稅，用限制出境逼稅有用嗎？根據專家的研究統計，以限制出境方式回收的稅款，只有1.3552%，顯示限制出境並無法有效達到追稅之目的，反而很多人因此無法出國經商工作，家庭無法團聚等，製造更多生存問題。
中華人權協會理事長蘇友辰表示，反對用限制出境來追稅，並不是要保護那些欠稅大戶，而是普羅的弱勢欠稅人，社會公益和人權本應沒有衝突，但是利用限制遷徙自由來追求租稅保全卻無法達成所謂的公益目的，欠稅大戶抓不到，無力償還的稅災戶卻被限制出境，不僅危害他們的尊嚴，更侵害憲法所保障的基本人權。對於稅捐稽徵法第24 條和第48 條侵害人權的部分，應該立即修法。
臺台灣財經刑法學會代表蔣瑞琴律師以及聯合國/NGO世界公民總會秘書長李斐隆均表示，利用限制出境做為討稅的手段並未經由法院審理並判決，而逕由財政機關片面決定，除了嚴重侵害人民的自由，更可能構成刑法第302條剝奪行動自由罪、違反憲法對人民自由遷徙的保障、傷害國家的人權形象。
為維護國家的公平正義與人民的基本人權，中正大學盛子龍教授認為，由稽徵機關決定欠稅限制出境，對於租稅債權危害事實的認定和涉及證據法的認定都有困難，如果可參考德國交由法官裁決限制出境的正當性和必要性，才不會牽連無辜、危害人權。總統府人權諮詢委員會委員李永然律師認為在國際化時代，遷徙自由越顯重要，政府已經比一般人有更優渥的措施，如果都已經查不到任何的財產，再限制自由把稅弄出來，這變成是一個間接強制的手段，台灣加入兩公約，應該有別於過去的作法，這樣才是人權的一大進步。
針對限制出境危害人權部分是否違反比例原則以及違反國際兩公約之公政公約的部分，東吳大學法律系