税务行政处罚的形式包括责令限期改正、罚款、没收财产及行政拘留等。罚款额在二千元以下的，可以由税务所决定。其他税务行政处罚由县以上税务机关决定。

　　【法律依据】

　　《行政处罚法》第八条，行政处罚的种类:

　　(一)警告;

　　(二)罚款;

　　(三)没收违法所得、没收非法财物;

　　(四)责令停产停业;

　　(五)暂扣或者吊销许可证、暂扣或者吊销执照;

　　(六)行政拘留;

　　(七)法律、行政法规规定的其他行政处罚。

　　根据《发票管理办法》第三十七条第一款的规定：“违反本办法第二十二条第二款的规定虚开发票的，由税务机关没收违法所得;虚开金额在1万元以下的，可以并处5万元以下的罚款;虚开金额超过1万元的，并处5万元以上50万元以下的罚款;构成犯罪的，依法追究刑事责任。” 那么，具体应该如何进行处罚呢?这就涉及了税务行政处罚的裁量问题。

　　根据《税务行政处罚裁量权行使规则》第三条的规定，税务行政处罚裁量权，是指税务机关根据法律、法规和规章的规定，综合考虑税收违法行为的事实、性质、情节及社会危害程度，选择处罚种类和幅度并作出处罚决定的权力。

　　而《税务行政处罚裁量权行使规则》第四条的规定，税务行政处罚的种类有四种：一是罚款;二是没收违法所得、没收非法财物;三是停止出口退税权;四是法律、法规和规章规定的其他行政处罚。而根据《发票管理办法》第三十七条的规定，虚开增值税专用发票的税务行政处罚有：罚款和没收违法所得。

　　那么，具体应该如何裁量呢?以广东省为例，根据《广东省税务系统规范税务行政处罚裁量权实施办法》第六条的规定：“税务机关实施行政处罚，应当根据本办法，按照《广东省税务系统税务行政处罚裁量基准》(见附件，以下简称《裁量基准》)执行。”“《裁量基准》根据税收违法行为的具体情节，将违法程度分为‘轻微’‘较轻’‘一般’和‘严重’档次，并细化相应的处罚基准。”而虚开发票的违法程度分为三级五等，即“较轻”“一般”和“严重”，其中，“严重”程度根据虚开发票金额的不同而处以不同的罚款。