Meine persönliche Idee dazu:

Natürlich sollte auch ein öffentlicher Apparat effizient arbeiten.
Privatisierungen sind da meiner Meinung nach allerdings nicht der richtige Weg. Man sieht dies an Privatisierungen im Bahn-, Post- und anderen Bereichen (Strom) welche immer mit einer Leistungsverschlechterung oder mit Verteuerungen für den Verbraucher einher gehen. Zusätzlich sehen wir dort eine zunehmende Ausbeutung der Mitarbeiter durch Lohndumping.
Steuervereinfachungen wie die von der Linkspartei angedachte solidarische Kranken- und Rentenversicherung für Alle (ohne bürokratische Ausnahmen), Abschaffungen der Steuerschlupflöcher und der meisten Steuerprivilegien, der Besteuerung von Unternehmen im Zuge einer Wertschöpfungsabgabe sind ein erster Weg zu einer Entbürokaratisierung.
Allein eine Entbürokratisierung des Umfeldes wird allerdings noch keinen Bürokratieabbau garantieren, da wie Sie selbst bestätigen sich der Apparat selbst schützt. Es gibt aber sehr viele Aufgaben, z.B. im sozialen Bereich, in denen diese dann frei werdenden staatlichen Bediensteten sehr sinnvoll eingesetzt werden könnten.