Unos 235 legisladores, cuatro más de los necesarios, votaron en contra del gobierno del primer ministro Mihai Razvan Ungureanu.
El líder de la oposición Victor Ponta dijo que la votación representa el fin de "un sistema abusivo que utiliza cualquier arma posible.
"Es ocasiones hay justicia. Hoy hubo justicia", afirmó Ponta.
El presidente Traian Basescu designará un nuevo primer ministro, que deberá presentar otro programa para su aprobación en el parlamento.
El gobierno checo encaraba igualmente el viernes una moción de censura, aunque seguramente sobrevivirá pese a la creciente ira popular contra la corrupción y las medidas de austeridad.
El ex primer ministro rumano Emil Boc, cuyo gobierno de cuatro años cayó en febrero tras semanas de violentas manifestaciones por las medidas de austeridad, consideró la votación "una victoria del oportunismo político y el cambio de partido".
Empero, agregó, "asumo la responsabilidad de este fracaso".
La divisa nacional rumana, el leu, cayó casi a su nivel histórico más bajo tras la noticia. Basescu se reunía con los dirigentes de los partidos políticos rumanos para efectuar consultas en el palacio presidencial de Cotroceni sobre la formación de un nuevo gobierno.
Miles de personas han protestado en los últimos meses en ambos países y pidieron a sus respectivos gobiernos que abandonen las medidas de austeridad y que renuncien.
En Praga, el primer ministro Petr Necas prometió continuar las reformas si sobrevive su gobierno.
"Debemos adoptar hoy las medidas. Si las postergamos, tendremos que adoptarlas a la postre pero serán mucho más penosas", dijo a los legisladores.
Los checos están molestos con el aumento del impuesto a las ventas y una carga extra del 7% a los salarios elevados, y debido a ello los social-demócratas han aumentado su popularidad en los sondeos de opinión.
En Bucarest, el gobierno aumentó el impuesto a las ventas al 24% y redujo los salarios de los funcionarios públicos en un cuarto a fin de cumplir las condiciones impuestas en el 2009 por el Fondo Monetario Internacional, la Unión Europea y el Banco Mundial para recibir un plan de rescate de 20.000 millones de euros (26.000 millones de dólares).
