Fondé par Louis Andrieux, député radical et procureur de la République, le 15 octobre 1876 avec Jules Roche, un ancien confrère d'Andrieu au barreau, comme rédacteur en chef, Le Petit Parisien est au départ de tendance anticléricale et radicale.

Après des débuts difficiles et plusieurs changements de propriétaires, il connaît le succès avec l'arrivée de Jean Dupuy à sa direction en 1888.  

Jean Dupuy, sénateur et souvent ministre, a une grande influence sur la vie politique française et dirige le journal qu'il a racheté 4 ans plus tôt avec habileté en le maintenant dans une ligne de gauche modérée.

Délaissant son positionnement de journal sensasionnaliste, il devient alors un quotidien d'information générale, adopte pour mot d'ordre "Jamais de polémique" et donne une large place aux reportages de ses correspondants étrangers et envoyés spéciaux, avec des plumes prestigieuses comme Albert Londres, Henri Béraud ou Claude Anet. Le journal développe aussi les faits divers, le sport et les romans-feuilletons, ce qui lui vaut une popularité croissante.

En 1914, Le Petit Parisien, avec un tirage d'un million et demi d'exemplaires, peut se vanter d'avoir "le plus fort tirage des journaux du monde entier". Le groupe Dupuy édite aussi un Supplément illustré et des magazines illustrés dont Le Miroir. C'est alors la plus grande entreprise de presse française.

Après la mort de Jean Dupuy en 1919, ses héritiers arrivent à maintenir le tirage aux alentours d'un million et demi jusqu'en 1931, mais ils échouent dans leurs tentatives de lancer des éditions provinciales à l'image des grands quotidiens londoniens. Par ailleurs, dès les années suivantes, ils doivent faire face à la concurrence croissante des grands journaux régionaux.

En 1944, à la Libération, le journal, transformé pendant l'Occupation par le gouvernement militaire allemand en organe de propagande, est suspendu et Pierre Dupuy, qui a succédé à son père à la direction du journal, est accusé de collaboration (il sera acquitté). Le Petit Parisien est alors supprimé et le tout nouveau Parisien libéré le remplace dans les kiosques.