Les artistes qui composent ce groupe sont tous issus de Toulouse, ville qui les a vus grandir, et au sein de laquelle ils se sont beaucoup engagés culturellement et politiquement. En 1985, une association toulousaine Vitécri, réalise le film Salah, Malik : Beurs qui raconte les déboires d'un groupe de musique, les "Zebda Bird", pour trouver un local où jouer. Les artistes sont joués par les jeunes Magyd Cherfi, Pascal Cabero et Joël Saurin. Après le tournage du film, le groupe se crée réellement et adopte le nom Zebda et accueille Mustapha et Hakim Amokrane, Vincent Sauvage et, plus tard, Rémi Sanchez.
Le nom du groupe vient du mot arabe zebda, qui signifie beurre. C’est un jeu avec le mot beur, qui signifie arabe en verlan (beur à son tour a été verlanisé depuis pour donner rebeu).
Musicalement, Zebda est un métissage de sons, d’influences rock, rap, raï et reggae. Avec Noir Désir et Manu Chao, le dynamique groupe toulousain est le fer de lance de l’engagement pour des causes diverses. Magyd Cherfi rédigeant la plupart des textes du groupe, il s’inscrit dans la lignée des chanteurs à textes. Ils marquent également un engagement politique et social, allant jusqu’à reprendre un discours de 1991 de Jacques Chirac sur le bruit et l’odeur provoqués par les immigrés dans les HLM, dans la chanson Le Bruit et l’odeur, et en utilisant le terme de « lutte de classe » dans Le Chant des partisans.
Le résultat de cet engagement politique a mené à la création et à la participation d’un mouvement citoyen qui a abouti à des listes électorales dans différentes villes de France, lors des élections municipales de mars 2001, sous le nom de Motivé-e-s. Ce mouvement a rassemblé bon nombre de notables toulousains, tous secteurs confondus et, avec 12,38 % des voix, il a obtenu quatre sièges au conseil municipal.
Le groupe a connu un grand succès avec sa chanson Tomber la chemise, qui s’inscrit dans la grande tradition française de l’hymne festif, en compagnie de Viens poupoule, La danse des canards, Le travail, c’est la santé et autres succès populaires. C’était la première fois qu’une chanson de ce type était lancée par un groupe se réclamant de l’immigration (Henri Salvador, en effet, est Guyanais). Elle s’inscrivit rapidement au patrimoine national et francophone.
En 2003, le groupe décide de faire une "pause" pour s'essayer à d'autres projets. L'album solo de Magyd Cherfi sort ainsi en 2004, année où Mouss et Hakim reprennent Le Nougat avec Brigitte Fontaine, sur l'album Rue Saint-Louis en l'île. En 2005, les frères Amokrane sortent dans la foulée leur premier CD sans Magyd : Mouss et Hakim ou le contraire. En 2007, Pascal Cabero, le guitariste, publie un livre sur l'histoire du groupe (Tomber la chemise, éd. Danger Public).