Die Chilis und Paprikas haben ihre Wurzeln in Mittel- und Südamerika und wurden dort schon vor etwa 3000 Jahren angebaut.

Als Urform der Chili gilt die Birds-Eye Chili (auch Tepin genannt).Diese Sorte ist sehr scharf und bildet nur kleine Früchte aus. Durch gezielte Züchtung entstanden so über diese lange Zeit sämtliche heute bekannten Sorten.Da die Rezeptoren von Vögeln anders aufgebaut sind als bei den Säugetieren können die Vögel die Schärfe nicht wahrnehmen. Daher vermutlich auch der Name Birds-Eye, durch die rote Färbung wurden die Ur-Chilis von Vögeln gefressen und konnten sich so bis nach Mittelamerika ausbreiten. Da die Schärfe auf die meisten Säugetiere (den Menschen mal ausgenommen) abschreckt konnten sich die Chilis schneller und weiter ausbreiten, da Vögel für gewöhnlich weitere Strecken zurücklegten als Säugetiere.

Die Arten C. annuum, C. frutescens und C. chinense entwickelten sich aus einem gemeinsamen Vorläufer, der im nördlichen Amazonasbecken (Nordwestbrasilien, Kolumbien) beheimatet war. Von dort fächerte sich die Entwicklung der Arten auf: C. annuum und C. frutescens breiteten sich nach Norden aus und wurden dort (in Mexiko bzw. Panama) in Kultur genommen. C. chinense dagegen wanderte westwärts und wurde in Peru domestiziert (allerdings wird diese Art heute in Südamerika kaum mehr angebaut).

Ebenfalls eine westliche Ausbreitung erfuhren zwei weitere heute kultivierte Arten, die mit den vorherigen entfernter verwandt sind: C. baccatum im peruanischen Tiefland und C. pubescens im Andenhochland (Peru, Bolivien, Ecuador).Bei Ausgrabungen in einem Tal bei Tehuacán (Mexiko) konnten Belege gefunden werden, die beweisen, dass Paprika bereits um 7000 v. Chr. als Nutzpflanzen dienten. Dabei handelte es sich noch um die Wildformen der Pflanzen, erste durch Selektion entstandene Zuchtformen werden auf den Zeitraum zwischen 5200 und 3400 v. Chr. geschätzt.

Alle fünf noch heute kultivierten Arten wurden bereits vor der Entdeckung Amerikas durch die einheimischen Völker domestiziert. Christoph Kolumbus' Reisen ab 1492 hatten auch zum Ziel, das damalige Monopol Venedigs im Pfeffer- und Gewürzhandel zu brechen.Nachdem er seiner Vermutung nach in Indien landete, lernte er dort scharfe Früchte, die von den Einwohnern zum Würzen von Speisen verwendet wurden, kennen. Zunächst wurden diese Früchte nach dem bereits aus Indien bekannten schwarzen Pfeffer Pimienta genannt. Es ist unklar, ob Kolumbus glaubte, Verwandte des ihm bekannten schwarzen Pfeffers gefunden zu haben, oder ob er den Vergleich bewusst heranzog, um die Verwendung als Gewürz hervorzuheben.

Die erste schriftliche Erwähnung der Pflanzengattung stammt von der zweiten Fahrt Kolumbus', während der der mitgereiste Arzt Diego Alvarez Chanca die Pflanze in einem Brief an die Auftraggeber der Reise erwähnte. Durch nach Europa mitgebrachte Früchte konnten schon bald in Spanien die ersten Pflanzen angebaut werden. Noch heute sind Paprika auch unter dem Namen "Spanischer Pfeffer" bekannt.Bartolomé de las Casas beschreibt mehrere Paprika, die er nach seiner Ankunft in Amerika 1502 fand, unter anderem eine Pflanze mit länglichen und schlanken, sowie eine mit kirschförmigen und schärferen Früchten. Der Hesse Hans Stade, der zwischen 1547 und 1555 von Eingeborenen des heutigen westlichen Brasiliens festgehalten wurde, beschrieb zwei Formen der dort genutzten Paprika: eine gelbe und eine rote.Durch den Kolonialismus dieser Zeit und den zunehmenden Welthandel, vor allem durch die Portugiesen, breiteten sich Sorten der Pflanzengattung schnell in Afrika, im Nahen Osten und Südostasien bis nach Japan aus.

Sie wurde in vielen Ländern wie Indien und Thailand fester Bestandteil der heimischen Küche. Vorher wurden dort unter anderem Ingwer und Pfeffer als scharfe Gewürze genutzt.Das Osmanische Imperium kam wahrscheinlich bei einer der Belagerungen der portugiesischen Kolonien Ormuz (Persien, 1513) oder Diu (Indien, 1538) zum ersten mal in Kontakt mit Paprikapflanzen. Der erste Nachweis von Paprikapflanzen in Deutschland stammt aus dem Jahre 1542, als Leonhart Fuchs die Pflanze unter dem Namen Siliquastrum in seinem Werk "De Historia stirpium" beschrieb. Erstaunlicherweise berichtet er bereits zu diesem Zeitpunkt von einer weiten Verbreitung als Topfpflanze.Die Grundlage für die noch heute gültige botanische Beschreibung und die Zuordnung dieser Pflanzen-Arten und -Sorten zur Gattung Capsicum erfolgte 1753 durch Carl von Linné. Er benannte zunächst die beiden Arten Capsicum annuum und Capsicum frutescens.