I primi pesci con mandibole, gli Acantodi (Classe Acanthoda) o squali spinosi, comparvero nel tardo Siluriano (410 milioni di anni fa) e si estinsero alla fine del Permiano (250 milioni di anni fa).
Questo gruppo comprendeva sia specie con mascelle munite di denti, predatori attivi, che specie con mascelle senza denti ma con branchiospine sviluppate che, probabilmente, si alimentavano per filtrazione.
Possedevano coda eterocerca, grandi occhi posti in posizione anteriore sul capo e spine prominenti sul bordo delle pinne pari. Un'altra delle loro caratteristiche era l'endocranio ossificato e la presenza di ossi dermici sul capo.

Gli Acantodi, a differenza degli Agnati e dei Placodermi, loro contemporanei, erano per lo più attivi nuotatori.
I legami evolutivi degli Acantodi con gli altri gruppi di pesci sono tuttora discussi. Alcuni autori li considerano come un ordine dei Placodermi, altri come una classe a parte o anche come appartenenti alla classe degli Osteichthyes. E' comunque opinione diffusa che gli Acantodi e i pesci moderni siano evolutivamente legati, potrebbero infatti condividere un antenato comune oppure i pesci attuali potrebbero essere derivati da un antenato acantode.

I Placodermi, un altro grande gruppo di pesci con mascelle, comparvero circa 395 milioni di anni fa, all'inizio del Devoniano e si estinsero circa 50 milioni di anni dopo alla fine del Devoniano.
Erano pesci per lo più di modeste dimensioni, anche se una specie, Dunkleosteus, raggiungeva i 10 m di lunghezza, coperti di placche ossee sulla testa e la parte anteriore del corpo.
Alcune delle specie conosciute conducevano vita bentonica sul fondo e avevano forma del corpo appiattita, altre avevano il corpo allungato e coda squaliforme e probabilmente conducevano vita pelagica. La mascella superiore era tipicamente fusa con il cranio e un'articolazione univa le placche ossee poste sul capo con quelle del tronco.
Una connessione mobile tra le vertebre anteriori e il cranio permetteva il sollevamento della testa al fine di ottenere una maggiore apertura della cavità boccale.
Altre caratteristiche di questi pesci erano la pinna caudale generalmente eterocerca e la presenza di pinne pettorali e pelviche.

Da un punto di vista sistematico i Placodermi vengono generalmente considerati come appartenenti ad una classe a parte di pesci Gnatostomi anche se alcuni autori li includono nei Condroitti o li ritengono progenitori di questi ultimi.
I reperti più antichi di pesci cartilaginei (Condroitti o Selaci), chimere (Olocephali) squali e razze (Elasmobranchii), risalgono a 370 milioni di anni fa nel corso del Devoniano.
Gli Olocefali si caratterizzano per uno scheletro cartilagineo in cui persiste la notocorda. Gli archi branchiali sono posti sotto il neurocranio e le branchie sono coperte da un opercolo. Le forme estinte, conosciute come Brachiodonti, presentavano forme bizzarre e una delle caratteristiche peculiari era la dentizione di tipo squaliforme (denti appuntiti organizzati in file) considerata, per gli olocefali, un carattere ancestrale.

I progenitori delle attuali razze, torpedini e pesci violino che hanno sviluppato una forma del corpo appiattita, per lo sviluppo consistente delle pinne pettorali, sono comparsi in una fase avanzata dell'evoluzione degli elasmobranchi, durante il Cretaceo.
Negli squali si conoscono due linee evolutive principali:
- i Cladodonti, che costituiscono le forme più primitive
- gli Ibodonti che presentano alcuni adattamenti che li avvicinano maggiormente agli squali attuali.

Nei Cladodonti, le forme più primitive, la bocca era in posizione terminale (sulla punta del muso) più che ventrale (inferiore) e le mascelle erano lunghe e armate di denti caratterizzati tutti da una grande cuspide conica centrale contornata da cuspidi più piccole della medesima forma.
Questi adattamenti consentivano ai Cladodonti di afferrare le proprie prede ma non, come avviene negli squali attuali, di segarle o tagliare. La mascella superiore era sostenuta posteriormente (come la mascella inferiore) dalle cartilagini del secondo arco branchiale.

L'evoluzione successiva degli Elasmobranchi comportò una riorganizzazione di sistemi di alimentazione e di locomozione. Questi nuovi adattamenti sono presenti negli squali Ibodonti del Mesozoico (245-144 milioni di anni fa) che presentano una dentizione diversificata, con denti anteriori forniti di cuspidi acuminate, per afferrare e tagliare le prede, e denti posteriori robusti e piatti atti a triturare. Gli Ibodonti si caratterizzavano inoltre per la struttura dello scheletro delle pinne pettorali, per la presenza di una pinna anale e per la riduzione di quella caudale.