Il étudia plus tard le droit et la pédagogie au Johanneum.

Dans les années 1690, il servit quelque temps comme page à la cour du comte Von Güldenlöw et commença à chanter dans le choeur et à assumer des rôles modestes dans les productions de l'Opéra de Hambourg.

Il se lia d'amitié avec le jeune Haendel (de quatre ans son cadet) à l'arrivée de ce dernier à Hambourg en 1703, le guida dans ses premiers essais de musique dramatique et lui assura une place de second violon et de claveciniste adjoint dans l'orchestre de l'opéra.

Mais leur amitié fut sérieusement mise à l'épreuve par un incident survenu lors d'une représentation de Cleopatra de Mattheson en 1704 : le compositeur, qui dirigeait l'orchestre, chantait également le rôle d'Antome. Haendel, qui avait pris sa place au clavecin pendant que Mattheson était sur scène, refusa de la lui laisser reprendre quand le suicide d'Antoine à l'acte III lui permit de réintégrer l'orchestre.

Mattheson le provoqua en duel. Un bouton de manteau bien placé sauva, dit-on, la vie de Haendel. Néanmoins Mattheson assuma le rôle principal dans Almira de Haendel en 1705, ce qui montre que, leurs passions une fois calmées, ils renouèrent sans peine leurs relations d'amitié.

En 1709, il épousa une Anglaise. Loin de renoncer à sa carrière musicale, Mattheson se chargea de responsabilités supplémentaires comme directeur de la musique à la cathédrale (1715-1728) et Kapellmeister du duc de Holstein, sans abandonner pour autant le service de Sir John. Durant le quart de siècle qui suivit, Mattheson mena une activité prolifique à la fois comme compositeur et écrivain, s'attelant à de nombreuses traductions de livres, pamphlets et articles anglais.

Comme musicien, il livra des cantates, des sérénades, un Magnificat et un oratorio, Das Lied des Lammes (Le Chant de l'Agneau). Une surdité croissante l'obligea à se retirer de la cathédrale dès 1728, mais il continua à composer jusqu'en 1760, date à laquelle il produisit son propre oratorio funèbre, Das fröhliche Sterbelied, que Telemann dirigea quatre ans plus tard.