Släktens äldsta kända medlemmar verkade i Stade under 1400-talet. I början av 1500-talet flyttade Thomas tor Smede d.ä. (död 1553) från Stade till Flensburg och byggde där upp ett handelshus som under tre generationer kom att höra till norra Tysklands mest betydande. Släkten handlade bland annat med danska hovet och flera av dess medlemmar ingick i stadens råd.
År 1602 gick handelshuset i konkurs och den dåvarande huvudmannen fick lämna Flensburg. Hans barn spreds i huvudsak över Danmark, men några flyttade till Sverige, däribland sonen Herman tor Smede (1610–1667), vilken är stamfar till alla nu levande Tersmedar. Han var gift med Catharina von Klein, dotter till konstmästaren Pehr von Klein som Gustav II Adolf inkallat till Sverige för hans kunskaper i mässingsbruk. Herman tor Smede fick anställning inom den svenska bergsbruksnäringen och ansvarade för ett antal olika bruk och hammare i Södermanland och Dalarna, däribland Larsbo, som blev den svenska ättens stamgods. Han ska enligt Svenska adelns Ättar-taflor ha haft fyra söner och sju döttrar. En av sönerna var Reinhold Tersmeden som var förvaltare av Larsbo bruk och gift med Christina Börstelia, dotter till prosten Laurentius Börstelius och Regina Elbfass samt omgift med baron Cedercreutz.
I samband med konung Adolf Fredriks kröning upphöjdes ätten den 22 november 1751 i adlig värdighet under Reinhold Tersmedens son, bergsrådet Jacob Tersmeden d.ä. (1683–1752) (hans bröder och systrar adopterades istället på styvfaderns namn och nummer). Hans hustru var Elisabeth Gangia, dotter till prosten Petrus Petri Gangius och Christina Teet och av samma släkt som Rosenstedt.

Släkten har givit namn åt gatuadressen Tersmedens väg såväl i Surahammars kommun som i Karlskrona (där det också finns ett Kvarteret Tersmeden) samt åt en äppelsort.
Under 1700-talet utmärkte sig ett flertal av släktens medlemmar för att vara osedvanligt långa och kraftiga, vilket föranledde skalden Johan Gabriel Oxenstierna att i sin dagbok göra följande notering:
Alt ifrån stamfadern, som på sina Estamper har litet af Dominus in Larsbo, han som aldrig kunde sitta annat än på 2 stolar, och som tryckte ryggen af den starkaste ryttarehäst, hafva alla af denna slägt varit större än andra menniskjor. Man är lång, då man räcker någon af detta namn till axlarna, och tjockleken af en Tersmedisk hals är vanligen måttet af en karls tjocklek. Gud uppehåller dem alltid vid denna storlek, för at visa at ingenting är honom omöjligt, ock för att låta oss menniskjor se huru små och svaga varelser vi äro, låter han Tersmedar uppenbaras.

Han var son till bruksarrendatorn Reinhold Tersmeden och Christina Börstelia.
Tersmeden miste tidigt (1698) sin far, varefter modern gifte om sig med landshövdingen Jonas Folkern, 1711 adlad under namnet Cedercreutz. Dennes styvbarn erbjöds därvid även de detta namn, vilket de flesta av dem gjorde, men inte äldste sonen Jacob, som förklarade att han endast ville motta adelskap för egna förtjänster.
Efter studier i Uppsala blev Tersmeden 1701 auskultant i Bergskollegium och gjorde även studieresor till England och Sachsen för att studera bergsbruket och metallindustrin där. 1708 återvände han till Sverige och övertog förvaltningen av Larsbo bruk som han successivt skulle bygga ut och förbättra. 1722 blev han även ägare av bruket. Han erhöll titeln bergsråd 1747 och har som bergsvetenskapsman beskrivits som en af de mest insiktsfulla och erfarna på sin tid. Som människa har den storvuxne Tersmeden skildrats som en glad välgörare, en tillförlitlig vän, en frikostig husbonde.
Tersmeden var även militär och deltog i slaget vid Helsingborg 1710. Återkommen till Larsbo satte han 1717 upp en egenhändigt finansierad frikår för att skydda Dalarna mot anfall från Norge. Han utnämndes som tack för detta till överstelöjtnant av Karl XII, men använde själv aldrig denna titel. Året före sin död adlades han i samband med Adolf Fredriks trontillträde (22 november 1751). Han ligger begraven i det Tersmedenska gravkoret i Söderbärke kyrka, till vilken han i sin livstid lämnade stora bidrag, bland annat en ny predikstol ritad av Carl Hårleman.
Tersmeden var sedan den 8 september 1708 gift med kyrkoherdedottern Elisabeth Gangia (1688-1753) och fick med henne tretton barn, av vilka det mest kända torde vara amiralen och memoarförfattaren Carl Tersmeden (1715-1797). Ett av Jacob Tersmedens syskon var riksrådet Herman Cedercreutz.

Källor:
Gabriel Anrep, Svenska adelns Ättar-taflor, volym 4
E. Alfred Jansson: Den förste Tersmeden och hans verksamhet vid Öllösa, Björndams och Stålboga järnbruk - ett 300-årsminne (Stockholm, 1941)
E. Alfred Jansson: Tersmederna på Larsbo - ett järnbruks historia utforskad och berättad (Stockholm, 1943)
Wilhelm Marstrand: "Slægtshistoriske bidrag IV: Ætten Tersmedens oprindelse slægten Tor Smede fra Stade og Flensborg" i Personhistorisk tidskrift band XXVII (Stockholm, 1926)
Alfred Meyse: Tor Smeden - Eine Flensburger Großkaufmannsfamilie des 16. Jahrhunderts (Flensburg, 1939; nytryck 1983)