A svájci Unter-Embrach városkában született. Már tizenöt évesen kitanulta az ácsmesterséget, de felszabadulása előtt elment Zürichbe Eschner vasöntőhöz öntőinasnak. Húszévesen indult el vándorútjára, az iparosok akkoriban szokásos vándorútja során Európa különböző városaiban, gyáraiban dolgozott, ahol nagy tapasztalatra és szakértelemre tett szert. 1841 augusztusában érkezett Pestre.
Itt a Széchenyi által kezdeményezett József Hengermalom Társulat gőzmalmának szerelésében vett részt. Itt tapasztalta meg, hogy a gyorsan fejlődő magyar gyáripar mennyire nélkülözi a jó, vasiparhoz értő szakembereket. Rövidesen "első öntőmester" lett a gőzmalom öntödéjében, amely hazánk első, nem nagyolvasztó mellé települt öntödéje volt. Termékeiket az 1842-es Első Magyar Iparmű-kiállításon bemutatták, ezeknek a különleges összetételét és tisztaságát Kossuth Lajos is méltatta. Ezután az öntöde és a gépjavító műhely vezetőjévé nevezték ki Ganzot. Ebben az évben Konrád öccsét magához vette, aki szintén öntőmesterséget tanult.
A malom vezetősége az öntöde hasznából részesedést fizetett Ganznak, ebből 1844-ben telket és házat tudott vásárolni 4500 forintért a budai Vízivárosban. Ide öntödét épített, ahol először hét segéddel kezdett dolgozni, főként a lakosság szükségleteit szolgáló öntöttvas tárgyakat gyártottak. Még 1845-ben kibővítette öntödéjét a szomszédos telek megvásárlásával és egy kupolókemence építésével. Már az első évben hasznot termelt, üzeme folyamatosan bővült. Az 1946-os harmadik iparmű-kiállításon kályhákat mutatott be, ezzel elnyerte a kiállítás ezüst és József nádor bronz érmét.
1848-ban műhelye a honvédsereg részére szállított 10 ágyút és ágyúgolyókat, ezért az osztrák hadbíróság 1849 októberében felelősségre vonta. Svájci állampolgárságának köszönhetően csak hat hét elzárásra ítélték, börtönbe azonban nem került.
Ganz felismerte, hogy vállalata fejlődéséhez olyan termékekre van szüksége, amelyek nagy sorozatban, tömeggyártásban készülnek.
1846-ban a Pest-Vác vasútvonallal Magyarországon is megkezdődött a vasutak építése. Európában ekkor kovácsoltvas abroncsú, küllős vasútikocsi-kerekeket gyártottak. Az öntvényeket homokformába öntötték, és környezeti hőmérsékleten hagyták lehűlni. Amerikában és Angliában már alkalmaztak egy jobb eljárást, az angol John Burn által 1812-ben feltalált kéregöntést. Ennek a lényege, hogy az öntvények keménysége növelhető, ha az öntést követően gyorsan hűtik le. Ez úgy lehetséges, ha az öntőformát jó hővezető anyagból állítják elő. Ahol a folyékony vas a formában elhelyezett hűtővassal (kokillával) érintkezik, lényegesen keményebb öntvényt nyernek. Az így gyártott kerekek futófelülete keményebb, kopásállóbb.
Ganz 1853-ban tudott először ilyet gyártani, és 1856-ban már szabadalmi oltalmat kapott a továbbfejlesztett, antimonmasszát is alkalmazó eljárására. Ezzel a megoldással szívós, a nagy igénybevételt jól elviselő futófelületű kereket tudott előállítani.
Az 1852-62 között épült csarnokban Közép-Európa első és hosszú időn át egyetlen kéregkerék-öntödéje működött. A vasútépítések korában ezzel gyárának hatalmas lendületet adott. Az egész Monarchiára kiterjedő szállítási joggal rendelkezett, de a német, a francia és az orosz vasutak is Ganz-kereket vásároltak. A megrendelések nagy száma miatt az öntöde szűknek bizonyult, ezért Ganz 1858-ban felépítette az új gyárat.
1853-1866 között 59 vasúttársaságnak 86 ezer kéregöntésű kereket szállított a gyár. Ganz megvett egy angol szabadalmat is, Ransomes és Biddel találmányát, ami a vasúti váltók szívcsúcsainak gyártására vonatkozott, amelyet továbbfejlesztett, ezekre két újabb szabadalmat kapott 1861-ben és 1865-ben.
Nem csak a vasutaknak gyártott termékeket, hanem többek közt hidak (például a Lánchíd és a szegedi híd) vas alkatrészeit is, valamint kéregöntésű malomipari rovátkolt hengereket is előállított.
A Ganz-gyár munkáslétszáma 1854-ben 60, 1857-ben 106, 1867-ben pedig már 371 volt. A napi termelés 2-3 tonna öntvény volt, közte 50-60 db kerék.
Szabadalmai: öntöttvasból készült öntőforma, öntöttvas felületének acélkeménnyé tétele, kéregöntésű kerék vasúti kocsikhoz, javított szívdarabok vasúti kereszteződésekhez, lepárló készülék, vasutak megfordítására szolgáló kereszteződés.
A gyár termékei több nemzetközi elismerést kaptak: a párizsi világkiállítás három bronzérme, a svájci iparmű-kiállítás ezüstérme, az 1862-es londoni világkiállítás bronzérme és az 1867-es svájci iparmű-kiállítás ezüstérme.
Ganz Ábrahám 1863-ban Pest díszpolgára lett, 1865-ben a császár személyesen fejezte ki legmagasabb elismerését.
1867. november 23-án ünnepelték a százezredik kéregöntésű kerék gyártását, amelynek alkalmából vacsorát adott minden alkalmazottja és családtagjai részére.
Életében sokat fordított szociális célokra, üzemében Magyarországon akkor egyedülálló nyugdíjas, és betegpénztárt létesített.
Megfeszített munkája idegzetét felőrölte, 1867-ben tragikus körülmények között meghalt.
Munkásságát és a Ganz-öntöde vezetését Mechwart András folytatta, akinek irányításával 1869 után Ganz és Társa Vasöntöde és Gépgyártó Rt. néven működött tovább a gyár, és belőle az egyik legjelentősebb vállalatcsoport jött létre, amely a gépipar, a járműipar, a villamos ipar számos területén működve világhírű találmányokkal, műszaki megoldásokkal jelentkezett. Az eredeti öntödében 1964-ig folyt a termelés, 1969-ben a kéregöntöde berendezéseit megőrizve Öntödei Múzeummá alakították.
