Keluarganya berasal dari Hadhramaut, Yemen. Sebelum mengambil keputusan menetap di Kedah, bapanya mengembara hingga ke Asia Tengah untuk berniaga. Seterusnya, bapanya ke Thailand. Pada pertengahan tahun 40-an, barulah bapa Tan Sri Syed Mokhtar mengambil keputusan menetap di Alor Setar, Kedah. Pada tahun 1946, bapanya mendirikan rumah tangga.
Tan Sri Syed Mokhtar mempunyai tujuh orang adik beradik dan dia adalah anak yang ketiga. Tan Sri Syed Mokhtar hidup dalam keadaan yang serba kekurangan hinggakan rumah kayunya yang terletak di Kampung Hutan Keriang tidak mempunyai katil, meja mahupun kerusi. Ini menyebabkan beliau susah hendak menelaah.
Tan Sri Syed Mokhtar memulakan persekolahannya di Alor Setar tetapi apabila beliau berusia 9 tahun, beliau dihantar tinggal bersama-sama dengan bapa saudaranya, Syed Omar di Johor Bahru. Beliau berada di situ dari darjah empat hinggalah ke tingkatan dua. Tan Sri Syed Mokhtar kemudiannya kembali ke kampung halamannya di Alor Setar dan menyambung persekolahannya hingga ke tingkatan lima di Sekolah Saint Micheal’s.
Sebenarnya, Tan Sri Syed Mokhtar bukanlah orang yang berpendidikan tinggi. Beliau tidak pernah belajar hingga ke peringkat universiti. Namun, ini tidak bermakna beliau seorang yang tidak berilmu. Kebanyakan ilmunya diperoleh melalui pengalaman secara langsung apabila beliau bergiat dalam dunia perniagaan sejak kecil lagi.
Disebabkan keadaan keluarganya yang kurang berkemampuan, Tan Sri Syed Mokhtar membantu ibunya menanam sayur-sayuran bagi menampung pendapatan keluarga. Mereka menjualnya di pasar di Jalan Telok Wan Jah. Beliau juga menjual roti canai di pasar yang sama.
Semasa waktu rehat di sekolah pula, ayahnya akan menemuinya di sekolah dan memintanya membuat simpan kira. Selepas waktu sekolah, Tan Sri Syed Mokhtar membantu menggembala haiwan peliharaan bapanya di pusat kuarantin berdekatan dengan stesen kereta api Alor Setar. Beliau banyak menimba ilmu dan pengalaman semasa melakukan kerja-kerja itu.
