10歳からゴルフを始める。樹徳高等学校を中退し、1975年12月にプロ入り。1976年に「ゴルフダイジェスト」大会で日本ツアー初優勝を飾る。

1985年のシーズンは年間6勝を挙げ、最も好調だった。日本オープン選手権初優勝や、日本人選手初のダンロップ・フェニックス選手権優勝などがある。当時は「最も美しいスイングの持ち主」と、米国のプロゴルファーからの評価も高かったが、その後、スイング改造などで悩み、低迷した時期もあった。

世界4大メジャー大会の成績は、1984年のマスターズ・トーナメント8位、1988年の全米プロゴルフ選手権3位などがある。セント・アンドリュース（R&Aゴルフクラブの「オールド・コース」）で行われた全英オープンで、中嶋が最終日に17番ホール（パー4）の第2打を有名な「ロード・バンカー」（Road Bunker）に入れてしまい、9打を要して優勝のチャンスを逃したのは1978年のことである。そのため、このバンカーは中嶋の愛称“トミー”をとって「トミーズ・バンカー」とも呼ばれるようになった。同オープンでは1986年にも8位がある。最初期の世界ゴルフランキングで4位にランクされたこともあった。 　世界4大メジャーですべてベスト10入りしている日本人唯一のプレイヤーである。

2005年11月6日、日本シニアオープンでシニアツアー初優勝を飾り、すでにタイトルを獲得している日本アマ・日本オープンとともにJGAオープン選手権競技3冠を達成した。2006年10月1日「日本プロゴルフシニア選手権大会・コマツカップ」を制覇し、プロ・アマ・シニアを含めた「日本」が冠タイトルにつく公式戦を全部優勝する7冠を達成した。

2006年11月には三井住友VISA太平洋マスターズで日本ゴルフツアーとしては4年ぶりの勝利を果たした。 50代でのレギュラーツアー優勝は青木功、尾崎将司、杉原輝雄に次いで四人目。 視力はレーシック手術をしており矯正されたがデビュー以来トレードマークの眼鏡はイメージを維持するために未だにかけている。 オフシーズンにはラジオ番組(中嶋常幸のティーグラウンドへようこそ!)の司会者として軽快なトークも披露する。 2007年のマスターズ・トーナメントの解説を務めた。