地名の由来については次の諸説がある。
１、この地に古くからあった民間信仰の神の名｢塞坐大神｣（フセギマスオオカミ）のフセギマスが転訛した。
２、この地が往古から馬の飼料の”麩”（ふすま）の産地として知られていた為。
３、湿地に馬が踏み入れたところから、”伏馬”（ふしま）と呼ばれた。
４、地形上、呑川の本支流の谷間が多いところから”間（はざま）"が転じた。
５、いくつかの丘陵が並ぶこの土地の起伏の様子が“衾”（掛け布団）に似ていた。
等の記述があり定説はない。

古代、武蔵国荏原郡に“御田郷”と呼ばれる土地があり、大化の改新以前の天皇の直轄領地“屯田”に由来する三田村は港区の三田とともに、この「御田郷」に属していたと推定されている。両区の三田は春日神社（港区三田にある）の氏子という親しい関係にあります

古い歴史を持つ地名が次第に姿を消し、忘れ去られていくなかで、今も脈々と生き続け、時とともにかえってその比重を増していく地名も幾つかある。「東山」はそんな数少ない地名の一つである
もとは、旧六カ村の一つ、上目黒村の小字名で、当時の字「東山」は現在よりかなり狭く、また、その地名の由来も、今は地名としては姿を消した、旧上目黒村の中心集落｢宿山｣の東方の地という程度の理由から名付けられたものといわれている。
東山貝塚の発見で「東山」の名が一躍知れ渡る事となった。