安土桃山時代、日本にオリーブを持ち込んだのはキリスト教の宣教師でした。1594（文禄3）年、宣教師から豊臣秀吉への進物にオリーブの実1樽があったと言われています。また同時期にポルトガルの宣教師によってオリーブオイルが持ち込まれ、ポルトガルの油がなまって「ホルトの油」と呼ばれていました。
オリーブの樹が最初に日本の地に植えられたのは、江戸時代末期のことです。1862年（文久2年）頃、医師の林洞海がフランスから輸入した苗木を横須賀に植えたとされています。
その後、1879年（明治12年）には神戸の温帯植物試験所でフランス産オリーブの栽培に成功し、翌年には実が収穫されました。そこで、初の日本製オイルや果実加工品がつくられました。これは試験栽培に留まったものの、日本におけるオリーブ栽培の第一歩だったと言えるでしょう。

オリーブの栽培が本格化したのは1908年（明治41年）のことです。日露戦争に勝利した日本政府は、北方漁場の海産物を保存する方法として、オリーブオイルを使用したオイル漬けに着目しました。
国内でオリーブオイルを生産するために、当時の農商務省がアメリカ産オリーブの試験栽培を開始。栽培地として指定したのは香川・三重・鹿児島の3県です。その中で、香川県の小豆島のみが栽培に成功し、1911年（明治44年）には74㎏の実を収穫することができました。小豆島の気候が地中海沿岸とよく似ていたこともありますが、技師たちのたゆまぬ努力が実を結んだのです。3年後にはオリーブ栽培が島全体に普及し、現在に続く経済栽培の礎が築かれました。
しかし栽培においては様々な苦労があり、台風による倒木や日本固有の害虫であるオリーブアナアキゾウムシの被害に悩ませられるなど、問題は多々ありました。加工技術も情報源が海外にしかなく、自分たちで模索しなければならないことも多かったようです。
こうした苦労を乗り越えながら、徐々にオリーブの生産量を増加させて、オリーブは小豆島の名産品として広く知られるようになりました。
現在の主要産地は小豆島のほかに、岡山県の牛窓がありますが、小豆島が国内生産の9割以上を占めています。