Вічнозелений кущ 1-3 м або дерево 4-5 (10-12) м заввишки. Стовбур покритий сірою корою, сучкуватою, викривлений. Гілки вузлуваті, довгі, у деяких сортів – пониклі.

Листя прості, майже сидячі, шкірясті, вузьколанцетні, цілокраї, сіро-зелені, знизу сріблясті, не опадають на зиму і поновлюються поступово протягом двох – трьох років.

Залежно від клімату оливкові дерева квітнуть з кінця квітня до початку липня. Запашні квітки дуже дрібні від 2 до 4 мм завдовжки, білуваті. В одному суцвітті від 10 до 40 квіток.

Плід – кістянка, найчастіше подовжено-овальної форми довжиною від 0,7 до 4 см і діаметром від 1 до 2 см. Забарвлення м’якоті плода розрізняється залежно від сорту дерева. Кісточка дуже щільна. Дозрівання плодів відбувається через 4-5 місяців після цвітіння.