Το σχήμα του Ολύμπου, η πολυμορφία της φύσης του, οι ψηλές κορυφές του προκάλεσαν δέος και θαυμασμό στον προϊστορικό άνθρωπο που κατοίκησε στους πρόποδές του, όπου οι ανασκαφές αποκάλυψαν ευρήματα από οικισμούς στην εποχή του σιδήρου. Επίσης ο Όλυμπος στην Ιλιάδα ονομάζεται μέγας ή μακρύς ή αιγληείς (δηλ. λαμπρός), πολύδενδρος κ.ά.

Σύμφωνα με την ιστορία οι πρώτοι κάτοικοι του Ολύμπου ήταν Πελασγοί, που θεωρούνταν απόγονοι των αρχαίων Ελλήνων. Οι πρώτοι απόγονοί τους ήταν οι Περραιβοί από τους οποίους πήρε το όνομά της η Περραιβία, περιοχή της Θεσσαλίας που βρίσκεται ανάμεσα στον Πηνειό ποταμό και τον Όλυμπο (η σημερινή Λάρισα). Στην άλλη πλευρά του βουνού, στη στενή λωρίδα μεταξύ Πηνειού και Αλιάκμονα, κατοικούσαν οι Πιερείς, που πιθανόν προέρχονταν από τους Θράκες, αν και δεν είχαν πολλά κοινά χαρακτηριστικά με αυτούς.

Από όλους τους οπτικούς άξονες και σε μεγάλη ακτίνα, ο Όλυμπος σφραγίζει την Πιερία της Μακεδονίας και την Περραιβία της Θεσσαλίας. Είναι φυσικό οχυρό των συνόρων τους αφήνοντας τρία μόνο περάσματα και αυτά δύσκολα για τα μέσα της εποχής: το πέρασμα των Τεμπών, τη δίοδο της Ζηλιάνας και τα στενά της Πέτρας. Ο Όλυμπος υπήρξε μάρτυρας πολλών γεγονότων. Ένα από τα πιο χαρακτηριστικά είναι η εισβολή του Ξέρξη το 480π.Χ. Από την ακτή της Θεσσαλονίκης, ο Ξέρξης θαύμασε τον Όλυμπο και την Όσσα και στη συνέχεια παρέμεινε στην περιοχή αρκετές μέρες προκειμένου να προωθήσει τα στρατεύματά του στη Θεσσαλία μέσω του Ολύμπου. Δεν επέλεξε να περάσει μέσα από τα Τέμπη γιατί φυλάσσονταν πολύ καλά, αλλά επέλεξε μια δύσβατη ορεινή διαδρομή που ο Ηρόδοτος ονομάζει “άνω οδόν”.

Το 171 π.Χ. ο Περσέας απέκλεισε τα στενά περάσματα και έτσι ο Όλυμπος ήταν για δύο χρόνια απαγορευτικός για τους Ρωμαίους. Το 169 π.Χ. ωστόσο, οι Ρωμαίοι κατόρθωσαν να κατέβουν μεταξύ Λεβήθρων και Ηρακλείου (σημερινός Πλαταμώνας) και να στρατοπεδεύσουν νότια από το Λιτόχωρο. Παραπλανώντας τον Περσέα, εισέβαλαν το 168 π.Χ. από τα στενά της Πέτρας ή των Κανάλων όπως υποστηρίζει ο Αρβανιτόπουλος. Οι πόλεις του Ολύμπου παράκμασαν εκτός από το Δίον που έγινε Ρωμαϊκή αποικία και έδρα επισκοπής από τα πρώτα παλαιοχριστιανικά χρόνια.

Στα χρόνια της Βυζαντινής Αυτοκρατορίας, οι Βούλγαροι και οι Σέρβοι κατέκτησαν τον Όλυμπο. Όμως εισέβαλαν περισσότερο ως μετανάστες παρά ως κατακτητές. Γι’ αυτούς ο Όλυμπος δεν ήταν το οχυρό της μάχης, αλλά ένα καταφύγιο όπου θα μπορούσαν να φτιάξουν τους οικισμούς τους και να εγκατασταθούν.

Οι Βλάχοι πιθανόν να έφτασαν ταυτόχρονα με τους Σλάβους. Από τα τέλη του 10ου αιώνα, η Θεσσαλία δέχθηκε τις επιδρομές των Βλάχων και τον 12ο αιώνα η ίδια η Θεσσαλία παίρνει το όνομα Μεγάλη Βλαχία, μια ονομασία που διατήρησε μέχρι την άφιξη των Τούρκων.

Κατά τη διάρκεια της Τουρκικής κατοχής ο Όλυμπος έπαιξε σημαντικό ρόλο. Αποτέλεσε το κρησφύγετο των αρματολών και των κλεφτών. Στον κάμπο της Θεσσαλίας οι πασάδες μοίρασαν την περιοχή σε πασαλίκια (μεγάλα τσιφλίκια) τα οποία διοικούσαν οι μεγαλογαιοκτήμονες, που ήταν υποτελείς στον πασά. Έτσι οι Έλληνες έγινα οι γεωργοί των Τούρκων.

Αντίθετα οι κάτοικοι των βουνών γύρω από τη Θεσσαλία και ειδικά αυτοί του Ολύμπου αντιστάθηκαν στους Τούρκους και πολύ σύντομα έγιναν ο πιο τρομερός εχθρός τους. Έτσι ο Όλυμπος έγινε “η πρωτεύουσα των παλικαριών” και το “ιερό βουνό των κλεφτών”. Η ύπαρξη των αρματολών έδινε την ψευδαίσθηση της ελευθερίας στους σκλαβωμένους Έλληνες και έτσι ένοιωθαν ότι δεν ήταν παραδομένοι στους Τούρκους. Ο Όλυμπος έγινε γι’ αυτούς μια όαση ανεξαρτησίας, μια πατρίδα πάνω στο βουνό, ένα καταφύγιο για τους καταπιεσμένους. Η αντίστασή τους εξαπλώθηκε και απέκτησε εθνικό χαρακτήρα. Οι Τούρκοι αναγνώρισαν το αρματολίκι του Ολύμπου το 1425.

Οι πιο ονομαστοί κλέφτες και αρματολοί που έδρασαν στην περιοχή του Ολύμπου τους επόμενους αιώνες ήταν ο Καρά-Μιχάλης, Ο Ζήνδρος, ο Γεωργάκης Ολύμπιος, οι Λαζαίοι, ο Νικοτσάρας, ο Βλαχάβας, ο Τζαχείλας, ο Χριστάκης, ο Καλόγερος, κ.ά. Ο Νικοτσάρας μάλιστα αποβιβάστηκε στην παραλία του Λιτόχωρου με το σώμα του και βρίσκει ηρωικό θάνατο στην αρχή ενός παράτολμου σχεδίου για τον ξεσηκωμό της περιοχής. Οι κάτοικοι του Λιτόχωρου μετέχουν ενεργά στην επανάσταση του 1822, που έγινε στην περιοχή του Ολύμπου. Έγιναν άλλες δυο απόπειρες το 1833 και το 1854 μέχρι να γίνει η μεγάλη επανάσταση του 1878 που ήταν και η αρχή της απελευθέρωσης της Μακεδονίας.

Ο Όλυμπος και το Λιτόχωρο έπαιξαν πρωτεύοντα ρόλο στα γεγονότα εκείνης της περιόδου. Στην παραλία του Λιτοχώρου αποβιβάστηκε το εκστρατευτικό σώμα με επικεφαλής τον Κοσμά Δουμπιώτη, και οι αντιπρόσωποι σαράντα χωριών της περιοχής εξέλεξαν τον Λιτοχωρίτη πρόκριτο Ευάγγελο Κοροβάγγο, Πρόεδρο της προσωρινής επαναστατικής επιτροπής, ενώ στο μετόχι του Αγίου Διονυσίου αποθηκεύτηκαν τα πολεμοφόδια. Στο Συνέδριο του Βερολίνου ορίστηκε επιτροπή για τον καθορισμό των συνόρων και έγιναν οι πρώτες χαρτογραφικές μετρήσεις στον Όλυμπο. Η απελευθέρωση ήρθε το 1912 με τον Βαλκανικό πόλεμο.

Στα τελευταία χρόνια της τουρκοκρατούμενης Μακεδονίας αλλά και στις πρώτες δεκαετίες του 20ου αιώνα, στον Όλυμπο έδρασαν οι ληστές, άνθρωποι με ατίθασο χαρακτήρα που βρήκαν κρησφύγετο στις απόκρημνες χαράδρες του βουνού. Μέχρι τα χρόνια του μεσοπολέμου δρούσαν εξαπολύοντας τις επιδρομές τους στις γύρω περιοχές και αποτελώντας φόβητρο για τους πρώιμους ορειβάτες των αρχών του 20ου αιώνα. Ο πιο γνωστός από αυτούς ήταν ο Φώτης Γιαγκούλας και η συμμορία του, ο οποίος σκοτώθηκε σε μάχη με αστυνομικό απόσπασμα το 1925.