Λίγο έξω από την Αγιάσο βρίσκεται ο γραφικότατος λόφος «Καστέλι», στον οποίο ανεβαίνεις ακολουθώντας ένα παλιό παραδοσιακό λιθόστρωτο μονοπάτι που φιδοσέρνεται ανάμεσα στους μπαξέδες που ζώνουν τα ριζά του και στα πεύκα που σκαρφαλώνουν ως την κορφή του, η οποία στεφανώνεται από τα απομεινάρια ενός παλιού μεσαιωνικού οχυρού. Τα βυζαντινά του τείχη σώζονται περιμετρικά στο ύψος της θεμελίωσης, ενώ τείχη με οθωμανικές ανακατασκευές σώζονται μέχρι και το 1 μ. ύψος. Λόγω της γεωγραφικής του θέσης, ο λόφος αποτελεί εξαίρετο παρατηρητήριο (βίγλα) της ευρύτερης περιοχής. Γι' αυτό, στα ανατολικά του Κάστρου (Καστρέλι - Καστέλι) αναπτύχθηκε έξω από την κεντρική οχύρωση περιτειχισμένος οικισμός κατά την οθωμανική περίοδο. Το Καστέλι έχει κηρυχτεί «ιστορικό διατηρητέο μνημείο» με την 33746/1924/11-4-60 (ΦΕΚ 199/Β/11-5-60) Υπουργική Απόφαση. Η θέα που απλώνεται στα μάτια του επισκέπτη είναι μοναδική και πανοραμική. Η «Φιλόπτωχος Αδελφότης Αγιάσου» είχε ως προστάτη τον αρχάγγελο Μιχαήλ, τον «Αστράτγιου» (αρχιστράτηγο των επουράνιων δυνάμεων) και γιόρταζε την Κυριακή των Μυροφόρων. Στη συνέχεια το ξωκλήσι περιέρχεται στην «Φιλεκπαιδευτική Αδελφότητα Αγιάσου» και αργότερα στο Αναγνωστήριο.
