Ο Ποντιακός & Μικρασιατικός Σύλλογος Καρυοχωρίου «Ο Πρόσφυγας» ιδρύθηκε τον Μάιο του 1987, από πρόσφυγες από τον Πόντο και την Μικρά Ασία που εγκαταστάθηκαν στο Καρυοχώρι την περίοδο 1920-1925, μετά την Μικρασιατική Καταστροφή και την ανταλλαγή των πληθυσμών.
Η πολιτιστική δραστηριότητα στο Καρυοχώρι ξεκινά από τα πρώτα χρόνια της εγκατάστασης των προσφύγων, με την αναβίωση του δρώμενου των Μωμόγερων και την παρουσίαση θεατρικών παραστάσεων από τον ερασιτεχνικό θίασο του χωριού.
Από το 1987 οργανώθηκε θεσμικά, μέσα από την ίδρυση πολιτιστικού φορέα με προσανατολισμό τη συστηματοποίηση και την οργάνωση της αυθεντικής λαογραφικής έκφρασης του χωριού, και έκτοτε έχει δυναμική παρουσία στα πολιτιστικά δρώμενα του τόπου.
