माता-पिता के न रहने पर 15 वर्ष की आयु में नारायण झा ने भगवान को प्राप्त करने के लिए वैराग्य लेने की बात ठानी, पर उस क्षेत्र में भ्रमण करके अछूतों की जो दुर्दशा देखी, उससे उनका विचार बदल गया और गिरों को उठाने के लिए जीवन लगाने का व्रत ठाना। हरिजन सेवा के कारण उन्हें सवर्णों का भारी विरोध सहना पड़ा, पर वे डिगे नहीं।
उनकी आदर्श साधना के कारण उन्हें जनसहयोग भरपूर मिलता रहा और देव अनुग्रह से असंभव लगने वाले कार्यों में भी रास्ता बनता चला गया। उन्होँने हरिजनों के लिए अलग से मंदिर बनवाया। शुवर्ण उसे तोड़ने पर तुले रहे, पर विरोध से उनका समर्थन सशक्त था। वे बढ़ते रहे। हरिजन शिक्षा के लिए और भी अधिक उत्साह के साथ लग पड़े। उनकी सेवा-साधना से प्रभावित होकर, गाँधी जी उनसे मिलने स्वयं पहुँचे थे। केरल में उनकी स्थापित कितनी ही हरिजन संस्थाएं है, जिनमें एक कॉलेज भी है। सतत परमार्थ का क्रम अपनाकर श्री नारायण झा आँतरिक और लौकिक दोनोँ ही स्तरों पर महान बने।