אביו: ר' שלמה זלמן.
מורו: ר' ישראל סלנטר.

נולד בשנת ה'תר"ח בקרטביאן (ליטא).
מנערותו נתגלו בו כישרונות מיוחדים, בגיל 18 התארס עם בת עיירת שוויקשנה אולם לאחר האירוסין נפטר חותנו ור' יוסף יוזל נטל על עצמו את פרנסת כל המשפחה. עסק במסחר אריגים ולרגל עיסוקיו נסע לעיר קלייפדה [ממל] (ליטא), לאחר שנפגש עם ר' ישראל סלנטר והאזין לדרשותיו, עזב את מסחרו ובגיל 29 החל ללמוד בשקידה 18 שעות ביממה ב'כולל' שבעיר קובנה.
השיא את בתו לר' אברהם יפה.
הסתגר במשך שנה ותשעה חודשים בבית בעיירה סלובודקה (ליטא) ולא הניח לאיש להיכנס אליו, כעבור תקופה זו נפגש עם ר' שמחה זיסל זיו ("הסבא מקלם") אשר שכנע אותו כי בתקופתינו אסור להסתגר לבד אלא חייבים להשפיע על העולם. על כן החל לערוך מסע בקהילות היהודיות הגדולות, הקים בתי מדרש ללימוד גמרא עם מוסר בהתאם לשיטתו בסיוע קרן הנדיב עובדיה לחמן מברלין ובשנת ה'תרנ"ו החליט להקים ישיבה בעיר נובהרדוק (בלארוס) שתהיה מרכז רוחני לכל פעילותו להפצת המוסר והשכלה יהודית.
לשיטתו האדם הינו זירת מאבקי כוח בין השכל לרצון. הרצון הוא היצר הרע אשר מרחיק את האדם מן האמת ומעוות כליל את משפט השכל, שהופך להיות עבדו של הרצון ורק פעולת ביטול הרצון לחלוטין תציל את האדם ממצב זה. בהתאם להדרכתו הדגישו בישיבה את שפלותו של האדם ונקטו בסדרת פעולות של כפייה עצמית של רצונות שונים. כל תלמיד ניהל פנקס אישי בו כתב את הצלחותיו וכישלונותיו ומעת לעת ערך השפלה עצמית בפומבי. בשעה קבועה כל התלמידים היו מטיילים בזוגות הלוך ושוב בבניין הישיבה ובחצרות וייעצו זה לזה בענייני עבודת היצר וביטול הרצון, התייחסו בבוז להבלי העולם הזה ולרכושנות, נהגו ללכת בלבוש מרושל והתגוררו בישיבה בתנאי מחיה ירודים.
בשנת ה'תרע"ה עבר יחד עם הישיבה לעיר הומל [גומל] (בלארוס) והמשיך בפעילות הרבצת תורה בקהילות אחרות על ידי תלמידי ישיבתו. פתח סניף ברוסטוב על הדון, שהייתה למרכז פליטים יהודיים מליטא ובערים בוברויסק, מוזיר ואורשה (בלארוס). בשנת ה'תרע"ט עבר עם חלק מתלמידיו לקייב (אוקראינה) לחזק את הפליטים שנמצאו שם. התנאים הסניטאריים בקייב היו קשים ורבים נספו במגיפה אך ר' יוסף יוזל סייע לחולים, נדבק במגיפה ובשנת ה'תר"ף השיב את נשמתו ליוצרה.
[כיום שוכנת ישיבה המבוססת על דרך נובהרדוק בהרי צרפת].