אביו: ר' שמואל יפה.
אמו: סירקה.
בניו: ר' יהודה לייב ור' שמואל צבי.
בתו: מרת רבקה.
סבא: ר' משה יפה.
מוריו: ר' שלמה ליבושע'ס מלובלין, ר' נפתלי הירש שור מבריסק ור' משולם פייבוש מקראקא.
מתלמידיו: ר' גרשון אשכנזי-אוליף (בעל "עבודת הגרשוני"), ר' מנחם מענדל אוירבך (בעל "עטרת זקנים"), ר' צבי הירש קלויזנר.

נולד בשנת ה'שכ"א בעיר לובלין (פולין).
בילדותו שקד על לימוד התורה מתוך דוחק ועוני והתפלל בבית הכנסת של המהרש"ל. עוד בהיותו צעיר כיהן כרב בערים: בלובמלא, בלז, לוקוב, מז'יבוז', ופרוז'ני. בשנת ה'שע"ד החל לכהן ברבנות בבריסק, ובשנת ה'שע"ט התבקש ע"י קהילת קראקא למלא את מקום רבו, ר' משולם פייבוש כרב.
יסד ישיבות בכל מקומות כהונתו אליהן נהרו מאות תלמידים. התנהג בעושר ורבים מתלמידיו היו מאוכלי שלחנו. מכל הקהילות שלחו לו כסף רב כדי שיוכל להנהיג את ישיבתו ברווח.
התנגד לדרך הלימוד בפלפול וחידוד ולמורים הוראות עפ"י השולחן ערוך לבד, ללא ידיעת המקורות. גינה את לימוד הפילוסופיה וחייב את לימוד הקבלה. הגן על מנהגים שיש להם על מה לסמוך ותבע לבטל מנהגים שאין להם כל יסוד. הורה שמותר לראש ישיבה לקבל מתנות להתפרנס ולהתעשר מהן.
בסוף ימיו רצה לעלות לארץ ישראל, אך הדבר לא יצא לפועל.
השיא אחת מבנותיו לר' דוד הלוי (הט"ז) שהיה מתלמידיו הצעירים, לאחר שהזמינו לסעוד על שולחנו במוצאי יום הכיפורים והתוודע לגאונותו ואחת לר' יהודה זעלקי מזייא אשכנזי.
לאחר שסיים לכתוב את חיבורו על הטור, פנה לנגיד שיסייע בהדפסת החיבור. הנגיד סירב ולאחר שהב"ח לחץ וגזר עליו, גילה הנגיד שר' נתן נטע שפירא (בעל "מגלה עמוקות") הודיע לו בחלום שהדפסת הספר עלולה לעלות בחייו של הב"ח. ר' יואל עמד על כך שחיבורו יודפס, אך את הכרך האחרון לא זכה לראות יוצא מבית הדפוס ובשנת ה'ת' השיב את נשמתו ליוצרה.
בספרו "שם הגדולים" כתב החיד"א שכאשר הרב הב"ח עלה לשמים, כרוז קרא בחיל – פנו מקום לר' יואל מקראקא.
כל מי שהיה בד' אמותיו בעת שהיה לומד נרפא מחליו ולכן טוב ללמוד על ציונו מתוך ספרו ואז שפתותיו דובבות בקבר.
מספריו:
• בית חדש (ב"ח): על ארבעת הטורים (ק)
• הגהות הב"ח: על ש"ס, מרדכי ותוספתא
• משיב נפש: ביאור על מגילת רות (ק)
• שו"ת הב"ח