אביו: ר' אפרים.
אמו: מרת בואינה.
בניו: מזיווג שני - ר' יצחק ור' שלמה. מזיווג שלישי - ר' יהודה.
בתו: בואינה [טובה].
אחיו: ר' דוד.
סבא: ר' יוסף הספרדי (מצד אביו).
מוריו: ר' אפרים [אביו] ור' יעקב בירב.
מתלמידיו: ר' משה אלשיך, ר' משה גלאנטי ור' משה קורדובירו [הרמ"ק].

נולד בשנת ה'רמ"ח בטולדו (ספרד).
בעקבות גירוש ספרד נדד בגיל 4 עם הוריו לליסבון (פורטוגל) ובשנת ה'רנ"ו שוב נדד עם משפחתו עקב הגירוש מפורטוגל והגיע לקהיר (מצרים). שקד על לימוד התורה וניכר בכושר זיכרון מופלא, כעבור שנים אחדות התייתם מאביו ועבר להתגורר בבית דודו (ר' יצחק) בקושטא [איסטנבול] (טורקיה) שדאג לכל מחסורו על מנת שימשיך לשקוד על לימוד התורה. לאחר שהיה בקי בעל-פה במקרא ובששה סדרי משנה התעמק יומם ולילה בלימוד התלמוד הבבלי והפוסקים.
כאשר דודו נפטר עבר להתגורר בעיר ניקפיל (בולגריה). כיהן כראש ישיבה, חיפש ואסף פסקי הלכה ממקורות שונים והשיב לשאלות הלכתיות שהופנו אליו מקהילות מרוחקות. את תשובותיו חתם במילים 'הטרוד והעלוב' היות ורב העיר חלק עליו, הקניטו וציערו.
מן השמים נשלח אליו 'מגיד' [מלאך] שגילה לו את העתיד, סודות ופירושים על התורה, ציווה עליו לעלות לארץ ישראל ואמר לו שיזכה להעמיד תלמידים רבים יותר מכל אחד מן החכמים שיהיו במשך 900 השנים הבאות. יעץ לו בחייו הפרטיים – בעניין נישואיו, איזה שמות להעניק לילדיו, כוונותיהם של אנשים עמם נפגש, מנע ממנו לדבר עם אנשים, נתן לו עצה לעצירת גשמים [להקיף שבע פעמים את קברי רשב"י ור' אלעזר], גילה לו שרשב"י ור' אלעזר שמחים כאשר הוא קורא בספר ה"זוהר" ועל אף שיעבור צרות רבות, הן באות לזכך את נפשו כדי שיישאר נקי מעוון.
בשנת ה'רפ"ב החל לחבר ספר הלכות לכל עם ישראל. על-פי הוראת ה'מגיד' [המלאך] קרא לספרו "בית יוסף" ובו פסק את ההלכות השונות על-פי רוב הדעות מבין שלושת הפוסקים – ר' אשר בן יחיאל [הרא"ש], ר' משה בן מימון [הרמב"ם] ור' יצחק אלפסי [רי"ף]. ה'מגיד' [המלאך] גילה לו שהרמב"ם ור' יעקב בן אשר (בעל הטורים) שמחים על שהוא ירד לסוף דעתם ושבמתיבתא דרקיעא מסכימים על פסקי ההלכה שלו אשר כולם אמת. בתקופתו היו שלושה חכמים ששמם 'יוסף' [ר' יוסף בן לב, ר' יוסף טאיטצ'ק ור' יוסף קארו] מועמדים בשמים לכתוב ספר הלכות כעין "בית יוסף" וההחלטה בשמים הייתה שר' יוסף קארו יהיה מחבר הספר היות והצטיין בענווה יתירה.
התגורר באדריאנופול [אדירנה] (טורקיה), נשא לאישה את בתו של ר' חיים אלבלג אולם כעבור תקופה קצרה אשתו חלתה ונפטרה.
נשא לאישה את בתו של ר' יצחק סבע וניהל ישיבה גדולה. כאשר הגיע לסלוניקי (יוון) נפטרו שלושת ילדיו במגיפה ולאחר מכן הפליג עם זוגתו בספינה והגיע לקהיר (מצרים). במשך כשנה שהה במצרים, נפגש עם הרדב"ז ועם האר"י וחיפש ספרים נדירים על מנת להמשיך בכתיבת ספרו 'בית יוסף'.
בחודש אלול שנת ה'רצ"ז הגיע לצפת יחד עם ידידו (ר' שלמה אלקבץ) ובשנת ה'ש' נולד בנו – ר' שלמה.
שקד על לימוד תורת הנגלה והצטרף לקבוצת המקובלים ללימוד תורת הנסתר, ייסד ישיבה אליה נהרו תלמידים מכל הארץ, מונה לראש 'בית הוועד' של רבני צפת אשר התקינו תקנות לחיי קהילה תקינים והשיבו לשאלות הלכתיות ומוסריות והוסמך לרבנות ע"י ר' יעקב בירב.
לאחר פטירת ר' יעקב בירב מונה בשנת ה'ש"ו לרב הראשי של צפת והמשיך לכהן גם כראש הישיבה.
אשתו נפטרה בעקבות מגיפה שהשתוללה באזור הגליל ובשנת ה'שכ"ח לערך נשא לאישה את בתו של ר' זכריה זכשיל אשכנזי ונולד להם בן [ר' יהודה, אשר נשא לאישה את בתו של האר"י].
על מנת לסיים את כתיבת ספרו התבודד בישוב ביריה ובשנת ה'ש"ב, כ – 20 שנה מאז החל לכתוב את הספר השלים את המלאכה, שלח את הכתבים לוונציה (איטליה) ובשנת ה'ש"י הודפס החלק הראשון של ספרו "בית יוסף" אולם מפאת השגיאות הרבות שנעשו בהדפסה כתב תיקונים והוספות והוציאם לאור בספר "בדק הבית".
את ספרו "שולחן ערוך" פתח במילים "יתגבר כארי" (גימטריה 846) כמניין הגימטריה של "יוסף בן אפרים קארו". 200 רבנים נתנו לו את הסכמתם ועל כן כונה 'מרן' – מאתיים רבנים נסכם וכן מ' [40] רבנים נסמכו.
בשנת ה'של"ה השיב את נשמתו ליוצרה.
מספריו:
• אבקת רוכל: שו"ת (ק)
• אור צדיקים: על התורה ושיר השירים
• בדק הבית: תוספות והבהרות על "בית יוסף" (ק)
• בית יוסף: פירוש על "הטורים" (ק)
• כללי התלמוד (ק)
• כסף משנה: על הרמב"ם.
• מגיד מישרים: דברים שגילה לו המגיד המלאך (ק)
• שולחן ערוך
• שו"ת בית יוסף (ק)

בקשה על קבר מרן רבי יוסף קארו זצוק"ל