הקראים, שדחו את התורה שבעל פה, ולא קיבלו את פסיקות הגאונים, היוו קבוצה קטנה יותר בקרב היהודים ביחס לרבניים. מרבית היהודים היו רבניים, והם נחלקו באותה תקופה בין שני מרכזים - המרכז הבבלי, על שתי ישיבותיו, והמרכז הארצישראלי, שהיוו שתי חטיבות הלכתיות ומנהלתיות. היהדות הרבנית המשיכה את זרם הפרושים של תקופת בית שני, ומתאפיינת בהתבססות ההלכה על התורה שבכתב והתורה שבעל פה, הכוללת את המשנה, התוספתא, התלמוד הירושלמי והתלמוד הבבלי, מדרשי ההלכה ומדרשי האגדה.

היחסים בין הרבניים ובין הקראים היו מורכבים. הרבניים והקראים בארץ ישראל הרבו להתקוטט ביניהם, עד כי השלטונות נאלצו לעתים להתערב. במצרים, לעומת זאת, שררו יחסים ידידותיים, במיוחד בקרב השכבות הגבוהות. ככלל, הקראים חשו ופעלו כחלק אינטגרלי מהקהילה הכלל-יהודית. כך, למשל, נישואים בין הרבניים והקראים היו שכיחים. כמו כן, היו גאונים שביקשו וקיבלו סיוע פוליטי וכספי מנכבדים קראיים. היו גם תעניות ותפילות משותפות בעת צרה, וגם איסופי כספים משותפים. אדם אשר תרם הן לרבניים והן לקראים זכה לתואר "פאר שתי הפאות". יחסם של מנהיגי הרבניים לקראים היה לרוב שלילי ביותר, כאשר הפולמוסן הגדול בסוגייה זו היה רב סעדיה גאון.