مكتبة الجامع الكبير أسسها الإمام يحيى حميد الدين سنة 1334هـ، وأمر بوضعها في الخزانة بالجامع الكبير المتصلة بالصومعة الشرقية، وإن كانت النواة الأولى للمكتبة سابقة لعهده؛ فقد أمر الإمام بتجميع الكتب الموقوفة على الجامع الكبير والتي كانت مبعثرة، وحاول الإمام استعادة الكتب التي كانت لخزائن الكتب الموقوفة بالجامع الكبير. وقف الإمام يحيى كتبه المخطوطة والمطبوعة وكتب والده والتي نقل بعضها من السودة، وكتب السيد يحيى بن الحسين بن القاسم بن محمد، وعند ذلك تسابق أولاد الإمام يحيى على الوقف في المكتبة، وكذلك العلماء. بعد ذلك قام الإمام بنقل الكتب التي كانت في الخزانة المنصورية بظفار خزانة الإمام المنصور بالله عبد الله بن حمزة، وكتب بعض المساجد التي كانت عرضة للضياع. وكذلك نقل الكتب الموقوفة على الذرية لما رأى من تعرضها للضياع والتلف؛ فنقل مكتبة العلامة السيد الأمير محمد بن الحسن بن القاسم بن محمد، وكذلك كتب الإمام المهدي أحمد بن الحسن، وكتب أخرى. ونقلت الكتب من قبة المهدي ومن مسجد الحيمي ومسجد صلاح الدين وغيرها ولما رأى العلماء الفائدة التي استفادوا من هذه الكتب عرفوا قدرها في خدمة العلماء سارعوا إلى الوقف على هذه المكتبة، بل بادر بعض العلماء بوضع الكتب الموقوفة على الذرية بالمكتبة ليعم النفع ويستفيد منها العلماء والمسلمين عمومًا.