مكتبة الجامع الكبير أسسها الإمام يحيى حميد الدين سنة 1334هـ، وأمر بوضعها في الخزانة بالجامع الكبير المتصلة بالصومعة الشرقية، وإن كانت النواة الأولى للمكتبة سابقة لعهده؛ فقد أمر الإمام بتجميع الكتب الموقوفة على الجامع الكبير والتي كانت مبعثرة، وحاول الإمام استعادة الكتب التي كانت لخزائن الكتب الموقوفة بالجامع الكبير.ووقف الإمام يحيى كتبه المخطوطة والمطبوعة وكتب والده والتي نقل بعضها من السودة، وكتب السيد يحيى بن الحسين بن القاسم بن محمد، وعند ذلك تسابق أولاد الإمام يحيى على الوقف في المكتبة، وكذلك العلماء.بعد ذلك قام الإمام بنقل الكتب التي كانت في الخزانة المنصورية بظفار خزانة الإمام المنصور بالله عبد الله بن حمزة، وكتب بعض المساجد التي كانت عرضة للضياع.وكذلك نقل الكتب الموقوفة على الذرية لما رأى من تعرضها للضياع والتلف؛ فنقل مكتبة العلامة السيد الأمير محمد بن الحسن بن القاسم بن محمد، وكذلك كتب الإمام المهدي أحمد بن الحسن، وكتب أخرى.ونقلت الكتب من قبة المهدي ومن مسجد الحيمي ومسجد صلاح الدين وغيرها.ولما رأى العلماء الفائدة التي استفادوا من هذه الكتب عرفوا قدرها في خدمة العلماء سارعوا إلى الوقف على هذه المكتبة، بل بادر بعض العلماء بوضع الكتب الموقوفة على الذرية بالمكتبة ليعم النفع ويستفيد منها العلماء والمسلمين عمومًا.ومن الخزائن التي كانت بالجامع الكبير: خزانة آل الوزير، يعود وقف بعضها إلى القرن السابع الهجري، خزانة العلامة سعد بن علي البواب، خزانة العلامة محمد بن علي قيس الثلائي، خزانة إسماعيل الصديق، خزانة العلامة يحيى بن أحمد البرطي.وفي سنة 1985هـ نقلت مجموعة الكتب المحفوظة من قبة طلحة، وكذلك مجموعة من الكتب من مساجد جبلة.ومن العلماء الذين بادروا بالوقف عند التأسيس العلامة عبد القادر بن عبد الله شرف الدين، والعلامة حمود بن أحمد بن أحمد سام المروني. ووقف العلامة علي بن محمد إبراهيم كتبه بنظر السيد العلامة حمود بن عباس المؤيد، وكذلك علماء آخرون وقفوا كتبًا مخطوطة بنظره، وهو أوصلها إلى المكتبة، وكذلك السيد العلامة محمد بن محمد المنصور أوصل ما تبقى من كتب آل سام المروني.ووقف العلامة الحسين بن أحمد السياغي مكتبة كبيرة، وكذلك ورثة العلامة إسماعيل صلاح الدين الآنسي، وكذلك العلامة عبد الكريم بن محمد بن محمد إبراهيم والحاج سعد بن علي الخميسي. ولم نذكر من وقف مجموعة من الكتب وإن كان سيذكر في الفهرس الجامع لمحتويات المكتبة. وأما الكتب الموقوفة التي وصلت المكتبة ولم تدخل الفهرس فأمانة المكتبة سوف تقوم بفهرستها وترتيبها باسم الواقف وتلحق بالفهارس.