مكتبة الجامع الكبير أسَّسها الإمام المتوكِّل على الله يحيى بن محمد حميد الدين (ت: 1367هـ) سنة 1334هـ/1916م، وأمر بوضعها في الخزانة بالجامع الكبير المتَّصلة بالصومعة الشرقيَّة، وإن كانت النواة الأولى للمكتبة سابقةً لعهده؛ فقد أمر الإمام بتجميع الكتب الموقوفة على الجامع الكبير والَّتي كانت مبعثرة، وحاول الإمام استعادة الكتب الَّتي كانت لخزائن الكتب الموقوفة بالجامع الكبير.

وقام الإمام يحيى بوقف كُتبه المخطوطة والمطبوعة، وقام أيضًا بوقف كتب والده والتي نقل بعضها من السودة، وكتب السيِّد يحيى بن الحسين بن القاسم بن محمد، وعند ذلك تسابق أولاد الإمام يحيى على الوقف في المكتبة، وكذلك العلماء.

وبعد ذلك قام الإمام بنقل الكتب التي كانت في الخزانة المنصوريَّة بظفار، وهي خزانة الإمام المنصور بالله عبد الله بن حمزة، وقام بنقل كُتُب بعض المساجد التي كانت عُرضةً للضياع، وكذلك قام بنقل الكُتُب الموقوفة على الذرِّيَّة لِما رأى مَن تعرُّضها للضياع والتلف؛ فنَقَلَ مكتبة الأمير محمد بن الحسن بن الإمام المنصور بالله القاسم بن محمد (ت: 1079هـ)، وكذلك قام بنقل كُتب الإمام المهديِّ أحمد بن الحسن بن الإمام القاسم بن محمد (ت: 1092هـ)، وكتب أخرى، ونُقِلت الكتب من قبَّة المهديِّ، ومن مسجد الحيميِّ، ومسجد صلاح الدين وغيرها.

ولمَّا رَأى العُلماء الفائِدة الَّتي استفادوها من هذه الكتب عَرَفُوا قَدرَها في خِدمة العُلماء سَارَعُوا إِلى الوقف على هذه المكتبة، بَل بَادَر بعض العُلماء بوَضع الكُتُب الموقوفة على الذرِّيَّة بالمكتبة ليعمَّ النفع ويَستفيد منها العُلماء والمُسلِمون عُمومًا.

ومن الخَزائِن الَّتي كانت بالجامع الكبير خِزانة آل الوزير، ويعود وقفُ بعضها إلى القَرن السابع الهجري، وتُعتبر أَقدم الخَزائِن الموقوفة في الجامِع الكَبير، ومنها خِزانة القاضي العلامة سعد بن عليٍّ البوَّاب الحاشدي (ت: بعد 1269هـ)، وخِزانة القاضي العلامة محمد بن عليٍّ قيس الثلائيُّ (ت: 1096هـ)، وخِزانة القاضي إسماعيل الصِّدِّيق (ت: 1209هـ)، وخِزانة القاضي العلامة يحيى بن أحمد البرطيُّ (ت: 1061هـ). وفي سنة 1405هـ/1985م نُقِلَت مجموعةٌ من الكُتب المحفوظة من قبَّة طلحة، وكذلك مجموعةٌ من الكُتب من مساجد جِبلة.

ومن العُلماء الذين بادروا بالوَقف عند تأسيس المكتبة السيد العلامة عبد القادر بن عبد الله شرف الدين (ت: 1425هـ)، والسيد العلامة حمود بن أحمد بن أحمد سام المرونيُّ (ت: 1357هـ)، وقام السيد العلامة علي بن محمد إبراهيم (ت: 1396هـ) بوقف مجموعةٍ من كُتبه بنظر السيد العلامة حمود بن عباس المؤيد (ت: 1439هـ)، وكذلك عُلماء آخرون وَقَفُوا كُتبًا مخطوطةً بنظره، وهُو أوصلها إلى المكتبة، وأوصل السيد العلامة محمد بن محمد المنصور (ت: 1437هـ) ما تبقَّى من كُتب آل سامٍ المروني، وكذلك وَقَفَ القاضي العلامة الحسين بن أحمد السياغي (ت: 1407هـ) مكتبةً كبيرةً، وكذلك وَقَفَ وَرَثَة العلامة إسماعيل صلاح الدين الآنسي (ت: 1395هـ تقريبًا)، وكذلك وَقَفَ السيد العلامة عبد الكريم بن محمد بن محمد إبراهيم (ت: 1408هـ تقريبًا) والحاج علي بن سعد الخميسيُّ.

ونحن هُنا لم نَذكُرْ كُلَّ مَن وَقَفَ مجموعةً من الكُتب، وسيُذكَر في الفهرس الجامع لمُحتَويات المكتبة مع فَهرسة الكُتب الموقوفة لاحقًا الَّتي وَصَلَت إلى المكتبة ولم تدخلْ في فَهرَس عام 1405هـ/1984م، وتعتزم أَمانة المكتبة عبر إدارة المَخطوطات والمَكتبات الوقفيَّة بالهيئة العامة للأوقاف القِيام بنشر فَهرسٍ جامعٍ لمخطوطات المكتبة وتَرتيبها باسم الواقف وإلحاقَها بالفَهارِس.