しかし、翌
1873年、
ウィーン万国博覧会参加のためにつくられた
太政官博覧会事務局に文部省博物局が転属されると書籍館も文部省の管轄を離れ、のちに浅草に移って
浅草文庫と改称された。一方、文部省は太政官に博物館と書籍館の必要性を説き、
1875年になって博物館と書籍館を組織のみ文部省の所管に取り戻した。ところが書籍館の蔵書は文部省の所管には戻ってこなかったため、文部省は改めて省の所蔵する図書を交付し、同館は東京書籍館として湯島聖堂内に再発足することになった。
東京書籍館は蔵書は文部省から交付された約1万冊を基礎とし、日本で初めての
納本図書館として全ての国内出版物を蔵書に受け入れた。閲覧は再発足時から無料となるが、
西南戦争の影響による財政難から
1877年に廃止が決定され、
東京府に移管されて東京府書籍館となった。
1880年には文部省に再度復帰し、名称を東京図書館に変更。東京図書館は
1885年に東京教育博物館(
国立科学博物館の前身)と合併して
上野に移転した。「上野図書館」の通称はこのときに始まる。上野の東京図書館は同年10月に開館するが、無料制に伴う館内の混雑を調整する目的から有料制に戻された。
1889年には東京図書館官制公布により東京教育博物館から分離、独立の図書館となるが、財政・施設とも貧弱で、国立図書館というにはいまだ不十分であった。
田中館長の尽力にもかかわらず帝国図書館の予算は館長の要望する額には及ばず、庁舎も当初計画のわずか4分の1の規模に留まったが、納本制度による国内文献の受け入れや
洋書の購入が努力され、研究書を多くそろえた研究図書館として、すぐれた蔵書コレクションが構築された。
1921年からは文部省の図書館員教習所(
図書館情報大学の前身)も館内に置かれるなど、文部省による図書館行政の拠点となって帝国図書館は戦前の日本の図書館界を主導していった。この年、田中館長が文部省との対立から更迭され(
11月29日)、
東京高等師範学校教授の
松本喜一が就任した。松本は図書館における活動の経歴が無く、在任中には文部省の意向に忠実で図書館の国家・軍部への従属を進めたとする批判と司書に対する資格制度の導入などの人材育成や
納本制度の改革など戦後の図書館システムの基礎を築いたとする功績の間において、今日もなおその評価が分かれている人物である。
1923年の
関東大震災では蔵書と庁舎に損傷を受けたが軽微で済み、
太平洋戦争中は台地上の住宅街から離れた場所にあったことから空襲の被害を免れて、
大正から
昭和初期の動乱を生き延びる。太平洋戦争中に貴重書の
疎開などを行いながら、終戦まで帝国図書館の閉鎖や臨時閉館行わずに予定通りの開館を続けたのは松本の最大にして最後の功績であった。終戦直後の
1945年11月13日に松本館長が在任のまま死去し、翌
1946年5月13日に司書官
岡田温が館長に就任する(最後の帝国図書館長)。
戦後の
1947年12月、帝国図書館の名称は時代に適合しなくなったことから国立図書館と改称された。さらに翌
1948年には
米国議会図書館を模範として旧
帝国議会両院の附属図書館を基礎とする
国立国会図書館が設置されて新たな法定納本図書館となるが、この法律によって旧来の納本図書館である国立図書館はその機能を国立国会図書館に統合されることになり、同年5月岡田館長は国立国会図書館整理局長に転じた。その後、統合後の分館館長就任を前提に文部省社会教育局員の
加藤宗厚(元帝国図書館員)が館長に就任(
1957年7月まで)、
1949年4月になって国立図書館は国立国会図書館に統合され、
国立国会図書館支部上野図書館となった。
