1896年(明治29年)、農工業の改良のための長期融資を目的に「日本勧業銀行法」が制定され、翌年に政府を中心に設立された。東京に本店を置き、支店は大阪のみに限られ、それ以外の地域には
北海道を除く各府県には事実上の子会社である
農工銀行(勧業銀行法と同時に制定された「農工銀行法」に基づく)が設置され、勧銀への取り次ぎまたは勧銀と同等の業務を行った。なお、基幹産業(特に重化学工業)向けには別途
日本興業銀行(興銀)が設置され、勧銀との棲み分けが行われた。また、北海道には勧銀や興銀の代わりに
北海道拓殖銀行(拓銀)が設置された。
長期融資が基本であるため、預金が原資とは成り得ず、代わりに
金融債の発行が認められ、かつ割増金付きの債券が唯一認められ、発行した(抽選を行い、当選番号の債券を持つ者に対しては割増金付きで償還された。農工銀行や興銀、拓銀も金融債を発行したが、割増金は認められていなかった)。
だが、農業に関する融資は個々の農家に対してではなく、事業や
組合、
担保能力のある
地主を対象としたために全く融資が進まず、
1911年(明治44年)の法律改正で商業に対する融資も解禁された。
大正末期より市街地の
不動産金融に乗り出す一方、業務の重複と機能低下を理由に
1921年(大正10年)の法律改正(「勧・農合併法」ともいう)以後、各府県の農工銀行を悉く合併し店舗網を拡大した。また
1923年(大正12年)に当時日本領であった
台湾に
台北州台北市支店が開設され、その後も五州の州庁所在地
高雄・
台中・
台南・
新竹に支店を次々と開設した
[戦後は台湾に進駐した中国国民党が接収し、台湾土地銀行となった。]。割増金付き金融債の発行実績が認められ、
太平洋戦争中の割増金付き戦時債券の幹事銀行となるが、やがてこの債券は射幸性が高くなり終戦直前には「勝札」と言う名の富籤となり、これが現在の「
宝くじ」に繋がる。戦後は福徳定期預金(割増金付きの定期預金)の幹事銀行にもなる。
宝くじ業務の関係や、大正時代に全国各地にあった農工銀行からの事業譲渡や農工銀行の吸収合併に伴う受け皿支店の開設などの理由により、全国都道府県庁所在地に必ず一店舗は存在した
[ただし、農工銀行に相当する業務を行っていた北海道拓殖銀行の本店のあった札幌市の場合は、別の理由で設置されている。宝くじ関連は、戦後に入ってからの話であり、県庁所在地以外の政令指定都市の支店という点ではほぼ的を射ているが、県庁所在地名支店については、宝くじ以前の問題である。]。他の都市銀行とは異なり、かつてあった、都市銀行の出店規制
[新規に出店する場合それとほぼ同数の支店を廃止しなければならない]があったが、都道府県庁所在地名の支店は廃止の対象にならなかった。むしろ、他の都市銀行の地方支店の廃止の際には受け皿となっているケースがある(
1960年代後半の旧
富士銀行の
秋田[富士銀秋田支店廃止の理由は、道内強化のための既存支店整理の一環とされる。]、
福井、
鳥取、
松江支店など。逆に、当行の
釧路、
帯広、
旭川、
函館[旧第一勧銀函館支店は第一銀行を前身とする。]、
平各支店等を富士銀行に営業譲渡していた
[その後富士銀行とは、2002年にみずほ銀行として合流することとなるが、それらの店舗は当然ながらであるがいずれの店舗も旧一勧店(赤みずほ)として営業していた(逆も同様)。])。