1772年11月（安永元年10月）、岩村藩家老佐藤信由の次男として、江戸浜町（中央区日本橋浜町）の藩邸下屋敷内で生まれた。1790年（寛政2年） より岩村藩に仕えた。十二、三歳の頃、井上四明の門に入り、長じて大阪に遊学、中井竹山に学んだ。 1793年（寛政5年）に、藩主松平乗薀（のりもり）の三男乗衡（のりひら）が、公儀儒官である林家に養子として迎えられ、当主（大学頭）として林述斎と名乗った。一斎も近侍し門弟として昌平坂学問所に入門する。1805年（文化2年）には塾長に就き、述斎と共に多くの門弟の指導に当たった。

　儒学の大成者として公に認められ、1841年（天保12年）に述斎が没したため、公儀の学問所昌平黌（しょうへいこう）の儒官（総長）を命じられ、広く崇められた。当然朱子学が専門だが、その広い見識は陽明学まで及び、学問仲間から尊敬をこめて『陽朱陰王』と呼ばれた。門下生は3000人と言われ、一斎から育った弟子として、山田方谷、佐久間象山、渡辺崋山、横井小楠等、いずれも幕末に活躍した人材たちがいる。同門の友人には松崎慊堂がいる。将軍侍医の杉本宗春院とは極めて親しかった。

　また、一斎は常に時計を持ち、時間厳守を第一とする厳格な性格の持ち主であった。だが「蛮社の獄」では、無実の罪で窮地に落ちいった渡辺崋山を、擁護する毅然とした対応を取らなかったので、後々（特に明治以降）「言行不一致」と批判される事となった。

　1854年（安政元年）の、日米和親条約の締結交渉では、大学頭林復斎（述斎の六男）を補佐している。

　1859年10月（安政6年9月）、88歳で死去した。後に、陽明学者として「東の一斎、西の大塩」と評される。