古くは平安時代から貴族によって書かれており、『源氏物語』「絵合」には、絵日記を見せようとする内容が含まれている。絵日記の内容は、須磨と明石の旅の情景を描いたもので、過去を振り返るために記したとしている（形態としては、交互絵巻の方式）。
近世江戸時代にもなると下級武士でも絵日記をつけるようになり、一例として、忍藩藩士の尾崎石城が文久元年（1861年）から翌年までの日常生活と多数の絵を描いた『石城日記』を残している。『石城日記 』の画と字の割合は、絵画が主体で文字は少なく、現代の絵日記帳のように画と字のスペースを区分していない[1]。当時の日本人が誕生日の際、赤飯を食していたことなど、風俗がわかる。
絵師が題材探しや修業目的でつける例もあり、歌川広重は嘉永6年（1853年）の旅を『広重武相名所旅絵日記』として残している（他、河鍋暁斎が幕末から明治期にかけての絵日記を残している）。
映像記録媒体の機械化（カメラの発展など）が進む以前では、異国の風俗・文化などを記録するものとして、学者がその手法を用いる場合もあり、モースは明治期の日本が西洋文化を急激に吸収し、日本独自の文化が消えゆくであろうことを想定し、事細かに描いた。一例として、『モースの日記』1879年5月9日条、神戸の事として、和船を写生することができたが、日本人が西洋船を習って造っているため、このような船はもうすぐ消えるであろう、といった旨の内容を書いている（厳密には、日記とスケッチを『日本その日その日』と題した本にまとめたもの）。後代により日記とスケッチを一つの本として合わせた手法の例。
近代期の絵日記としては、山本作兵衛の炭鉱画と日記（絵日記含む）がユネスコ記憶遺産（世界の記憶）として2011年に認定されるなど、史料価値として観直されている。
現代では、小学生が夏休みの宿題として課されることが多い。
ウィルウェイ｜ウィルウェイ｜ウィルウェイ｜ウィルウェイ｜ウィルウェイ｜ウィルウェイ｜ウィルウェイ｜ウィルウェイ｜ウィルウェイ｜ウィルウェイ