书画辨伪是与书画作伪联系在一起的。据记载，南朝时已有人伪作二王法书，唐代张易之曾使人伪作名画，然而五代以前，此类存心作伪之事并不多见，人们临摹复制古书画主要还是作为一种流传研习的手段。宋代，随着商业的空前发展，书画作品成为一种获利颇高的商品，一些大都市中出现了包括书画在内的文物市场，如汴京相国寺的集市上即有专门买卖书画的铺席，于是作伪谋利的现象就变得较为普遍了。
北宋米芾称其所见宋初李成的画作，仅两件是真迹，其余三百件皆是赝品，而据宋人记载，米芾本人也曾经伪作古书画以骗取他人真迹，作伪之风于此可见一斑。在这种情况下，书画辨伪之学便勃然而兴了。当时不少书画家和文人学者都以精于鉴赏著称，他们在论述历代书画作品时，常提到真伪的问题。南宋赵希郜所撰洞天清录是我国第一部以辨伪为主要内容的文物鉴赏著作，其中“古翰墨真迹辨”、“古画辨”等篇即专论书画辨伪。
从书中所述看，当时已能根据艺术风格、纸绢、笔墨、幅式、装潢、印章等方面来辨别真伪了。如论李公麟之画，“殆无滞笔，凡有笔迹重浊者，伪作”论幅式，“古画多直幅，至有画身长八尺者，双幅亦然，横披始于米氏父子米芾、米友仁，非古制也”论墨色，“古画色黑或淡墨，则积尘所成，有一种古香可爱，若伪作者，多作黄色，而鲜明不尘暗，此可辨也。”
明代，书画作伪之风更兴，当时不但有个别人的作伪，而且还出现了**假画的作坊，于此相应，人们对书画的真伪也更为注意。曹昭原著，王佐增编的新增格古要录中有“古画论”、“古墨迹论”等篇，所论书画辨伪问题较前人更为广泛而深入。高深遵生八笺燕闲清赏笺有“论帖真伪纸墨辨正”、“画家鉴赏真伪杂说”等篇，书中所论，在不少方面对新增格古要录有所纠正和补充。此外，许多书画著录书对辨伪问题也时有涉及。
清代以来，书画作品的功能有所扩大，名人字画不仅是一种可供鉴赏、摆设的文物古玩、而且被人当作可储藏保值的财富，甚至还常被用以贿赂馈赠，成为一种谋取官职，疏通关系的手段。这促使书画买卖更为兴盛，价格日益提高，于是作伪的规模更大，手法也更高明。
因为书画的真伪直接关系到人们的经济利益和官场活动的成败，所以凡与书画打交道的人，如书画家、收藏家、古玩商等，都对辨伪问题十分重视。当时有关书画辨伪的论述和论著颇多，由于历史考据学和古器物鉴定学的发展，人们的辨伪方法更为完善，指导思想也更为正确。
如钱泳曾提出要独立思考，多看实物的基本原则，否定了以往流行的“须具金刚眼力，鞠盗心思”的捉贼式辨伪方法。这显示出，清代的书画辨伪已逐步形成了一套比较完整的体系。