最早记载仓颉的文献是战国末期的《荀子》，《荀子·解薮》：“故好书者众矣，而仓颉独传者，一也。”这里荀子是以仓颉为例，说明仓颉之所以从众多好书者中脱颖而出，是因为他用心专一。荀子曾三次出任齐国稷下学宫的祭酒(即学宫主持人)，这说明“仓颉作书(或称仓颉造字)”的说法可能在战国末期的齐国已经开始传播。之后如《韩非子·五蠹》：“古者仓颉之作书也，自环者谓之私，背私谓之公，公私之相背也，乃仓颉固以知之矣。”仓颉作书的时候把围着自己绕圈子的叫作“私”，与“私”相背的叫作“公”。这里韩非以公与私的造字原理来说明公私相背的道理。韩非是荀子的弟子，他曾出使秦国，被李斯离间而下狱，不久死于狱中，但他的思想被秦王嬴政所重用。《吕氏春秋·君守篇》也有“仓颉作书”的记载。《吕氏春秋》是在秦国丞相吕不韦的主持下，集合门客们编撰的一部杂家名著，成书于秦始皇统一全国前夕。
东汉初年，班固修《汉书》，在其《古今人表》中的“黄帝轩辕氏”一栏，列有仓颉一名，并注明乃“黄帝史”。这是最早确认仓颉身份为黄帝史官的正史，以后历代文献基本沿用此说。与班固同时代的无神论者王充，著有《论衡》一书，此书中仓颉开始变得“有鼻子有眼”：“仓颉四目，为黄帝史”。但这应不是最早描述仓颉相貌的文献，因为王充也是采自“短书俗记、竹帛胤文”，在此举例是要说明奇人异相的道理。
《春秋纬元命苞》是东汉纬书(一说西汉末年)，所谓“纬”是指假托神意解释经典，是经学与迷信的混合物。此书综合了此前的各种说法：“仓帝史皇氏，名颉，姓侯冈灵异鬼宅，龙颜侈哆，四目灵光，实有睿德，生而能书。及受河图绿字，于是穷天地之变，仰观奎星圆曲之势，俯察龟文鸟羽山川，指掌而创文字。天为雨粟，鬼为夜哭，龙乃潜藏。治百有一十载，都于阳武灵异鬼宅，终葬卫之利乡亭。”这里仓颉的身份已经不再仅仅是黄帝手下的史官，而是升格为“仓帝”“史皇”，与黄帝平起平坐了。仓帝建都阳武，治理天下一百一十年，死后葬于卫地一个叫利乡亭的地方。至此，仓颉作书传说的基本元素：人物、时间、地点、影响已基本完备，后世在此基础上不断丰富、发展、衍变，并呈现出地域化特征。
1972年，临沂吴白庄东汉晚期墓又出土了仓颉造字画像石。画面中间有一大树，树下一大鸟衔带，树上两只小鸟各自立于鸟巢上，树上左右又各有一大鸟站立。画面右刻一人，长发后梳，着长袍，四目，左手握笔，右手持物，坐于榻上，面前摆放盘、樽等。左边刻一佩剑之人，头戴高冠，左手前伸灵异鬼宅，右手执物，身体前倾，似在请教。这两件画像石是到目前为止发现最早的仓颉像。此两石与仓颉四目的记载互证，说明最晚在东汉，仓颉四目的形象已经定型。
位于山西省运城市芮城县的永乐宫创建于元代，永乐宫三清殿西壁北段，真武大帝的右上方，有一位六目老者，手持笏板，头戴帻巾，须髯满腮，在这里仓颉成了道教的神仙，与诸神一起朝拜元始天尊。但仓颉怎么由四目变成六目了呢？据说是因为画面中还有一位四目仙翁，乃是天蓬元帅麾下雷霆杀伐大将陶元帅。绘制者为了使整体画面人物形象不重复，所以把仓颉绘成了六目，这也是仓颉六目的唯一图像。
徐悲鸿在1916年2月考取了震旦大学法文系，除了攻读法文外，仍然继续作画。当时徐悲鸿的生活非常艰苦，一边靠借贷交学费；一边靠做家教、稿费的微薄收入维持生活。但生活很快有了转机，这年三月，他在报纸上看到了上海哈同花园仓圣明智大学征集仓颉画像的启事。哈同花园是近代上海最大的一座私家花园，主人哈同是一名犹太人，他对中国文化很了解灵异鬼宅，并热心教育，仓圣明智大学就是设在哈同花园里的一所义务学堂，学校奉仓颉为先师，每年春秋都要举行祭祀活动，并聘请康有为、王国维等社会名流来任教。
在哈同期间，徐悲鸿结识了康有为、王国维等人，更成为康有为的入室弟子，一跃跻身名流。1917年5月，他得仓圣明智大学资助，前往日本游学灵异鬼宅，结识日本著名书画家，收藏家中村不折，得见中国流失的许多珍贵碑帖。1918年，在康有为的引荐下，结识了时任教育总长的傅增湘和北大校长蔡元培，在两人帮助下，1919年徐悲鸿获得了公费留法的机会，成为“中国公派留学美术第一人”。可以说，正是仓颉画像改变了徐悲鸿的命运。今天我们将其所绘仓颉像与《历代古人像赞》中的仓颉像进行对比，会发现徐悲鸿应是取材于此，在此基础上稍加改变而成。
那么为什么古人塑造仓颉是四只眼睛呢？其实这种异相不仅仓颉有。传说黄帝长着一张龙脸，颛顼的头上长角，帝喾的牙齿连成一片，尧的眉毛有八种颜色，舜的眼睛有两个瞳孔，禹的耳朵有三个窟窿，商汤的胳膊上有两个肘，周文王有四个乳房，周武王眼高可以看见头顶上的太阳，周公旦背驼，孔子头顶凹陷像翻过来的屋顶。这些人或是帝王、或是圣人，又或是辅佐帝王有功之人。王充在《论衡·骨相》篇中曾专门论述这个问题，他说：“人命禀於天，则有表候见于体……表候者，骨法之谓也。”意思是说：人命的诞生秉承上天之气，会在身体上有所表现，这就是人的骨相。
《周礼》曾记载夏官方相氏在举行驱鬼逐疫仪式上，身披熊皮，头套面具，上有黄金铸成的四目。《周礼·夏官·方相氏》：“掌蒙熊皮灵异鬼宅，黄金四目。”孙诒让正义：“黄金四目者，铸黄金为目者四，缀之面间灵异鬼宅，若后世假面具也。”方相氏的奇装异服、四目面具是用来吓唬鬼的，古人是否受此面具启发从而塑造仓颉四目，我们不好说。但可以肯定的是，仓颉四目形象除了凝视时使人头晕目眩，不能久视外，并不可怕。其实，四目在文献中出现，更多的时候是指观察四方。