伯乐，原名孙阳，春秋时秦国人，相传是我国古代最著名的相马专家，曾经着有《相马经》（或称《马经》）。伯乐相马的故事至今也还在民间流传。（参看“一顾之荣”）

但是，据说伯乐的儿子却并不聪明。有这么一个故事：伯乐的儿子死读了父亲的《马经》，去找骐骥良马，结果却得了一匹劣马，根本不堪使用。另有一说：伯乐的《马经》中曾说到良马的额头如何如何，眼睛如何如何，蹄子如何如何，他儿子把这几条记住了。有一天，在路边看见一只大蛤蟆，便高兴地对伯乐说：“这真是一匹良马了！你瞧，它的额头、眼睛，都跟您说的相仿，就是蹄子不大一样。”伯乐又好气又好笑，幽默地说：“这‘马’好跳，无法驾驭！”

这个故事在《朝野佥载》（相传为唐朝人张族撰）和《艺林伐山》（明朝人杨慎撰）等书中都有类似记述。由于死记教条，机械地按照《马经》去找良马，结果闹了大笑话。这就是“按图索骥”这句成语的来历。

那么，为什么不叫“按经索骥”，而叫做“按图索骥”叫呢？传说周穆王有八匹神奇的骏马，每一匹都有一个高雅的名字，而且都健壮不凡，各有特色；有名的《八骏图 》，就是后来的画家根据传说画的那八匹骏马的想象图。唐代诗人白居易曾有诗道：“穆王八骏天马驹，后人爱之写为图。”因八骏有图，上述的故事就被人叫做“按图索骏”。“骏”和“骥”都是良马，意思相同，“按图索骏”因此又叫做“按图索骥”。

明朝人赵汸的《葬书问对》中说：“按图索骥者，多失于骊黄”。（“失于骊黄”是比喻只看外表，不顾实质而导致失败的意思，参看“牝牡骊黄”）。

可见“按图索骥”的原意，是批评死守成规、脱离实际和不知融会变通的。但是后来这句成语却被用作另一种意思，即：根据具体的标示，去寻找需要的东西，就可以在复杂的情况下顺利地找到。例如，按照分门别类的目录或索引，就很容易从大量图书资料中找出你所需要的某一本书、某一篇文章或某一词句，这也可以叫做“按图索骥”。