关于柳下惠和少连，少连的情况今天已不可考证，但柳下惠的情况却是清楚的。“三黜”讲的就是他的故事。在孔子看来，他和少连已不像伯夷、叔齐那样“不降其志，不辱其身”，而是“降志辱身”了，不过，他们的言语合乎法度，行为合乎思虑，具有中正的精神。虽然忍辱负重，但其内心志节还是没有改变的，属于次一等。
关于虞仲、夷逸，《史记·周本纪》：“古公有长子曰太伯，次曰虞仲。”太伯、仲雍二人知太王欲立季历与昌，乃奔荆蛮，文身断发，以让季历。《吴太伯世家》：“太伯之奔荆蛮，自号句吴。荆蛮义之，从而归之千余家，立为吴太伯。太伯卒，无子，弟仲雍立，是为吴仲雍。……是时周武王克殷，求太伯、仲雍之后，得周章。周章已君吴，因而封之。乃封周章弟虞仲于周之北故夏虚，是为虞仲，列为诸侯。”虞仲是武王求得的，举为虞君，自属逸民。朱张，“字子弓，荀卿以比孔子”（王弼注）。对于虞仲、夷逸，孔子评价说“过着隐居的生活，说话很随便，能洁身自爱，离开官位合乎权宜”，又次之一等。
孔子认为自己与这些人都不同，“无可无不可”。马融说：“亦不必进，亦不必退，惟义所在。”《论语正义》：“进者，可也；退者，不可也。逸民或治则进，乱则退，或虽治亦退，或虽乱亦进，行各不同，皆未适于大道。惟夫子本从心之矩，妙隐见之权，进退俱视乎义。义苟可进，虽乱亦进，义苟宜退，虽治亦退。”孔子判断“可与不可”的标准就是义，故能“无可无不可”。