关于“是非之心”，孟子是这样讲的：

所以谓人皆有不忍人之心者，今人乍见孺子将入于井，皆有怵惕恻隐之心；非所以内交于孺子之父母也，非所以要誉于乡党朋友也，非恶其声而然也。由是观之，无恻隐之心非人也，无羞恶之心非人也，无辞让之心非人也，无是非之心非人也。恻隐之心，仁之端也；羞恶之心，义之端也；辞让之心，礼之端也；是非之心，智之端也。人之有是四端也，犹其有四体也。有是四端而自谓不能者，自贼者也；谓其君不能者，贼其君者也。凡有四端于我者，知皆扩而充之矣，若火之始然、泉之始达。苟能充之，足以保四海；苟不充之，不足以事父母。（《公孙丑上》）

恻隐之心、羞恶之心、辞让之心、是非之心，四者都属于“良能”，即都是天然的情感。朱熹说：“恻隐、羞恶、辞让、是非，情也。”（《孟子集注·公孙丑上》）但实际上，其中的“是非之心”比较特殊，不仅是一般的情感，而且是在具体运用关于是非曲直的直觉判断能力之际所产生的一种内在感受。这里值得留意的是“是非之心”这个表述：它与恻隐、羞恶、恭敬辞让并列，意味着这是一种良能情感；但它处在这个情感系列的最后一个环节上，而且“是非”已经是一种价值判断、即是一种“知”。换句话说，是非之心的一个必要前提是一种“知”，即孟子所说的“良知”这种直觉的是非判断能力。所以，所谓“是非之心”，作为一种内在感受，也就是通常所说的“正义感”。正义感作为一种“感”，乃是一种内在感受，它产生于良知这种直觉判断能力的实际运用情境之中。

这就是说，“是非之心”或正义感乃是良知这种能力的“发用”，王阳明谓之“致良知”（《传习录下》）。孟子说“有是四端而自谓不能者，自贼者也”，这种“自贼”，包括缺乏正义感，是一种“心中贼”，所以后来王阳明提出“破心中贼”（《与杨仕德薛尚谦书》），为此而提出“致良知”。由“致良知”而获得正义感，这并不是作为工具理性的理智的事情，不是知识可以给予的，因为良知乃是一种直觉能力、“本质直观”。

孟子认为，“是非之心”这种正义感，不是作为先验德性的“智”，而只是“智之端”（发端），所以要求对“是非之心”更进一步地“扩而充之”，将这种内在感受性的正义感加以自觉化、理性化，其结果就是正义原则。同时，这种“是非之心”伴随着“恻隐之心”、“羞恶之心”、“辞让之心”，而这些情感也不是作为先验德性的“仁”、“义”、“礼”，而只是德性之“端”，所以也要求更进一步地“扩而充之”，使之自觉化、理性化，进而规范化、制度化。于是，才有孟子的社会正义理论的“仁→义→智→礼”结构。