不过，相对主义更多地是以社会进化论或文化多元论作为其立论的基础的。这些人认为，"人权概念在起源上并不是普遍的，因此它也不可能为大多数社会所接受"。
[38]人权产生于人的活动或与文化有关的别的社会价值，因此人权主要是一种社会权利而不是个人权利。 有的相对主义者以文化差异性为据，从所信仰的宗教的神那里寻找人权的根据。
例如，Khadduri教授指出，在伊斯兰国家，人权是真主的特权，因为最终的权力属于真主。人类享有真主赋予的权利，在伊斯兰看来，人权的基本特征是设立与神有关的和产生这种关系的具有强制性的义务。
人权的存在仅仅与人的义务有关，而每个人都负有对神、对他人和自然的义务。所以，一切与人的尊严有关的事，都只是义务而不是权利。
在某些相对主义者看来，《伊斯兰世界人权宣言》的发表就是不同文化对人权根据的理解具有巨大差异的明证。在这种假定之下，他们强调每个文化均有其自己的人权标准，例如西方国家坚持妇女的完全平等，在伊斯兰国家则有不同的看法。
一些非洲国家的学者也比较推崇相对主义。A. Legesse教授说，"世界人权宣言在意思上是世界性的，但在起源上并非世界性的。
……假如非洲人是世界人权宣言的惟一起草人，他们会认为共同体的各项权利优于个人的各项权利，可能会使用与现今以一定的方法表达各种思想的语言根本不同的一个文化性的语法。"[39]非洲历史、文化和哲学的独特性给非洲的人权观念赋予了自己的特色，这种特色在《非洲人权和民族权宪章》中得到了体现。
基于人权来源于非洲人民的本土文化的观点，有的学者指出，非洲人否认外来的"人权标准"对他们的适用性，因为在非洲，大多数对人权的侵犯是由西方的奴隶贸易、殖民主义和种族隔离造成的。[40] 我们看到，在讨论中，即使普遍主义和相对主义都承认人性是人权的根据，它们在具体解释上也相去甚远。
普遍主义认为人性是指人的自然属性，由此推导出人权是不分民族、种族、性别、年龄、宗教、国籍等而为一切人所享有的权利。 相对主义则提出以下理由加以反驳： 1.每个人要通过他的文化才能认识他的人性，因此尊重个人的不同必须尊重文化的差异； 2.尊重文化间的差异是由科学事实证明了的，而不是被发现的定性评价文化的技术； 3.人权和作为人权根据的人性是与它们所产生的文化相关联的。
人性的主要特征是它的民族性和社会性，以人性为根据并不能必然地推导出人权的普遍性。 四 人权观念的文化整合 当极端的普遍主义和极端的相对主义争吵得不可开交的时候，人们试图找出一种双方都能够接受的或者能够缩小双方差距的理论，以避免这种争论对解决日益增多和繁杂的现实人权问题造成障碍。
于是，有的学者提出了跨文化的人权普遍性的概念，即把国际上流行的人权观念和某些关于基本人权的规定溶到各种不同的文化中，在承认不同文化存在某些差异性的同时，更寻找和强调各种文化中的共同因素，通过具体社会制度下的具体文化的整合，建构起一种为论争各方都能够接受的人权观念和基本人权标准。为了达成这个目的，他们从下述几个方面做了论证。
(一)人权的存在依赖于包括政治制度、经济制度、社会制度以及文化传统在内的广义的文化模式。各种文化模式是有区别的，但在这些区别的差异性背后，存在着某种基本的一致性，即每种文化必须为满足个人的基本相同的物质和精神需要提供条件。
这种基本需要的共性并不会因为文化的不同而产生本质的差别。
(二)从人性来看，当在不同文化之间、同一文化的不同个人之间的人性表现为特定的形式时，如对生存和人格的基本要求，人性就是普遍的。任何文化的价值体系都必须对人性同时是自然界的一部分予以承认，对以人性为基础的人权理念中的普遍内容予以受纳。
正如美国著名伦理哲学家彼彻姆指出的那样:"人类本性的结构相同，至少是人类的需要普遍相同，从而导致了在所有文化中采纳类似的甚至同一的原则。"[41]在人权观念领域这种现象和可能性同样存在。