常设仲裁法院的组织机构是：
（一）国际事务局(International Bureau)：作为常设仲裁法院的书记处，由秘书长和其他官员组成，负责该院的联系事项，保管档案并处理一切行政事务。
（二）常设行政理事会(Permanent Administrative Council)：由各缔约国驻海牙的外交代表和荷兰的外交部长组成，由荷兰外交部长担任主席。理事会负责指导和监督国际事务局的工作，制定理事会议事规则及其他必要的规章，决定仲裁法院可能产生的一切行政问题，管理事务局官员及雇员的任免或解职事宜，规定薪金和监督开支，就该院日常工作、行政工作、经费情况等向各缔约国提出年度报告。
（三）仲裁法院：事实上仅是一份仲裁员名单，由每一缔约国至多选定四名公认精通国际法问题，享有最高道德声誉，且愿担任仲裁职务的人，作为该院仲裁员，列入该院一项名单中。这项名单由事务局通告各缔约国。
仲裁员任期六年，连选得连任。遇有缔约国发生争端并希望托请常设仲裁法院解决时，由各当事国在该院仲裁员名单中选定两名仲裁员，再由他们共同选定一名仲裁员，组成仲裁法庭，以处理争端案件。
法庭仲裁员在行使职务并在本国以外时，享有外交特权和豁免。 同时，海牙公约并不禁止当事国通过协议在海牙常设仲裁法院以外，另行选任人员组成特别仲裁法院，处理争端案件。
所以，海牙常设仲裁法院并不是一个有固定的常任仲裁法官处理案件的真正法院，也不是作为一个整体来裁决案件的。1899年的《海牙公约》经16国批准后，法院得以成立，经1907年第二次海牙和平会议修正，该约又有31国批准或加入。
前后批准或加入两公约或其一的国家共有47个。这在当时的国际社会中，已属不易，但距离国际法治的理想还是甚远。
加上争端当事国大多不愿意承担把争端提请法院仲裁的法律义务，法院自身也有非常设、效率不高等不足，其作用受到了一些质疑。1920年，国际联盟（The League of Nations）第一届大会时，阿根廷提议撤销常设仲裁法院，未获通过。
反对撤销的理由是某类国际争端，较易经由仲裁方式处理，不宜严格拘泥于有关法则来解决。1922年根据国联通过的规约，建立了国际常设法院，二者并立存在。
到讨论成立联合国国际法院时，也有国际常设仲裁法院存废的问题。仲裁与司法毕竟各有所长，而且常设仲裁法院无需为名单上的仲裁员支付任何东西，只有国际事务局需要常年经费，数量极小；仍有许多条约规定将有关争端提交该法院解决；此后国际法院的法官选举如要尽量减少政治上的影响，由各国在该法院的仲裁员组成提名的国家团体负责提名，也有其好处。
绝大多数人认为应予保留。
二、常设仲裁法院与中国中国是两海牙公约的原始缔约国。1899年和1907年召开的两次海牙和平会议，均有中国清政府的代表与会，并先后签署、批准了两公约。
两公约对中国的生效时间分别为1904年11月21日和1910年1月26日。此后，清政府向常设仲裁法院指派了仲裁员。
1911年，中华民国成立，接受了海牙公约，成为缔约国，并继续指派仲裁员。1928年，中国诉美国广播公司广播电讯合同解释案（China v. Radio Corporation of America , Interpretation of a contract of radio-telegraphic-traffic ）提交到常设仲裁法院，并在1935年4月获得胜诉。
1949年，中华人民共和国政府成立，由于台湾国民党当局窃据海牙公约缔约国地位，并继续向法院指派仲裁员，新中国未与常设仲裁法院发生关系。1963年，印度曾打算将中印边界争端交付常设仲裁法院解决，遭到中国政府拒绝。
1971年10月25日联大第2758号决议决定驱逐台湾当局并恢复中国在联合国的合法席位。1972年4月6日常设仲裁法院行政理事会第121次会议召开，39国驻荷兰外交代表出席了会议。
在讨论法院当年年度报告草案时，罗马尼亚代表提出应在报告中删去“中华民国”字样和它指派的四名仲裁员的名单，代之以“中华人民共和国”的名称，这一建议得到了南斯拉夫、苏联、法国、荷兰、芬兰、丹麦、挪威、波兰及瑞典等国的支持，加拿大和意大利表示只承认中华人民共和国；美国则明确表示反对，称会议无权讨论政治问题，并得到西德、泰国的附议。讨论结果，多数国家代表同意授权海牙公约保存国荷兰政府同缔约各国进行磋商，并征求中华人民共和国的态度，在磋商取得结果以前，在年度报告中删去“中华民国”字样和它指派的仲裁员名单。
