香港的海陆丰人和潮汕人的数量都相当可观，但具体哪个群体更多一些，需要参考相关的统计数据。

潮汕人在香港的数量相当多，他们主要聚居在九龙塘、沙田、荃湾、将军澳、屯门等地。而海陆丰人也在香港有一定的分布，但可能并不像潮汕人那样集中。

然而，需要注意的是，人口分布和数量可能会随着时间的推移而发生变化，因此，要获取最准确的信息，最好查阅最新的统计数据或相关的官方资料。