معبد هندوهای بندرعباس، یادگار تاجران هندی