final Map<String, String> configMap = getConfigPrameterMap(responseData, ConfigName.CONFIG);
        final String ignore = configMap.get(Config.IGNORE_ROBOTS_TAGS);
        if (ignore == null) {
            if (fessConfig.isCrawlerIgnoreRobotsTags()) {
                return;
            }
        } else if (Boolean.parseBoolean(ignore)) {
            return;
        }