labels.excludedUrls=URLs a excluir del rastreo
labels.excludedDocPaths=Rutas a excluir de la búsqueda
labels.excludedDocUrls=URLs a excluir de la búsqueda
labels.hostname=Nombre de host
labels.id=ID
labels.includedPaths=Rutas a incluir en el rastreo
labels.includedUrls=URLs a incluir en el rastreo
labels.includedDocPaths=Rutas a incluir en la búsqueda
labels.includedDocUrls=URLs a incluir en la búsqueda

        }
    }

    /**
     * Registers a client component with a regular expression.
     * The component will be loaded into all registered CrawlerClientFactories.
     * @param regex The regular expression to match URLs.
     * @param componentName The name of the component to register.
     */
    public synchronized void register(final String regex, final String componentName) {
        clientMap.put(regex, componentName);

import com.google.common.annotations.GwtCompatible;
import com.google.common.escape.Escaper;

/**
 * {@code Escaper} instances suitable for strings to be included in particular sections of URLs.
 *
 * <p>If the resulting URLs are inserted into an HTML or XML document, they will require additional
 * escaping with {@link com.google.common.html.HtmlEscapers} or {@link
 * com.google.common.xml.XmlEscapers}.
 *
 * @author David Beaumont

     */
    @Size(max = 10000)
    public String virtualHostValue;

    /**
     * Enable or disable appending query parameters to search URLs.
     * When enabled, additional parameters are added to search result URLs.
     */
    @Size(max = 10)
    public String appendQueryParameter;

    /**
     * Enable or disable login requirement for search access.

Isso pode ser útil se, por exemplo, você mora em um país que restringe algumas URLs.

### Desativar a documentação automática

O primeiro passo é desativar a documentação automática, pois por padrão, ela usa o CDN padrão.

Para desativá-los, defina suas URLs como `None` ao criar seu aplicativo `FastAPI`:

{* ../../docs_src/custom_docs_ui/tutorial001.py hl[8] *}

        } catch (final Exception e) {
            return url;
        }
    }

    /**
     * Extracts anchor URLs from the HTML document.
     *
     * @param document the parsed HTML document
     * @param responseData the response data from crawling
     * @return list of anchor URLs found in the document
     */
    protected List<String> getAnchorList(final Document document, final ResponseData responseData) {

  # Find any "Streaming build results to" lines,
  # de-duplicate,
  # and print the last word from each
  awk '/Streaming build results to/ {print $NF}' "$TFCI_OUTPUT_DIR/script.log" | uniq
}

# Print out any ResultStore URLs for Bazel invocations' results.
# Each failed target there will have its own representation, making failures
# easier to find and read.
function resultstore_extract {
  local PYTHON_BIN XML_PATH

{
    "properties": {
      "name": {
        "type": "keyword"
      },
      "urls": {
        "type": "keyword"
      },
      "includedUrls": {
        "type": "keyword"
      },
      "excludedUrls": {
        "type": "keyword"
      },
      "includedDocUrls": {
        "type": "keyword"
      },
      "excludedDocUrls": {
        "type": "keyword"
      },
      "configParameter": {
        "type": "keyword"

     */
    public void removeChildUrl(final RequestData url) {
        childUrlSet.remove(url);
    }

    /**
     * Gets the set of child URLs discovered from this response.
     *
     * @return the set of child URLs
     */
    public Set<RequestData> getChildUrlSet() {
        return childUrlSet;
    }

    /**

# Metadados e Urls de Documentos

Você pode personalizar várias configurações de metadados na sua aplicação **FastAPI**.

## Metadados para API

Você pode definir os seguintes campos que são usados na especificação OpenAPI e nas interfaces automáticas de documentação da API:

| Parâmetro | Tipo | Descrição |
|------------|------|-------------|
| `title` | `str` | O título da API. |