assertEquals(100, crawlerContext.getRobotsTxtUrlSet().size());
        assertNotNull(crawlerContext.removeSitemaps());
    }

    /**
     * Test boundary values
     */
    public void test_boundaryValues() {
        // Test with maximum values
        crawlerContext.setActiveThreadCount(Integer.MAX_VALUE);
        assertEquals(Integer.MAX_VALUE, crawlerContext.getActiveThreadCount().intValue());