웹 페이지 제외

원하지 않는 웹 페이지가 포탈로 임포트되지 않도록 이 콘텐츠 크롤러를 구성하려면 다음과 같이 하십시오.

1. 기본적으로 이 콘텐츠 크롤러는 웹 서버의 권장 사항에 따라 자동화된 크롤러에 필요한 웹 페이지를 선택합니다. 이러한 권장 사항을 무시하려면 대상 사이트의 로봇 제외 프로토콜에 따름 체크 박스의 선택을 취소합니다.
   
   일반적으로 이러한 권장 사항을 따르면 원하지 않는 콘텐츠가 포탈로 크롤링되는 것을 제한하는 데 도움이 됩니다. 하지만 일부 사이트에서는 이러한 권장 사항이 매우 엄격합니다. 콘텐츠 크롤러가 사이트로부터 아무런 콘텐츠도 임포트하지 못하는 경우에는 이 옵션을 해제해 봅니다.

2. 기본적으로 이 콘텐츠 크롤러는 소스 웹 사이트에서 사용되는 경우 임포트된 웹 페이지의 URL을 저장합니다. URL을 소문자로 변경하려면 모든 URL을 소문자로 변환을 선택합니다.

3. 웹 사이트 영역의 콘텐츠 또는 특정 페이지가 임포트되지 않도록 하려면 다음과 같이 하십시오.

• 특정 영역이 임포트되지 않도록 지정하려면 제외 필터 추가를 누른 다음 텍스트 상자에 임포트하지 않으려는 웹 사이트 영역의 URL을 입력합니다.
  
  와일드 카드 문자 표기법(*)을 사용하여 보다 일반적인 방식으로 제외를 설정할 수 있습니다. 예를 들어, 특정 사이트의 판매 정보를 크롤링하지 않으려는 경우 http://mycompany.com*sales를 입력하면 됩니다. 그러면 이 크롤러는 URL에 "sales"가 들어 있는 페이지를 mycompany.com에서 임포트하지 않습니다.
  
  주: 와일드 카드 문자는 텍스트 양쪽에서 적용됩니다. 예를 들어, sales를 입력할 경우 크롤러는 대상 URL에서 액세스할 수 있는 어떤 사이트에서도 URL의 어느 위치에든 "sales"가 들어 있는 페이지를 임포트하지 않습니다.
  
  중요: 제외 및 포함을 나열할 경우(단계 5 참조) 제외는 포함된 페이지에만 적용됩니다. 예를 들어, sales를 제외하고 http://mycompany.com을 포함한 경우 크롤러는 http://mycompany.com에서 URL에 "sales"가 들어 있는 페이지를 제외한 모든 페이지를 임포트합니다.

• 제외 필터를 제거하려면 해당 필터를 선택하고 을 누릅니다.

• 모든 제외 필터 체크 박스를 선택하거나 선택을 취소하려면 제외 왼쪽에 있는 체크 박스를 선택하거나 선택을 취소합니다.

4. 기본적으로 이 콘텐츠 크롤러는 제외에 지정된 어떤 페이지도 크롤링하거나 임포트하지 않습니다. 콘텐츠 크롤러가 제외된 페이지의 링크에서 제외되지 않은 페이지로 이동하여 이 페이지를 반드시 임포트해야 하는 경우에는 제외된 페이지는 크롤링만 하고 임포트하지는 않음을 선택합니다.

5. 크롤링할 범위를 특정 웹 사이트 영역 또는 특정 페이지로 제한하려면 다음과 같이 하십시오.

• 이 콘텐츠 크롤러가 크롤링할 수 있는 위치를 지정하려면 포함 필터 추가를 누른 다음 텍스트 상자에 크롤링을 제한할 웹 사이트 영역의 URL을 입력합니다. 웹 사이트에는 다른 사이트에 대한 링크가 포함될 수 있으므로 포함 필터를 사용하여 특정 사이트에서 콘텐츠 크롤러가 유지되도록 할 수 있습니다. 다른 사이트가 크롤링되지 않도록 하려면 포함 목록에 크롤링할 사이트의 기본 URL(예: http://mycompany.com)을 추가합니다.
  
  와일드 카드 문자 표기법(*)을 사용하여 보다 일반적인 방식으로 포함을 설정할 수 있습니다. 예를 들어, SSO(Single Sign-On)의 정보만 크롤링하려는 경우 http://mycompany.com*sso를 입력하면 됩니다. 그러면 이 콘텐츠 크롤러가 mycompany.com에서 URL의 어느 위치에든 "sso"가 들어 있는 페이지만 임포트합니다.
  
  주: 와일드 카드 문자는 텍스트 양쪽에서 적용됩니다. 예를 들어, sso를 입력할 경우 콘텐츠 크롤러는 대상 URL에서 액세스 가능한 모든 사이트에서 URL의 어느 위치에든 "sso"가 들어 있는 모든 페이지를 임포트합니다.
  
  중요: 포함 및 제외를 나열할 경우 제외는 포함된 페이지에만 적용됩니다. 예를 들어, http://mycompany.com을 포함하고 sso를 제외한 경우 콘텐츠 크롤러는 http://mycompany.com에서 URL의 어느 위치에든 "sso"가 들어 있는 페이지를 제외한 모든 페이지를 임포트합니다.

• 포함 필터를 제거하려면 해당 필터를 선택하고 을 누릅니다.

• 모든 포함 필터 체크 박스를 선택하거나 선택을 취소하려면 포함 왼쪽에 있는 체크 박스를 선택하거나 선택을 취소합니다.

• 이 도움말 항목과 연관된 페이지를 표시하려면 다음과 같이 하십시오.

1. 관리를 누릅니다.
2. 콘텐츠 크롤러 편집기를 엽니다.
• 새 웹 콘텐츠 크롤러를 생성하려면 다음과 같이 합니다.
1. 관리 폴더를 엽니다.
2. [객체 생성] 드롭다운 목록에서 콘텐츠 크롤러 - WWW를 누릅니다.
• 기존 웹 콘텐츠 크롤러를 편집하려면 다음과 같이 합니다.
1. 편집할 웹 콘텐츠 크롤러로 이동합니다.
2. 웹 콘텐츠 크롤러 이름을 누릅니다.
3. 왼쪽의 [객체 설정 편집]에서 웹 페이지 제외를 누릅니다.