Method List
-
activate! Spider::VisitRecorder
-
#allowed? Spider::ExclusionParser
-
#back_off Spider::WaitTime
-
#clear_visited Spider::VisitQueue
-
config Spider::VisitRecorder
-
deactivate! Spider::VisitRecorder
-
#empty? Spider::VisitQueue
-
#excluded? Spider::ExclusionParser
-
#http_headers String
-
#http_status String
-
#initialize Spider::ExclusionParser
-
#initialize Spider::VisitQueue
-
#initialize Spider::WaitTime
-
#mark Spider::VisitQueue
-
pause! Spider::VisitRecorder
-
#push_back Spider::VisitQueue
-
#push_front Spider::VisitQueue
-
recall Spider::VisitRecorder
-
record! Spider::VisitRecorder
-
#reduce_wait Spider::WaitTime
-
#robot_txt Spider::VisitQueue
-
#size Spider::VisitQueue
-
#stop Spider::VisitQueue
-
#url_okay Spider::VisitQueue
-
#value Spider::WaitTime
-
#visit_count Spider::VisitQueue
-
#visit_each Spider::VisitQueue
-
#wait Spider::WaitTime
-
#wait_time Spider::ExclusionParser