Plasma GitLab Archive
Projects Blog Knowledge

sig
  class type mapred_env =
    object
      method accumulate : Mapred_stats.stats -> unit
      method auth_ticket : string
      method command_name : string
      method config : Mapred_config.mapred_config
      method config_file : Netplex_types.config_file
      method filesystem : Mapred_fs.filesystem
      method shm_manager : Plasma_shm.shm_manager
    end
  type designation = [ `Deep_dir | `File | `Flat_dir ]
  type phases = [ `Map | `Map_sort | `Map_sort_reduce ]
  class type mapred_job_config =
    object
      method bigblock_size : int
      method custom : string -> string
      method enhanced_mapping : int
      method input_dir : string
      method input_dir_designation : Mapred_def.designation
      method job_id : string
      method log_dir : string
      method map_tasks : int
      method merge_limit : int
      method name : string
      method output_dir : string
      method partitions : int
      method phases : Mapred_def.phases
      method split_limit : int
      method task_files : string list
      method work_dir : string
    end
  class type sorter =
    object
      method close : unit -> unit
      method cmp : string -> int -> int -> string -> int -> int -> int
      method eff_sort_limit : int
      method hash : string -> int -> int -> int
      method name : string
      method put_records : string Queue.t -> unit
      method set_key_extraction : (string -> int * int) -> unit
      method sort : Mapred_io.record_writer -> unit
      method sort_lines_limit : int -> int
      method sort_time : float
    end
  class type task_info =
    object
      method partition : int
      method req_id : int
      method task_prefix : string
    end
  class type mapred_job =
    object
      method check_config :
        Mapred_def.mapred_env -> Mapred_def.mapred_job_config -> unit
      method combine :
        Mapred_def.mapred_env ->
        Mapred_def.mapred_job_config ->
        Mapred_def.task_info ->
        (Mapred_io.record_reader -> Mapred_io.record_writer -> unit) option
      method custom_params : string list
      method extract_key :
        Mapred_def.mapred_env ->
        Mapred_def.mapred_job_config -> string -> int * int
      method input_record_io :
        Mapred_def.mapred_env ->
        Mapred_def.mapred_job_config -> Mapred_io.record_rw_factory
      method internal_record_io :
        Mapred_def.mapred_env ->
        Mapred_def.mapred_job_config -> Mapred_io.record_rw_factory
      method map :
        Mapred_def.mapred_env ->
        Mapred_def.mapred_job_config ->
        Mapred_def.task_info ->
        Mapred_io.record_reader -> Mapred_io.record_writer -> unit
      method output_record_io :
        Mapred_def.mapred_env ->
        Mapred_def.mapred_job_config -> Mapred_io.record_rw_factory
      method partition_of_key :
        Mapred_def.mapred_env ->
        Mapred_def.mapred_job_config -> string -> int -> int -> int
      method post_job_finish :
        Mapred_def.mapred_env -> Mapred_def.mapred_job_config -> unit
      method pre_job_start :
        Mapred_def.mapred_env -> Mapred_def.mapred_job_config -> unit
      method reduce :
        Mapred_def.mapred_env ->
        Mapred_def.mapred_job_config ->
        Mapred_def.task_info ->
        Mapred_io.record_reader -> Mapred_io.record_writer -> unit
      method sorter :
        Mapred_def.mapred_env ->
        Mapred_def.mapred_job_config -> float -> Mapred_def.sorter
    end
  val get_rc : Mapred_def.mapred_env -> int -> Mapred_io.record_config
end
This web site is published by Informatikbüro Gerd Stolpmann
Powered by Caml