Plasma GitLab Archive
Projects Blog Knowledge

sig
  val invoke : ('-> 'b) Mapred_rfun.rfun -> '-> 'b
  type format =
      [ `Auto_input | `Fixed_size of int | `Line_structured | `Var_size ]
  module Place :
    sig
      type 'a t
      type 'a codec =
          ('-> string) Mapred_rfun.rfun *
          (string -> int -> int -> 'a) Mapred_rfun.rfun
      type ext_location =
          [ `Deep_dir of string | `File of string | `Flat_dir of string ]
      type location =
          [ `Deep_dir of string
          | `File of string
          | `Flat_dir of string
          | `Notebook ]
      val create :
        ?prefix:string ->
        ?repl:int ->
        Mapred_fs.filesystem ->
        'Mapred_toolkit.Place.codec ->
        Mapred_toolkit.format ->
        Mapred_io.record_config ->
        Mapred_toolkit.Place.ext_location -> 'Mapred_toolkit.Place.t
      val from :
        ?prefix:string ->
        ?repl:int ->
        Mapred_fs.filesystem ->
        'Mapred_toolkit.Place.codec ->
        Mapred_toolkit.format ->
        Mapred_io.record_config ->
        Mapred_toolkit.Place.ext_location -> 'Mapred_toolkit.Place.t
      val notebook_place : unit -> 'Mapred_toolkit.Place.t
      val location :
        'Mapred_toolkit.Place.t -> Mapred_toolkit.Place.location
      val get_codec :
        'Mapred_toolkit.Place.t -> 'Mapred_toolkit.Place.codec
      val get_format : 'Mapred_toolkit.Place.t -> Mapred_toolkit.format
      val get_fs : 'Mapred_toolkit.Place.t -> Mapred_fs.filesystem
      val get_rc : 'Mapred_toolkit.Place.t -> Mapred_io.record_config
      val is_file_place : 'Mapred_toolkit.Place.t -> bool
      val files : 'Mapred_toolkit.Place.t -> string list
      val create_file :
        ?filename:string -> 'Mapred_toolkit.Place.t -> string
      val clear : 'Mapred_toolkit.Place.t -> unit
    end
  module Store :
    sig
      type 'a store
      val notebook : unit -> 'Mapred_toolkit.Store.store
      val place : 'Mapred_toolkit.Store.store -> 'Mapred_toolkit.Place.t
      val read_place :
        'Mapred_toolkit.Place.t -> 'Mapred_toolkit.Store.store list
      val write_place :
        ?filename:string ->
        'Mapred_toolkit.Place.t -> 'Mapred_toolkit.Store.store
      val length : 'Mapred_toolkit.Store.store -> int
      val length64 : 'Mapred_toolkit.Store.store -> int64
      val read :
        'Mapred_toolkit.Store.store -> 'Mapred_toolkit.Store.store
      val file_name : 'Mapred_toolkit.Store.store -> string
      val flush : 'Mapred_toolkit.Store.store -> unit
      val close : 'Mapred_toolkit.Store.store -> unit
    end
  module Seq :
    sig
      type ('a, 'b) seq
      exception End_of_sequence
      val read :
        'Mapred_toolkit.Store.store -> ('a, [ `R ]) Mapred_toolkit.Seq.seq
      val extend :
        'Mapred_toolkit.Store.store -> ('a, [ `W ]) Mapred_toolkit.Seq.seq
      val reread :
        ('a, 'b) Mapred_toolkit.Seq.seq ->
        ('a, [ `R ]) Mapred_toolkit.Seq.seq
      val store :
        ('a, 'b) Mapred_toolkit.Seq.seq -> 'Mapred_toolkit.Store.store
      val notebook : unit -> ('a, [ `R | `W ]) Mapred_toolkit.Seq.seq
      val is_empty : ('a, [> `R ]) Mapred_toolkit.Seq.seq -> bool
      val hd : ('a, [> `R ]) Mapred_toolkit.Seq.seq -> 'a
      val tl :
        ('a, [> `R ] as 'b) Mapred_toolkit.Seq.seq ->
        ('a, 'b) Mapred_toolkit.Seq.seq
      val add :
        '->
        ('a, [> `W ] as 'b) Mapred_toolkit.Seq.seq ->
        ('a, 'b) Mapred_toolkit.Seq.seq
      val addl :
        'a list ->
        ('a, [> `W ] as 'b) Mapred_toolkit.Seq.seq ->
        ('a, 'b) Mapred_toolkit.Seq.seq
      val append :
        ('a, [> `W ] as 'b) Mapred_toolkit.Seq.seq ->
        ('a, [> `R ]) Mapred_toolkit.Seq.seq ->
        ('a, 'b) Mapred_toolkit.Seq.seq
      val flush : ('a, 'b) Mapred_toolkit.Seq.seq -> unit
      val length : ('a, 'b) Mapred_toolkit.Seq.seq -> int
      val length64 : ('a, 'b) Mapred_toolkit.Seq.seq -> int64
      val hdl : int -> ('a, [> `R ]) Mapred_toolkit.Seq.seq -> 'a list
      val iter : ('-> unit) -> ('a, [> `R ]) Mapred_toolkit.Seq.seq -> unit
      val fold :
        ('-> '-> 'a) -> '-> ('b, [> `R ]) Mapred_toolkit.Seq.seq -> 'a
      val map :
        ('-> 'b) ->
        ('a, [> `R ]) Mapred_toolkit.Seq.seq ->
        ('b, [> `W ] as 'c) Mapred_toolkit.Seq.seq ->
        ('b, 'c) Mapred_toolkit.Seq.seq
      val mapl :
        ('-> 'b list) ->
        ('a, [> `R ]) Mapred_toolkit.Seq.seq ->
        ('b, [> `W ] as 'c) Mapred_toolkit.Seq.seq ->
        ('b, 'c) Mapred_toolkit.Seq.seq
      val sort :
        hash:('-> int) ->
        cmp:('-> '-> int) ->
        ('a, [> `R ]) Mapred_toolkit.Seq.seq ->
        ('a, [> `W ] as 'b) Mapred_toolkit.Seq.seq ->
        ('a, 'b) Mapred_toolkit.Seq.seq
      val mapl_sort_fold :
        mapl:('-> 'b list) ->
        hash:('-> int) ->
        cmp:('-> '-> int) ->
        initfold:(int -> 'c) ->
        fold:('-> '-> 'c * 'd list) ->
        ?finfold:('-> 'd list) ->
        partition_of:('-> int) ->
        partitions:int ->
        'Mapred_toolkit.Place.t ->
        'Mapred_toolkit.Place.t -> ('d, [ `W ]) Mapred_toolkit.Seq.seq list
    end
  module DSeq :
    sig
      type config
      val create_config :
        ?name:string ->
        ?task_files:string list ->
        ?bigblock_size:int ->
        ?map_tasks:int ->
        ?merge_limit:int ->
        ?split_limit:int ->
        ?partitions:int ->
        ?enhanced_mapping:int ->
        ?phases:Mapred_def.phases ->
        ?report:bool ->
        ?report_to:Netchannels.out_obj_channel ->
        ?keep_temp_files:bool ->
        Mapred_def.mapred_env -> Mapred_toolkit.DSeq.config
      val get_rc : Mapred_toolkit.DSeq.config -> Mapred_io.record_config
      type 'a result
      val get_result : 'Mapred_toolkit.DSeq.result -> 'a
      val stats : 'Mapred_toolkit.DSeq.result -> Mapred_stats.stats
      val job_id : Mapred_toolkit.DSeq.config -> string
      class type mapred_info =
        object
          method mapred_env : Mapred_def.mapred_env
          method mapred_job_config : Mapred_def.mapred_job_config
        end
      val mapl :
        (Mapred_toolkit.DSeq.mapred_info -> '-> 'b list) Mapred_rfun.rfun ->
        'Mapred_toolkit.Place.t ->
        'Mapred_toolkit.Place.t ->
        Mapred_toolkit.DSeq.config ->
        ('b, [ `W ]) Mapred_toolkit.Seq.seq list Mapred_toolkit.DSeq.result
      val mapl_sort_fold :
        mapl:(Mapred_toolkit.DSeq.mapred_info -> '-> 'b list)
             Mapred_rfun.rfun ->
        hash:(Mapred_toolkit.DSeq.mapred_info -> '-> int) Mapred_rfun.rfun ->
        cmp:(Mapred_toolkit.DSeq.mapred_info -> '-> '-> int)
            Mapred_rfun.rfun ->
        initfold:(Mapred_toolkit.DSeq.mapred_info -> int -> 'c)
                 Mapred_rfun.rfun ->
        fold:(Mapred_toolkit.DSeq.mapred_info -> '-> '-> 'c * 'd list)
             Mapred_rfun.rfun ->
        ?finfold:(Mapred_toolkit.DSeq.mapred_info -> '-> 'd list)
                 Mapred_rfun.rfun ->
        partition_of:(Mapred_toolkit.DSeq.mapred_info -> '-> int)
                     Mapred_rfun.rfun ->
        ?initcombine:(Mapred_toolkit.DSeq.mapred_info -> 'e) Mapred_rfun.rfun ->
        ?combine:(Mapred_toolkit.DSeq.mapred_info -> '-> '-> 'e * 'b list)
                 Mapred_rfun.rfun ->
        ?fincombine:(Mapred_toolkit.DSeq.mapred_info -> '-> 'b list)
                    Mapred_rfun.rfun ->
        'Mapred_toolkit.Place.t ->
        'Mapred_toolkit.Place.t ->
        Mapred_toolkit.DSeq.config ->
        'Mapred_toolkit.Place.codec ->
        ('d, [ `W ]) Mapred_toolkit.Seq.seq list Mapred_toolkit.DSeq.result
    end
  val toolkit_job : Mapred_def.mapred_env -> Mapred_def.mapred_job
  class toolkit_job : Mapred_def.mapred_env -> Mapred_def.mapred_job
end
This web site is published by Informatikbüro Gerd Stolpmann
Powered by Caml