dedupe

dedupe(infilepath, outfilepath, timeout=COMMAND_TIME, encoding)

Данная команда позволяет убрать дубликаты из файла.

Команда на вход принимает параметры:
  • infilepath – путь к файлу, из которого надо убрать дубликаты. Может быть как абсолютный так и относительный (относительно папки скрипта)
  • outfilepath – путь к файлу, куда записать результат. Может быть как абсолютный так и относительный (относительно папки скрипта)
  • timeout – максимальное время на выполнение этой операции (в секундах), по умолчанию - 60 сек, если за это время операция не завершится, то скрипт продолжает выполнятся дальше
  • encoding – кодировка входного файла (type: string). По умолчанию "utf-8"
После отработки команда возвращает результат своей работы в робот:
  • true – операция выполнена (type: bool)
  • false – операция не выполнена (type: bool)



Примеры использования (php)

<?php $xhe_host = "127.0.0.1:5002";
 
// подключим функциональные объекты, если еще не подключен
if (!isset($path))
  $path="../../../Templates/init.php";
require($path);
 
// начало
echo "<hr><font color=blue>textfile->".basename (__FILE__)."</font><hr>";
 
// 1 
echo("1. Уберем дубликаты из файла : ");
echo($textfile->dedupe("test\\test_dedupe.txt","test\\test_dedupe.txt"));
 
// покажем результаты
$app->shell_execute("","test\\test_dedupe.txt");
 
// конец
echo "<hr><br>";
 
// Quit
$app->quit();
?>

Примеры использования (cs)

#region using
 
using System;
using System.Diagnostics;
using System.Collections.Generic;
using System.Linq;
using System.IO;
using System.Text;
using System.Threading;
 
using XHE;
using XHE.XHE_DOM;
using XHE.XHE_System;
using XHE.XHE_Window;
using XHE.XHE_Web;
 
#endregion
 
 class Program:XHEScript
 {
	  static void Main(string[] args)
	  {
			// init XHE
			server="127.0.0.1:7010";
			InitXHE();
 
			// начало
			echo("<hr><font color=blue>textfile.get_all_external_inner_texts_and_hrefs</font><hr>");
 
			// 1 шаг
			echo("1. Уберем дубликаты из файла : ");
			echo(textfile.dedupe("test\\test_dedupe.txt","test\\test_deduped.txt"));
 
			// покажем результаты
			app.shell_execute("","test\\test_deduped.txt");
 
			// конец
			echo("<hr><br>");
 
			app.quit();            
	  }
}

Примеры использования (js)

// подключим функциональные объекты, если еще не подключен
xhe_host="127.0.0.1:7010";
echo=require("../../../Templates JS/init.js");
 
// начало
echo("<hr><font color=blue>textfile.dedupe</font><hr>");
 
// 1 шаг
echo("1. Уберем дубликаты из файла : ");
echo(textfile.dedupe("test\\test_dedupe.txt","test\\test_deduped.txt"));
 
// покажем результаты
app.shell_execute("","test\\test_deduped.txt");
 
// конец
echo("<hr><br>");
 
// Quit
app.quit();

Примеры использования (py)

# Additional paths
import sys
sys.path.insert(0, '../../../Templates PY/')
 
xhe_host = "127.0.0.1:7010"
from xweb_human_emulator import *
 
# начало
echo("<hr><font color=blue>textfile.xxxxxxxxx</font><hr>")
 
# 1 
echo("1. Уберем дубликаты из файла : ")
echo(textfile.dedupe("test\\test_dedupe.txt","test\\test_deduped.txt"))
 
# покажем результаты
app.shell_execute("","test\\test_deduped.txt")
 
# конец
echo("<hr><br>")
 
# Quit
app.quit()