批處理處理文本文件去重復(fù)實現(xiàn)代碼
最近需要將重復(fù)的內(nèi)容去掉,所以就想到了使用bat或vbs實現(xiàn),沒想到網(wǎng)上已經(jīng)有人寫好了,測試也正好學(xué)習(xí)一下
使用方法:把文本拖到批處理上就行了。。。
@echo off
:: Code by oicu#lsxk.org 2007/11/29
rem chcp 437>nul
:: 看情況使用,utf-8編碼的文件不能少了chcp命令,一般無需使用,
:: 但無論是否使用都不支持utf-16的文件。
:: pushd "%~dp1"
:: 如果不用pushd和popd,文件都要用絕對路徑不能只用文件名。
if "%~1"=="" goto :EOF
set outputfile=%~dpn1_output%~x1
type nul>"%outputfile%"
echo Waiting...
for /F "tokens=1* delims=:" %%i in ('findstr /n .* "%~1"') do (
findstr /B /E /C:"%%j" "%outputfile%">nul 2>&1 || echo.%%j>>"%outputfile%"
)
pause
start "" notepad "%outputfile%"
:: popd
exit
【 在 oicu (Oh! I see you!) 的大作中提到: 】
: 去重復(fù)倒是行。。缺點就是慢和保留原有的空行了。
以下是vbs實現(xiàn)的代碼
以下是這個腳本的源代碼,復(fù)制后另存為vbs后綴的文件,雙擊即可運行。文件要放在C盤根下的Text.TXT,請?zhí)貏e注意:文本中一行一條記錄,不要有空行。
Const adOpenStatic = 3
Const adLockOptimistic = 3
Const adCmdText = &H0001
Set objConnection = CreateObject("ADODB.Connection")
Set objRecordSet = CreateObject("ADODB.Recordset")
strPathToTextFile = "C:\"
strFile = "Test.txt"
objConnection.Open "Provider=Microsoft.Jet.OLEDB.4.0;" & _
"Data Source=" & strPathtoTextFile & ";" & _
"Extended Properties=""text;HDR=NO;FMT=Delimited"""
objRecordSet.Open "Select DISTINCT * FROM " & strFile, _
objConnection, adOpenStatic, adLockOptimistic, adCmdText
Do Until objRecordSet.EOF
Set objFSO = CreateObject("Scripting.FileSystemObject")
set Fp=objFSO.OpenTextFile("C:\test1.txt",8,True,0)
fp.WriteLine objRecordSet.Fields.Item(0).Value
fp.close
set objFSO = nothing
objRecordSet.MoveNext
Loop
上一篇:Dos批處理編寫一鍵清理系統(tǒng)垃圾的bat代碼
欄 目:DOS/BAT
本文標(biāo)題:批處理處理文本文件去重復(fù)實現(xiàn)代碼
本文地址:http://www.jygsgssxh.com/a1/DOS_BAT/10050.html
您可能感興趣的文章
- 01-10使用批處理實現(xiàn)軟件的自動安裝以安裝搜狗拼音為例
- 01-10通過批處理修改DNS的代碼(推薦)
- 01-10windows使用批處理發(fā)布web到tomcat并啟動tomcat腳本分享
- 01-10再談DOS批處理下格式化日期字符串的三種方法(詳解)
- 01-10用批處理一鍵安裝兩種擴(kuò)展名的Windows系統(tǒng)補丁
- 01-10ip地址切換批處理腳本分享
- 01-10批處理楊輝三角效果實現(xiàn)代碼
- 01-10將批處理文件注冊成服務(wù)在系統(tǒng)啟動的時候自動調(diào)用
- 01-10批處理輸出n階幻方腳本
- 01-10dos批處理文件中的變量小結(jié)


閱讀排行
本欄相關(guān)
- 01-10DOS下查看硬盤分區(qū)該使用什么命令
- 01-10使用批處理實現(xiàn)軟件的自動安裝以安
- 01-10后臺運行bat定時器程序示例分享
- 01-10通過批處理修改DNS的代碼(推薦)
- 01-10dota2服務(wù)器ping測試腳本分享
- 01-10再談DOS批處理下格式化日期字符串的
- 01-10windows使用批處理發(fā)布web到tomcat并啟動
- 01-10win7怎么設(shè)定關(guān)閉顯示器時間
- 01-10屏蔽up鍵禁止游戲運行腳本分享
- 01-10win7創(chuàng)建wifi熱點腳本分享
隨機(jī)閱讀
- 04-02jquery與jsp,用jquery
- 01-10delphi制作wav文件的方法
- 08-05織夢dedecms什么時候用欄目交叉功能?
- 01-10SublimeText編譯C開發(fā)環(huán)境設(shè)置
- 01-11ajax實現(xiàn)頁面的局部加載
- 08-05dedecms(織夢)副欄目數(shù)量限制代碼修改
- 01-11Mac OSX 打開原生自帶讀寫NTFS功能(圖文
- 08-05DEDE織夢data目錄下的sessions文件夾有什
- 01-10C#中split用法實例總結(jié)
- 01-10使用C語言求解撲克牌的順子及n個骰子


