[Home] [Query] [OO] [KDE] [KDEdoc] [PHP] [EUROPARL] [CVS] [Tools]

PHP

22 languages, 231 bitexts
total number of files: 71518
total number of tokens: 3303964
total number of sentence fragments: 1381582

PHP manuals and translations have been downloaded from (http://www.php.net/download-docs.php). The original documents are written in English and have been partly translated into 21 languages. The original manuals contain about 500,000 words. The amount of actually translated texts varies for different languages between 50,000 and 380,000 words. The corpus is rather noisy and may include parts from the English original in some of the translations. The corpus is tokenized and each language pair has been sentence aligned.

Download

Upper-right triangle: sample files (test = sentence alignment samples, language IDs = XML file samples)
Bottom-left triangle: XML-files (ces = sentence alignment files in XCES format, language IDs = gzipped tar-archives of corpus files in XML)

cs de en es fi fr he hu it ja ko nl pl pt_BR ro ru sk sl sv tr zh zh_TW
cs cs test test test test test test test test test test test test test test test test test test test test test cs
de ces de test test test test test test test test test test test test test test test test test test test test de
en ces ces en test test test test test test test test test test test test test test test test test test test en
es ces ces ces es test test test test test test test test test test test test test test test test test test es
fi ces ces ces ces fi test test test test test test test test test test test test test test test test test fi
fr ces ces ces ces ces fr test test test test test test test test test test test test test test test test fr
he ces ces ces ces ces ces he test test test test test test test test test test test test test test test he
hu ces ces ces ces ces ces ces hu test test test test test test test test test test test test test test hu
it ces ces ces ces ces ces ces ces it test test test test test test test test test test test test test it
ja ces ces ces ces ces ces ces ces ces ja test test test test test test test test test test test test ja
ko ces ces ces ces ces ces ces ces ces ces ko test test test test test test test test test test test ko
nl ces ces ces ces ces ces ces ces ces ces ces nl test test test test test test test test test test nl
pl ces ces ces ces ces ces ces ces ces ces ces ces pl test test test test test test test test test pl
pt_BR ces ces ces ces ces ces ces ces ces ces ces ces ces pt_BR test test test test test test test test pt_BR
ro ces ces ces ces ces ces ces ces ces ces ces ces ces ces ro test test test test test test test ro
ru ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ru test test test test test test ru
sk ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces sk test test test test test sk
sl ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces sl test test test test sl
sv ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces sv test test test sv
tr ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces tr test test tr
zh ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces zh test zh
zh_TW ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces zh_TW zh_TW
cs de en es fi fr he hu it ja ko nl pl pt_BR ro ru sk sl sv tr zh zh_TW

Statistics

Number of files, tokens, and sentence fragments per language
Number of aligned sentences per target language

language files tokens sentencescsdeenesfifrhehuitjakonlplpt_BRroruskslsvtrzhzh_TW
cs 3271 147144 63494 34731 35215 33419 29467 33532 28215 32844 33194 42440 42472 32314 33717 33676 31378 31107 31817 31644 31478 28488 31665 33787
de 3268 299066 65095 34731 42250 35224 29740 39504 28541 35631 35309 46869 46478 33409 37108 37138 33335 33460 33544 33984 33531 31434 36322 38741
en 3283 522603 66759 35215 42250 38320 28106 45484 30342 37255 36764 51386 50662 32556 40304 40439 36199 35641 36559 36235 35689 38484 45013 48003
es 3235 228486 60008 33419 35224 38320 29915 35753 27567 33527 33455 41721 41623 32395 34749 35009 32898 32817 33482 33408 33209 29104 33154 35627
fi 3283 57630 66794 29467 29740 28106 29915 29693 26664 29349 28646 42596 42759 28148 29308 28915 28717 28357 28410 28796 28558 27165 27900 29302
fr 3259 382407 61691 33532 39504 45484 35753 29693 28295 36228 35278 44949 44180 32973 37372 37410 33835 34048 34902 34667 34240 31359 38142 40728
he 3074 120893 58148 28215 28541 30342 27567 26664 28295 28136 27439 37687 37487 27252 29263 29037 28167 28204 28372 28497 28221 28274 27517 29511
hu 3280 204943 66111 32844 35631 37255 33527 29349 36228 28136 33751 45161 44641 32071 34928 34326 31482 31470 31743 32047 31546 30207 32776 34937
it 3273 217770 65144 33194 35309 36764 33455 28646 35278 27439 33751 44756 44714 31352 33651 33412 31234 30763 31279 31328 31043 29051 32343 34479
ja 3277 0 18216 42440 46869 51386 41721 42596 44949 37687 45161 44756 14349 44026 53393 53394 51909 51142 52693 52149 52346 43382 47225 48553
ko 3247 0 16381 42472 46478 50662 41623 42759 44180 37487 44641 44714 14349 44183 53072 52981 51669 51005 52485 52048 52270 43147 46383 48163
nl 3278 146540 66366 32314 33409 32556 32395 28148 32973 27252 32071 31352 44026 44183 31857 31869 30028 29369 29764 30046 29665 28611 30108 31904
pl 3280 163211 73743 33717 37108 40304 34749 29308 37372 29263 34928 33651 53393 53072 31857 44990 41841 41332 41879 42349 41917 39029 41296 45624
pt_BR 3283 185856 73532 33676 37138 40439 35009 28915 37410 29037 34326 33412 53394 52981 31869 44990 41868 41161 41967 42050 41749 38347 41149 45671
ro 3264 93803 72714 31378 33335 36199 32898 28717 33835 28167 31482 31234 51909 51669 30028 41841 41868 40609 41089 41399 41466 36931 39256 43402
ru 3283 116269 72443 31107 33460 35641 32817 28357 34048 28204 31470 30763 51142 51005 29369 41332 41161 40609 40428 40666 40715 36928 38956 43621
sk 3285 93669 74117 31817 33544 36559 33482 28410 34902 28372 31743 31279 52693 52485 29764 41879 41967 41089 40428 40988 41052 37405 39213 43611
sl 3276 88899 73574 31644 33984 36235 33408 28796 34667 28497 32047 31328 52149 52048 30046 42349 42050 41399 40666 40988 41393 37815 39324 43496
sv 3285 76157 74070 31478 33531 35689 33209 28558 34240 28221 31546 31043 52346 52270 29665 41917 41749 41466 40715 41052 41393 37588 39154 43479
tr 2972 158618 62741 28488 31434 38484 29104 27165 31359 28274 30207 29051 43382 43147 28611 39029 38347 36931 36928 37405 37815 37588 35990 39575
zh 3277 0 61846 31665 36322 45013 33154 27900 38142 27517 32776 32343 47225 46383 30108 41296 41149 39256 38956 39213 39324 39154 35990 45655
zh_TW 3285 0 68595 33787 38741 48003 35627 29302 40728 29511 34937 34479 48553 48163 31904 45624 45671 43402 43621 43611 43496 43479 39575 45655

OPUS, Lars Nygaard (The Text Laboratory) and Jörg Tiedemann (Department of Linguistics, Uppsala University)