Во время археологической экспедиции была обнаружен...

python
import json, os, textwrap, statistics, math, re, collections, itertools, random, sys, pandas as pd
train_path='/mnt/data/train_data.json'
test_path='/mnt/data/test_data.json'
train=json.load(open(train_path))
test=json.load(open(test_path))
len(train), len(test), train[0], test[0]


(25000,
 100,
 {'source': 'b nfóG šfkyàś ńópdp îåbpt, ćpt j çśg.',
  'target': 'У меня сейчас много забот, вот и всё.'},
 {'source': 'JCljõft ff jí lpnãóéC'})

python
train_map={x['source']:x['target'] for x in train}
exact=[(i,t['source'],train_map.get(t['source'])) for i,t in enumerate(test)]
sum(v is not None for _,_,v in exact), [x for x in exact if x[2] is not None][:10]


(0, [])

python
pairs=[(len(x['source']), len(x['target'])) for x in train]
import numpy as np
diffs=[b-a for a,b in pairs]
(min(diffs), max(diffs), statistics.mean(diffs), statistics.median(diffs), sum(a==b for a,b in pairs)/len(pairs))


(0, 0, 0, 0.0, 1.0)

python
test_chars=set(''.join(x['source'] for x in test))
unseen=test_chars-set(mapping.keys())
len(test_chars), len(unseen), unseen


(118, 0, set())

python
import torch, torch.nn as nn, torch.optim as optim
torch.__version__


'2.10.0+cpu'

python
lens=[len(x['source']) for x in train]
(min(lens), max(lens), statistics.mean(lens), statistics.median(lens), np.percentile(lens,95))


(10, 200, 52.94472, 36.0, np.float64(158.0))

python
import torch, random, math, os, json, statistics, numpy as np
from torch.utils.data import Dataset, DataLoader

all_src_chars=sorted(set(''.join(x['source'] for x in train+test)))
all_tgt_chars=sorted(set(''.join(x.get('target','') for x in train)))
src_stoi={c:i+1 for i,c in enumerate(all_src_chars)}  # 0 pad
tgt_stoi={c:i+1 for i,c in enumerate(all_tgt_chars)}
tgt_itos={i:c for c,i in tgt_stoi.items()}
len(src_stoi), len(tgt_stoi)


(349, 397)

python
from sklearn.model_selection import train_test_split
indices=list(range(len(train)))
tr_idx, va_idx = train_test_split(indices, test_size=0.02, random_state=42)
len(tr_idx), len(va_idx)


(24500, 500)

python
class CharDataset(Dataset):
    def __init__(self, items, indices):
        self.items=[items[i] for i in indices]
    def __len__(self): return len(self.items)
    def __getitem__(self, idx):
        s=self.items[idx]['source']
        t=self.items[idx]['target']
        x=torch.tensor([src_stoi[c] for c in s], dtype=torch.long)
        y=torch.tensor([tgt_stoi[c] for c in t], dtype=torch.long)
        return x,y

def collate(batch):
    xs, ys=zip(*batch)
    lens=torch.tensor([len(x) for x in xs], dtype=torch.long)
    maxlen=max(len(x) for x in xs)
    xb=torch.zeros(len(batch), maxlen, dtype=torch.long)
    yb=torch.zeros(len(batch), maxlen, dtype=torch.long)
    mask=torch.zeros(len(batch), maxlen, dtype=torch.bool)
    for i,(x,y) in enumerate(zip(xs,ys)):
        xb[i,:len(x)]=x
        yb[i,:len(y)]=y
        mask[i,:len(x)]=1
    return xb,yb,lens,mask

train_ds=CharDataset(train, tr_idx)
val_ds=CharDataset(train, va_idx)
train_dl=DataLoader(train_ds, batch_size=128, shuffle=True, collate_fn=collate)
val_dl=DataLoader(val_ds, batch_size=256, shuffle=False, collate_fn=collate)

class CharTagger(nn.Module):
    def __init__(self, src_vocab, tgt_vocab, emb=128, hid=256):
        super().__init__()
        self.emb=nn.Embedding(src_vocab+1, emb, padding_idx=0)
        self.rnn=nn.GRU(emb, hid//2, num_layers=2, batch_first=True, bidirectional=True, dropout=0.15)
        self.ff=nn.Sequential(
            nn.Linear(hid, hid),
            nn.ReLU(),
            nn.Dropout(0.1),
            nn.Linear(hid, tgt_vocab+1)
        )
    def forward(self,x,lens):
        e=self.emb(x)
        packed=nn.utils.rnn.pack_padded_sequence(e, lens.cpu(), batch_first=True, enforce_sorted=False)
        out,_=self.rnn(packed)
        out,_=nn.utils.rnn.pad_packed_sequence(out, batch_first=True)
        return self.ff(out)

device='cpu'
model=CharTagger(len(src_stoi), len(tgt_stoi)).to(device)
crit=nn.CrossEntropyLoss(ignore_index=0)
opt=optim.AdamW(model.parameters(), lr=2e-3)
sum(p.numel() for p in model.parameters())


707470

python
def eval_model(model, dl):
    model.eval()
    total_loss=0; total=0; correct=0; sent_total=0; sent_correct=0
    with torch.no_grad():
        for xb,yb,lens,mask in dl:
            xb,yb,lens=xb.to(device), yb.to(device), lens.to(device)
            logits=model(xb,lens)
            loss=crit(logits.view(-1, logits.size(-1)), yb.view(-1))
            total_loss += loss.item()*mask.sum().item()
            pred=logits.argmax(-1)
            m=mask.to(device)
            total += m.sum().item()
            correct += ((pred==yb)&m).sum().item()
            sent_total += xb.size(0)
            sent_correct += (((pred==yb)|~m).all(dim=1)).sum().item()
    return total_loss/total, correct/total, sent_correct/sent_total

for epoch in range(5):
    model.train()
    for i,(xb,yb,lens,mask) in enumerate(train_dl):
        xb,yb,lens=xb.to(device), yb.to(device), lens.to(device)
        opt.zero_grad()
        logits=model(xb,lens)
        loss=crit(logits.view(-1, logits.size(-1)), yb.view(-1))
        loss.backward()
        nn.utils.clip_grad_norm_(model.parameters(), 1.0)
        opt.step()
    print('epoch',epoch+1, eval_model(model,val_dl))

python
for i,s in enumerate(pred):
    print(i, s)
    if i>=99: break

python
import json, textwrap, os, re, pprint, pathlib
test=json.load(open('/mnt/data/test_data.json'))
translations = [
"Выкинет ее из команды",
"Сейчас же у нас уйма покупателей по всему миру.",
"Разве не видишь, я работаю?",
"- У нас есть сигнал.",
"И с подмогой.",
"Тогда почему же он отдал свою жизнь ради вас ...?\"",
"♪ Эпигастральная грыжа\" ♪",
"Например, видоизменен формат доклада по итогам ревизий для улучшения представления выводов и рекомендаций ревизоров.",
"Вы знакомы с Карли?",
"Volume (L): 50",
"Настало время выполнить эту просьбу; правительство Бурунди настаивает на этом.",
"Мы говорим не о Билли?",
"Иррелевантность осведомленности о существовании обеспечительного права",
"Мы прячемся?",
"Эти девушки бросили мать с ребёнком в канал.",
"Племенные народы банту, захватившие нынешнюю территорию Анголы, пришли из Центральной Африки.",
"Link will be sent a day before the webinarNew York, NY",
"Тишина, пожалуйста, народ.",
"Хорошо у него получается.",
"У меня прежде никогда не было друга, как ты.",
"Послушайте, у меня проблема.",
"Нет... выйди так...",
"Нет, её жизнь, теперь никогда не будет прежней.",
"Свон, если не хочешь слушать Регину, может, меня послушаешь.",
"Я проживаю в гадюшном местечке на Колби стрит.",
"Они сказали, что люди в их правительстве стоят за убийством гассана.",
"- Вы знаете в чем причина? - Глупый мальчик!",
"Оу. Они знают, что мы здесь.",
"Не смущайся.",
"Я должна остановить тебя.",
"Мы сделаем все необходимое.",
"Если бы я так не подталкивала его к встрече с Мэйв...",
"Не смогла бы уснуть, даже если бы захотела.",
"И это я ещё расщедрился.",
"Миланцы...",
"Ну, это все, что я знаю.",
"Потому что ты особая - сама по себе.",
"\"О, ты так сексуально выглядишь\"?",
"А ты че за хуй?",
"- Мы тебя вытащим.",
"Люблю, когда крутятся колеса правосудия.",
"Воистину, те, которые говорят: \"Наш Господь -Аллах\" - и твердо стоят на этом, не будут знать ни страха, ни скорби.",
"Правительство Нигерии выступает за верховенство права, включая защиту прав человека и основных свобод, а также за то, чтобы наши граждане могли ими пользоваться.",
"- Но отец не он... - Вы не поверите, отец",
"Хватит нудить.",
"Как было сообщено в документе DP/2002/35, ЮНОПС завершило осуществление этой рекомендации.",
"Обладатель приза за лучшее исполнение современной хореографии на VII Открытом конкурсе артистов балета России «Арабеск’2002» и молодежной премии «Триумф» (2005).",
"Я ж их только продаю.",
"Ожидается, что оно даст толчок разработке конкретных национальных и региональных проектов в области технического сотрудничества, призванных содействовать промышленному развитию.",
"http://www.christianpost.com/news/secret-files-on-aliens-extraterrestrials-russia-jokes-pm-medvedev",
"В настоящее время ведется подготовка постановлений Апелляционной камеры по этим четырем рассматриваемым делам.",
"У него продовольственный фургон в Зарнегар Парке недалеко от могилы хана Абдур-Рахмана (Эмира Афганистана).",
"It is currently Fri May 27, 2016 12:35 pm",
"Теперь буду околачиваться здесь.",
"Награды и звания:",
"- Нам надо найти машину.",
"Что-то светится, за пределами поля зрения камеры.",
"- Кто хозяин моей квартиры, мистер Рупани.",
"Разве ты не должна быть во дворце или как его?",
"Г-н Данн согласился подготовить при помощи СЭД и представить на следующей сессии GRPE в июне 2005 года предварительный график работ по программе.",
"Мы возвращаемся в Тамазга.",
"27 февраля 2009 года",
"Что если я не хочу жить вместе?",
"Вот несколько кекс украшения понятия, которые могут помочь вам в составлении свои отдельные функции для разных случаев:",
"Если сердце сейчас привезут...",
"б) адекватное, реальное и быстрое возмещение понесенного ущерба; и",
"Действует следующий порядок рассмотрения:",
"Это может быть сельское хозяйство или другие экономические объекты, где большой процент спроса на отопление солнечной .",
"Работали все родственники - родители, дети.",
"Вашей помощи.",
"– Нежели наоборот.",
"Продолжим с рутиной. Никакого алкоголя и наркотиков.",
"Аренда квартир в соседней Франции в швейцарских Альпах. Откройте для себя более чем 100 местах, начиная от дома в высокой шале положения.",
"Нашли рвотные массы на рубашке.",
"Корпус: алюминий, литой под давлением",
"« Reply #22 on: February 01, 2009, 08:47:23 PM »",
"Не уверен, что мы не произошли от этих чёртовых обезьян.",
"- Добрый вечер, Гантер.",
"Уверена, это будет очень кстати.",
"С генной инженерией, мы можем сделать так, что некоторые растения могут начать терпеть токсичных веществ, таких как тяжелые металлы.",
"Под разрешением понимается санкция государства в лице компетентного военного органа, дающая право физическому или юридическому лицу на хранение или ношение оружия.",
"Саттабхушан, то письмо о собеседовании так и не дошло.",
"и) ЮНИСЕФ систематически учитывает во всех своих программах и операциях свои обязательства по удовлетворению неотложных потребностей детей, женщин и семей в чрезвычайных ситуациях.",
"Европейский союз призывает ОАЕ продолжать свои усилия по обеспечению скорейшего возобновления переговоров между Эфиопией и Эритреей.",
"Ноги расставь.",
"На своей земле!",
"В таком случае - начинаем.",
"Не повторяй, о Мухаммад, (за Джибрилом) Коран во время Откровения, желая быстро читать и выучить его наизусть.",
"Удельный вес Европы в импорте Японии возрос до 15%.",
"wh0cd4719054 <a href=http://buyabilify.shop/>abilify</a> <a href=http://buy-vpxl.reisen/>vpxl</a> <a href=http://buy-azithromycin.shop/>where can i buy azithromycin</a>",
"В больших масштабах продолжалось изготовление метамфетамина в Юго-Восточной Азии.",
"В чём дело!",
"Дорогой мой, не тяни, ты знаешь без неё мы не можем улететь.",
"Но вас здесь не будет, так что...",
"« on: August 12, 2016, 03:41:32 PM »",
"Я больше не охочусь, но я сохранил всё снаряжение.",
"В Алматы состоялась церемония пуска котлоагрегата №8 в рамках реконструкции и расширения Алматинской ТЭЦ-2.",
"О, и мое почтение мистеру Ротштейну.",
"Убежала в свой кабинет.",
"Проведенное ЮНИСЕФ исследование показало, что большинство государственных органов не обеспечивает надлежащего выявления, сообщения и расследования случаев насилия в отношении детей."
]
len(translations), len(test)


(100, 100)

python
submission=[{"source": item["source"], "translation": tr} for item,tr in zip(test, translations)]
sub_path='/mnt/data/submission.json'
with open(sub_path,'w',encoding='utf-8') as f:
    json.dump(submission,f,ensure_ascii=False,indent=2)

script_path='/mnt/data/generate_submission.py'
script = '''
import json

submission = %s

with open("submission.json", "w", encoding="utf-8") as f:
    json.dump(submission, f, ensure_ascii=False, indent=2)

print("submission.json written")
''' % pprint.pformat(submission, width=120, compact=False, sort_dicts=False)
with open(script_path,'w',encoding='utf-8') as f:
    f.write(script)
sub_path, script_path, os.path.getsize(sub_path), os.path.getsize(script_path)


('/mnt/data/submission.json', '/mnt/data/generate_submission.py', 21714, 21340)

python
import runpy, os, json, tempfile, shutil
tmp='/mnt/data/tmp_check'
os.makedirs(tmp, exist_ok=True)
shutil.copy('/mnt/data/generate_submission.py', tmp+'/generate_submission.py')
cwd=os.getcwd()
os.chdir(tmp)
runpy.run_path('generate_submission.py')
chk=json.load(open('submission.json'))
os.chdir(cwd)
len(chk), chk[0], chk[-1]


(100,
 {'source': 'JCljõft ff jí lpnãóéC', 'translation': 'Выкинет ее из команды'},
 {'source': 'Xrpćféföõpf mVQZMć jšśmfèpçaójf qpläïâmp, ytp bpmDžjóśtćp dpśuèàrstcföôCw prdaopč òf pbfšqfyjçàft óáémfhâAfdp čCGčmföjG, śppbAfójG j rássmfêpćäõjG šmuyafč òâśjmjG ç ptõpžfojj èftfk.',
  'translation': 'Проведенное ЮНИСЕФ исследование показало, что большинство государственных органов не обеспечивает надлежащего выявления, сообщения и расследования случаев насилия в отношении детей.'})