WikiDer > Тензорный эскиз

В статистика, машинное обучение и алгоритмы, а тензорный эскиз это тип уменьшение размерности это особенно эффективно при применении векторов который имеет тензор структура.^[1][2] Такой скетч можно использовать для ускорения явного методы ядра, билинейный объединение в нейронные сети и является краеугольным камнем многих алгоритмов численной линейной алгебры.^[3]

Математическое определение

Математически уменьшение размерности - это матрица ${ Displaystyle M in mathbb {R} ^ {k, d}}$, куда ${ Displaystyle к$, такое, что для любого вектора ${ Displaystyle х в mathbb {R} ^ {d}}$ он считает, что

${ Displaystyle | | Mx | _ {2} - | x | _ {2} | < varepsilon | x | _ {2}}$

с большой вероятностью, другими словами ${ displaystyle M}$ сохраняет норму векторов с точностью до небольшой ошибки.

Тензорный скетч имеет дополнительное свойство: если ${ displaystyle x = y otimes z}$ для некоторых векторов ${ displaystyle y in mathbb {R} ^ {d_ {1}}, z in mathbb {R} ^ {d_ {2}}}$ такой, что ${ displaystyle d_ {1} d_ {2} = d}$, преобразование ${ displaystyle M (y otimes z)}$ могут быть вычислены более эффективно.

Обычно ${ Displaystyle M (y otimes z) = M'y circ M''z}$, куда ${ displaystyle circ}$ это (Адамар) поэлементное произведение. ${ displaystyle M'y}$ и ${ displaystyle M''z}$ могут быть вычислены во времени соответственно ${ displaystyle kd_ {1}}$ и ${ displaystyle kd_ {2}}$, вычисление происходит намного быстрее, чем полное ${ displaystyle M (y otimes z)}$ что потребует времени ${ displaystyle kd = kd_ {1} d_ {2}}$.

Для тензоров более высокого порядка, таких как ${ displaystyle x = y otimes z otimes t}$ экономия еще более впечатляющая.

История

Термин тензорный эскиз был введен в обращение в 2013 году.^[4] описание техники Расмус Паг^[5] того же года. Первоначально это понималось с помощью быстрое преобразование Фурье делать быстро свертка из считать эскизыБолее поздние исследования обобщили его на гораздо более широкий класс уменьшения размерности с помощью тензорных случайных вложений.

Тензорные случайные вложения были представлены в 2010 году в статье^[6] о дифференциальной конфиденциальности и впервые были проанализированы Rudelson et al. в 2012 г. в условиях разреженного восстановления.^[7]

Avron et al.^[8]были первыми, кто изучил вложение подпространств свойства тензорных эскизов, особенно ориентированные на приложения для полиномиальные ядраВ этом контексте эскиз требуется не только для сохранения нормы каждого отдельного вектора с определенной вероятностью, но и для сохранения нормы всех векторов в каждом отдельном линейное подпространствоЭто гораздо более сильное свойство, и оно требует больших размеров эскиза, но позволяет очень широко использовать методы ядра, как описано в книге Дэвида Вудраффа.^[3]

Тензорные случайные проекции

В продукт, расщепляющий лицо определяется как тензорное произведение строк (было предложено В. Слюсарь^[9] в 1996 г.^{[10][11][12][13][14]} за радар и цифровая антенная решетка приложения) .Подробнее, пусть ${ Displaystyle mathbf {C} in mathbb {R} ^ {3 times 3}}$ и ${ Displaystyle mathbf {D} in mathbb {R} ^ {3 times 3}}$ - две матрицы. продукт, расщепляющий лицо ${ Displaystyle mathbf {C} bullet mathbf {D}}$ является^{[10][11][12][13]}${ displaystyle mathbf {C} bullet mathbf {D} = left [{ begin {array} {c} mathbf {C} _ {1} otimes mathbf {D} _ {1} hline mathbf {C} _ {2} otimes mathbf {D} _ {2} hline mathbf {C} _ {3} otimes mathbf {D} _ {3} конец {массив}} right] = left [{ begin {array} {ccccccccc} mathbf {C} _ {1,1} mathbf {D} _ {1,1} & mathbf {C} _ { 1,1} mathbf {D} _ {1,2} & mathbf {C} _ {1,1} mathbf {D} _ {1,3} & mathbf {C} _ {1,2} mathbf {D} _ {1,1} & mathbf {C} _ {1,2} mathbf {D} _ {1,2} & mathbf {C} _ {1,2} mathbf {D } _ {1,3} & mathbf {C} _ {1,3} mathbf {D} _ {1,1} & mathbf {C} _ {1,3} mathbf {D} _ {1 , 2} & mathbf {C} _ {1,3} mathbf {D} _ {1,3} hline mathbf {C} _ {2,1} mathbf {D} _ {2, 1} & mathbf {C} _ {2,1} mathbf {D} _ {2,2} & mathbf {C} _ {2,1} mathbf {D} _ {2,3} & mathbf {C} _ {2,2} mathbf {D} _ {2,1} & mathbf {C} _ {2,2} mathbf {D} _ {2,2} & mathbf {C} _ {2,2} mathbf {D} _ {2,3} & mathbf {C} _ {2,3} mathbf {D} _ {2,1} & mathbf {C} _ {2, 3} mathbf {D} _ {2,2} & mathbf {C} _ {2,3} mathbf {D} _ {2,3} hline mathbf {C} _ {3,1 } mathbf {D} _ {3,1} & mathbf {C} _ {3,1} mathbf {D} _ {3,2} & mathbf {C} _ {3,1} mathbf {D} _ {3,3} & mathbf {C} _ {3,2} mathbf {D} _ {3,1} & mathbf {C} _ {3,2} mathbf {D} _ {3,2} & mathbf {C} _ {3, 2} mathbf {D} _ {3,3} & mathbf {C} _ {3,3} mathbf {D} _ {3,1} & mathbf {C} _ {3,3} mathbf {D} _ {3,2} & mathbf {C} _ {3,3} mathbf {D} _ {3,3} end {array}} right].}$Причина, по которой этот продукт полезен, заключается в следующем:

${ displaystyle ( mathbf {C} bullet mathbf {D}) (x otimes y) = mathbf {C} x circ mathbf {D} y = left [{ begin {array} {c } ( mathbf {C} x) _ {1} ( mathbf {D} y) _ {1} ( mathbf {C} x) _ {2} ( mathbf {D} y) _ {2 } vdots end {array}} right],}$

куда ${ displaystyle circ}$ поэлементно (Адамар), поскольку эту операцию можно вычислить за линейное время, ${ Displaystyle mathbf {C} bullet mathbf {D}}$ могут быть умножены на векторы с тензорной структурой намного быстрее, чем нормальные матрицы.

Построение с быстрым преобразованием Фурье

Тензорный набросок Фама и Пага^[4] вычисляет${ Displaystyle C ^ {(1)} х ast C ^ {(2)} y}$, куда ${ displaystyle C ^ {(1)}}$ и ${ displaystyle C ^ {(2)}}$ независимы считать эскиз матрицы и ${ displaystyle ast}$ вектор сверткаОни показывают, что, что удивительно, это равно ${ Displaystyle C (х otimes y)}$ - счетный эскиз тензорного произведения!

Оказывается, эту связь можно увидеть с точки зрения продукт, расщепляющий лицо в качестве

${ displaystyle C ^ {(1)} x ast C ^ {(2)} y = { mathcal {F}} ^ {- 1} ({ mathcal {F}} C ^ {(1)} x circ { mathcal {F}} C ^ {(2)} y)}$, куда ${ Displaystyle { mathcal {F}}}$ это Матрица преобразования Фурье.

С ${ Displaystyle { mathcal {F}}}$ является ортонормированный матрица ${ Displaystyle { mathcal {F}} ^ {- 1}}$ не влияет на норму ${ displaystyle Cx}$ и может быть проигнорирован. ${ Displaystyle C sim { mathcal {C}} ^ {(1)} bullet { mathcal {C}} ^ {(2)}}$.

С другой стороны,

${ displaystyle { mathcal {F}} (C ^ {(1)} x ast C ^ {(2)} y) = { mathcal {F}} C ^ {(1)} x circ { mathcal {F}} C ^ {(2)} y = ({ mathcal {F}} C ^ {(1)} bullet { mathcal {F}} C ^ {(2)}) (x otimes y)}$.

Применение к общим матрицам

Проблема с исходным алгоритмом тензорного скетча заключалась в том, что он использовал считать эскиз матрицы, которые не всегда очень хорошо снижают размерность.

В 2020 году^[15] было показано, что для создания тензорного скетча достаточно любых матриц с достаточно случайными независимыми строками. Это позволяет использовать матрицы с более высокими гарантиями, такие как вещественные гауссовские Джонсон Линденштраус матрицы.

В частности, мы получаем следующую теорему

Рассмотрим матрицу ${ displaystyle T}$ с i.i.d. ряды ${ displaystyle T_ {1}, dots, T_ {m} in mathbb {R} ^ {d}}$, так что ${ Displaystyle E [(T_ {1} x) ^ {2}] = | x | _ {2} ^ {2}}$ и ${ displaystyle E [(T_ {1} x) ^ {p}] ^ {1 / p} leq { sqrt {ap}} | x | _ {2}}$. Позволять ${ Displaystyle Т ^ {(1)}, точки, Т ^ {(с)}}$ быть независимым, состоящим из ${ displaystyle T}$ и ${ Displaystyle M = T ^ {(1)} bullet dots bullet T ^ {(c)}}$.

потом ${ Displaystyle | | Mx | _ {2} - | x | _ {2} | < varepsilon | x | _ {2}}$ с вероятностью ${ displaystyle 1- delta}$ для любого вектора ${ displaystyle x}$ если

${ Displaystyle м = (4a) ^ {2c} varepsilon ^ {- 2} log 1 / delta + (2ae) varepsilon ^ {- 1} ( log 1 / delta) ^ {c}}$.

В частности, если записи ${ displaystyle T}$ находятся ${ displaystyle pm 1}$ мы получили ${ Displaystyle м = О ( varepsilon ^ {- 2} log 1 / delta + varepsilon ^ {- 1} ({ tfrac {1} {c}} log 1 / delta) ^ {c} )}$ что соответствует нормальному Джонсон Линденштраус теорема ${ Displaystyle м = О ( varepsilon ^ {- 2} log 1 / delta)}$ когда ${ displaystyle varepsilon}$ маленький.

Бумага^[15] также показывает, что зависимость от ${ displaystyle varepsilon ^ {- 1} ({ tfrac {1} {c}} log 1 / delta) ^ {c}}$ необходимо для построений с использованием тензорных рандомизированных проекций с Гауссовский записи.

Вариации

Рекурсивная конструкция

Из-за экспоненциальной зависимости от ${ displaystyle c}$ в тензорных эскизах на основе продукт, расщепляющий лицо, в 2020 году был разработан иной подход^[15] который применяется

${ Displaystyle M (x otimes y otimes cdots) = M ^ {(1)} (x otimes (M ^ {(2)} y otimes cdots))}$

Мы можем добиться такого ${ displaystyle M}$ позволяя

${ Displaystyle M = M ^ {(c)} (M ^ {(c-1)} otimes I_ {d}) (M ^ {(c-2)} otimes I_ {d ^ {2}}) cdots (M ^ {(1)} otimes I_ {d ^ {c-1}})}$.

С помощью этого метода мы применяем только общий метод скетча тензора к тензорам 2-го порядка, что позволяет избежать экспоненциальной зависимости количества строк.

Это можно доказать^[15] это сочетание ${ displaystyle c}$ такое уменьшение размерности только увеличивает ${ displaystyle varepsilon}$ фактором ${ displaystyle { sqrt {c}}}$.

Быстрые конструкции

В быстрое преобразование Джонсона – Линденштрауса матрица уменьшения размерности

Учитывая матрицу ${ Displaystyle M in mathbb {R} ^ {k times d}}$, вычисляя матричное векторное произведение ${ displaystyle Mx}$ берет ${ displaystyle kd}$ время. Быстрое преобразование Джонсона-Линденштрауса (FJLT),^[16] был представлен Эйлоном и Chazelle в 2006 году.

Версия этого метода требует${ displaystyle M = operatorname {SHD}}$куда

1. ${ displaystyle D}$ это диагональная матрица где каждый диагональный вход ${ Displaystyle D_ {я, я}}$ является ${ displaystyle pm 1}$ независимо.

Умножение матрицы на вектор ${ displaystyle Dx}$ можно вычислить в ${ displaystyle O (d)}$ время.

1. ${ displaystyle H}$ это Матрица Адамара, что позволяет производить умножение матрицы на вектор во времени ${ Displaystyle О (д журнал д)}$
2. ${ displaystyle S}$ это ${ Displaystyle к раз d}$ матрица выборки что все нули, кроме одной единицы в каждой строке.

Если диагональную матрицу заменить матрицей, имеющей тензорное произведение ${ displaystyle pm 1}$ значения на диагонали, вместо того, чтобы быть полностью независимыми, можно вычислить ${ displaystyle operatorname {SHD} (x otimes y)}$ быстрый.

Для примера пусть ${ displaystyle rho, sigma in {- 1,1 } ^ {2}}$ быть двумя независимыми ${ displaystyle pm 1}$ векторы и пусть ${ displaystyle D}$ - диагональная матрица с ${ displaystyle rho otimes sigma}$ по диагонали. Затем мы можем разделить ${ displaystyle operatorname {SHD} (x otimes y)}$ следующее:

${ displaystyle { begin {align} & operatorname {SHD} (x otimes y) & quad = { begin {bmatrix} 1 & 0 & 0 & 0 0 & 0 & 1 & 0 0 & 1 & 0 & 0 end {bmatrix}} { begin { bmatrix} 1 & 1 & 1 & 1 1 & -1 & 1 & -1 1 & 1 & -1 & -1 1 & -1 & -1 & 1 end {bmatrix}} { begin {bmatrix} sigma _ {1} rho _ {1} & 0 & 0 & 0 0 & sigma _ {1} rho _ {2} & 0 & 0 0 & 0 & sigma _ {2} rho _ {1} & 0 0 & 0 & 0 & sigma _ {2} rho _ {2} конец {bmatrix}} { begin {bmatrix} x_ {1} y_ {1} x_ {2} y_ {1} x_ {1} y_ {2} x_ {2} y_ {2} end {bmatrix}} [5pt] & quad = left ({ begin {bmatrix} 1 & 0 0 & 1 1 & 0 end {bmatrix}} bullet { begin {bmatrix} 1 & 0 1 & 0 0 & 1 end {bmatrix}} right) left ({ begin {bmatrix} 1 & 1 1 & -1 end {bmatrix}} otimes { begin {bmatrix} 1 & 1 1 & -1 end {bmatrix}} right) left ({ begin {bmatrix} sigma _ {1} & 0 0 & sigma _ {2} end {bmatrix}} otimes { begin {bmatrix} rho _ {1} & 0 0 & rho _ {2} end {bmatrix}} right) left ({ begin {bmatrix} x_ {1} x_ {2} end {bmatrix}} otimes { begin {bmatrix} y_ {1} y_ {2} end {bmatrix}} right) [5pt] & quad = left ({ begin {bmatrix} 1 & 0 0 & 1 1 & 0 end {bmatrix}} bullet { begin {bmatrix} 1 & 0 1 & 0 0 & 1 end {bmatrix}} righ t) left ({ begin {bmatrix} 1 & 1 1 & -1 end {bmatrix}} { begin {bmatrix} sigma _ {1} & 0 0 & sigma _ {2} end { bmatrix}} { begin {bmatrix} x_ {1} x_ {2} end {bmatrix}} , otimes , { begin {bmatrix} 1 & 1 1 & -1 end {bmatrix}} { begin {bmatrix} rho _ {1} & 0 0 & rho _ {2} end {bmatrix}} { begin {bmatrix} y_ {1} y_ {2} end {bmatrix} } right) [5pt] & quad = { begin {bmatrix} 1 & 0 0 & 1 1 & 0 end {bmatrix}} { begin {bmatrix} 1 & 1 1 & -1 end {bmatrix}} { begin {bmatrix} sigma _ {1} & 0 0 & sigma _ {2} end {bmatrix}} { begin {bmatrix} x_ {1} x_ {2} end {bmatrix }} , circ , { begin {bmatrix} 1 & 0 1 & 0 0 & 1 end {bmatrix}} { begin {bmatrix} 1 & 1 1 & -1 end {bmatrix}} { begin {bmatrix } rho _ {1} & 0 0 & rho _ {2} end {bmatrix}} { begin {bmatrix} y_ {1} y_ {2} end {bmatrix}}. end {выровнено}}}$

Другими словами, ${ Displaystyle OperatorName {SHD} = S ^ {(1)} HD ^ {(1)} bullet S ^ {(2)} HD ^ {(2)}}$, разбивается на два быстрых преобразования Джонсона – Линденштраусса, и полное сокращение требует времени ${ displaystyle O (d_ {1} log d_ {1} + d_ {2} log d_ {2})}$ скорее, чем ${ displaystyle d_ {1} d_ {2} log (d_ {1} d_ {2})}$ как при прямом подходе.

Тот же подход может быть расширен для вычисления продуктов более высокой степени, таких как ${ displaystyle operatorname {SHD} (x otimes y otimes z)}$

Ahle et al.^[15] показывает, что если ${ displaystyle operatorname {SHD}}$ имеет ${ Displaystyle varepsilon ^ {- 2} ( журнал 1 / дельта) ^ {с + 1}}$ ряды, затем ${ displaystyle | | operatorname {SHD} x | _ {2} - | x || leq varepsilon | x | _ {2}}$ для любого вектора ${ Displaystyle х in mathbb {R} ^ {d ^ {c}}}$ с вероятностью ${ displaystyle 1- delta}$, позволяя быстрое умножение со степенью ${ displaystyle c}$ тензоры.

Jin et al.^[17]в том же году показал аналогичный результат для более общего класса матриц вызова РВАТЬ, который включает субдискретизированные матрицы Адамара. Они показали, что эти матрицы допускают разбиение на тензоры при условии, что количество строк равно ${ Displaystyle varepsilon ^ {- 2} ( log 1 / delta) ^ {2c-1} log d}$.В случае ${ displaystyle c = 2}$ это соответствует предыдущему результату.

Эти быстрые конструкции можно снова комбинировать с упомянутым выше рекурсивным подходом, что дает самый быстрый общий тензорный эскиз.

Создание эскизов с учетом данных

Также возможно сделать так называемый тензорный набросок «с учетом данных». Вместо умножения случайной матрицы на данные точки данных выбираются независимо с определенной вероятностью, зависящей от нормы точки.^[18]

Приложения

Явные полиномиальные ядра

Методы ядра популярны в машинное обучение поскольку они дают разработанному алгоритму свободу создавать «пространство признаков», в котором можно измерить сходство их точек данных. Простой двоичный классификатор на основе ядра основан на следующих вычислениях:

${ displaystyle { hat {y}} ( mathbf {x '}) = operatorname {sgn} sum _ {i = 1} ^ {n} y_ {i} k ( mathbf {x} _ {i }, mathbf {x '}),}$

куда ${ displaystyle mathbf {x} _ {i} in mathbb {R} ^ {d}}$ точки данных, ${ displaystyle y_ {i}}$ это этикетка ${ displaystyle i}$-я точка (-1 или +1), и ${ Displaystyle { шляпа {y}} ( mathbf {x '})}$ это предсказание класса ${ Displaystyle mathbf {х '}}$.Функция ${ Displaystyle к: mathbb {R} ^ {d} times mathbb {R} ^ {d} to mathbb {R}}$ является ядром. Типичными примерами являются ядро радиальной базисной функции, ${ Displaystyle к (х, х ') = ехр (- | х-х' | _ {2} ^ {2})}$, и полиномиальные ядра Такие как ${ Displaystyle к (х, х ') = (1+ langle x, x' rangle) ^ {2}}$.

При таком использовании метод ядра называется "неявным". Иногда быстрее использовать "явный" метод ядра, в котором пара функций ${ displaystyle f, g: mathbb {R} ^ {d} to mathbb {R} ^ {D}}$ найдены, такие что ${ Displaystyle к (х, х ') = langle f (x), g (x') rangle}$Это позволяет выразить вышеприведенное вычисление как

${ displaystyle { hat {y}} ( mathbf {x '}) = operatorname {sgn} sum _ {i = 1} ^ {n} y_ {i} langle f ( mathbf {x} _ {i}), g ( mathbf {x '}) rangle = operatorname {sgn} left langle left ( sum _ {i = 1} ^ {n} y_ {i} f ( mathbf { x} _ {i}) right), g ( mathbf {x '}) right rangle,}$

где значение ${ Displaystyle сумма _ {я = 1} ^ {п} у_ {я} е ( mathbf {х} _ {я})}$ можно рассчитать заранее.

Проблема с этим методом в том, что пространство функций может быть очень большим. То есть ${ displaystyle D >> d}$.Например, для полиномиального ядра ${ Displaystyle к (х, х ') = langle x, x' rangle ^ {3}}$ мы получили ${ Displaystyle е (х) = х время х время х}$ и ${ displaystyle g (x ') = x' otimes x ' otimes x'}$, куда ${ displaystyle otimes}$ это тензорное произведение и ${ Displaystyle е (х), г (х ') in mathbb {R} ^ {D}}$ куда ${ displaystyle D = d ^ {3}}$.Если ${ displaystyle d}$ уже большой, ${ displaystyle D}$ может быть намного больше, чем количество точек данных (${ displaystyle n}$), поэтому явный метод неэффективен.

Идея тензорного скетча состоит в том, что мы можем вычислять приближенные функции ${ displaystyle f ', g': mathbb {R} ^ {d} to mathbb {R} ^ {t}}$ куда ${ displaystyle t}$ может даже быть меньше чем ${ displaystyle d}$, и которые по-прежнему обладают свойством ${ displaystyle langle f '(x), g' (x ') rangle приблизительно к (x, x')}$.

Этот метод был показан в 2020 году.^[15] работать даже с полиномами высокой степени и ядрами радиальных базисных функций.

Умножение сжатой матрицы

Предположим, у нас есть два больших набора данных, представленных в виде матриц ${ Displaystyle X, Y in mathbb {R} ^ {п раз d}}$, и мы хотим найти строки ${ displaystyle i, j}$ с самыми большими внутренними продуктами ${ displaystyle langle X_ {i}, Y_ {j} rangle}$.Мы могли вычислить ${ Displaystyle Z = XY ^ {T} in mathbb {R} ^ {п раз п}}$ и просто посмотрите на все ${ Displaystyle п ^ {2}}$ возможностей. Однако для этого потребуется не менее ${ Displaystyle п ^ {2}}$ время и, вероятно, ближе к ${ displaystyle n ^ {2} d}$ используя стандартные методы матричного умножения.

Идея умножения сжатых матриц - это общее тождество

${ displaystyle XY ^ {T} = sum _ {i = 1} ^ {d} X_ {i} otimes Y_ {i}}$

куда ${ displaystyle otimes}$ это тензорное произведение.Поскольку мы можем вычислить (линейный) приближение к ${ displaystyle X_ {i} otimes Y_ {i}}$ эффективно, мы можем суммировать их, чтобы получить приблизительное значение для всего продукта.

Компактный полилинейный пул

Тензорные наброски можно использовать для уменьшения количества переменных, необходимых при реализации билинейного объединения в нейронная сеть.

Билинейное объединение - это метод взятия двух входных векторов, ${ displaystyle x, y}$ из разных источников и используя тензорное произведение ${ displaystyle x otimes y}$ в качестве входного слоя нейронной сети.

В^[19] авторы рассмотрели возможность использования тензорного скетча для уменьшения количества необходимых переменных.

В 2017 году еще одна статья^[20] выполняет БПФ входных функций перед их объединением с использованием поэлементного произведения. Это снова соответствует исходному тензорному эскизу.

Рекомендации

дальнейшее чтение

• Ахле, Томас; Кнудсен, Якоб (2019-09-03). «Почти оптимальный тензорный набросок». Researchgate. Получено 2020-07-11.
• Слюсарь В. И. (27 декабря 1996 г.). «Конечные продукты в матрицах в радиолокационных приложениях» (PDF). Радиоэлектроника и системы связи.– 1998, Вып. 41; Число 3: 50–53.
• Слюсарь, В. И. (20.05.1997). «Аналитическая модель цифровой антенной решетки на основе матричных продуктов расщепления граней» (PDF). Proc. ICATT-97, Киев: 108–109.
• Слюсарь, В. И. (15.09.1997). «Новые операции матричного продукта для приложений радаров» (PDF). Proc. Прямые и обратные задачи теории электромагнитных и акустических волн (ДИПЭД-97), Львов.: 73–74.
• Слюсарь В. И. (13 марта 1998 г.). «Семейство граней произведений матриц и его свойства» (PDF). Кибернетика и системный анализ К / К Кибернетика и Системный анализ.- 1999.. 35 (3): 379–384. Дои:10.1007 / BF02733426.